打造最全皮肤，Python采集游戏官网数据!

环境：

• Python3.6.5
• Windows
• pycharm

模块：

• requests
• jsonpath
• urlretrieve
• os

思路：

进入LOL官网点击游戏资料库后，所有的英雄都在里面。

我们点击英雄头像，就会跳转到包含皮肤的界面。

立马就想到了思路：

获取到中间跳转的url，然后再请求该url跳转到皮肤页面-----然后再抓取皮肤。

思路没错，但html源代码中没有跳转的url呢？是不是就需要抓包！

elements中确实有该url，但是html源代码中并没有：

开始抓包吧：

很多人做到这里无从下手了，并没有跳转的url，但是我们可以发现跳转的url只有后面的数字ID发生了变化。

而我们的banaudio这个标签当中的url末尾是不是也有个1.ogg？与我们的跳转url中的ID值1是对应的！

所以，获取到数字即可，自行构造跳转的url。

到了跳转页面后，会发现网页源代码中同样不存在我们想要的图片数据（继续抓包）：

OK，现在问题解决了！

更多python技术相关教程，直接私我即可！

python源码：

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time    : 2019/10/9 21:20
# @Author  : 善念

import requests
import jsonpath
from urllib.request import urlretrieve
import os


def get_id():
    req = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js').json()
    ids = jsonpath.jsonpath(req, '$..banAudio')
    items = []
    for id in ids:
        id = id.split('ban/')[1][0:-4]
        items.append(id)
    return items


def get_skin(items):
    for item in items:
        url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(item)
        req = requests.get(url, headers=headers).json()
        skins = req['skins']
        names = jsonpath.jsonpath(skins, '$..name')
        skins = jsonpath.jsonpath(req, '$..loadingImg')
        try:
            if not os.path.exists(names[0]):
                os.mkdir(names[0])
            for name, skin in zip(names, skins):
                print('正在采集====={}=====这个皮肤'.format(name))
                urlretrieve(skin, names[0]+'/'+name+'.jpg')

        except:
            pass


def go():
    items = get_id()
    get_skin(items)


if __name__ == '__main__':
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) '
                             'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
    go()

效果图：