网站建设发信息,大业推广网站,信阳百度推广公司,如何用asp.net做网站前言 我们上一篇介绍了#xff0c;如何采集王者最低战力#xff0c;本文就来给大家介绍如何采集王者皮肤#xff0c;买不起皮肤#xff0c;当个桌面壁纸挺好的。下面#xff0c;我和大家介绍如何获取数据。 环境使用
python 3.9pycharm
模块使用
requests
模块介绍 re…前言 我们上一篇介绍了如何采集王者最低战力本文就来给大家介绍如何采集王者皮肤买不起皮肤当个桌面壁纸挺好的。下面我和大家介绍如何获取数据。 环境使用
python 3.9pycharm
模块使用
requests
模块介绍 requests requests是一个很实用的Python HTTP客户端库爬虫和测试服务器响应数据时经常会用到requests是Python语言的第三方的库专门用于发送HTTP请求使用起来比urllib简洁很多。 parsel parsel是一个python的第三方库相当于css选择器xpathre。 parsel由scrapy团队开发是将scrapy中的parsel独立抽取出来的可以轻松解析htmlxml内容获取需要的数据。 相比于BeautifulSoupxpathparsel效率更高使用更简单。 re re模块是python独有的匹配字符串的模块该模块中提供的很多功能是基于正则表达式实现的而正则表达式是对字符串进行模糊匹配提取自己需要的字符串部分他对所有的语言都通用。 os os 就是 “operating system” 的缩写顾名思义os模块提供的就是各种 Python 程序与操作系统进行交互的接口。通过使用 os 模块一方面可以方便地与操作系统进行交互另一方面也可以极大增强代码的可移植性。 csv 它是一种文件格式一般也被叫做逗号分隔值文件可以使用 Excel 软件或者文本文档打开 。其中数据字段用半角逗号间隔也可以使用其它字符使用 Excel 打开时逗号会被转换为分隔符。csv 文件是以纯文本形式存储了表格数据并且在兼容各个操作系统。 模块安装问题:
如果安装python第三方模块: win R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车 在pycharm中点击Terminal(终端) 输入安装命令 安装失败原因: 失败一: pip 不是内部命令 解决方法: 设置环境变量 失败二: 出现大量报红 (read time out) 解决方法: 因为是网络链接超时, 需要切换镜像源 清华https://pypi.tuna.tsinghua.edu.cn/simple阿里云https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学https://pypi.hustunique.com/山东理工大学https://pypi.sdutlinux.org/豆瓣https://pypi.douban.com/simple/例如pip3 install -i https://pypi.doubanio.com/simple/ 模块名失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入 解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好或者你pycharm里面python解释器没有设置好。 代码实现
我们上一篇介绍了如何采集王者最低战力本文就来给大家介绍如何采集王者皮肤买不起皮肤当个桌面壁纸挺好的。下面我和大家介绍如何获取数据。
确定网址
我们在对王者英雄的主页进行了分析我们发现其网页地址相似就差一个数字。
https://pvp.qq.com/web201605/herodetail/{ename}.shtml我们可以把它当作为每个英雄的编号我们可以从英雄列表获取编号不过这里我们直接请求第三方接口数据。
获取英雄编号
html_url https://www.sapi.run/hero/getHeroList.php
datas requests.get(html_url).json()[data]
for data in datas:ename data[ename]cname data[cname]print(ename,cname)这段代码中html_url 是一个 URL指向一个 SAPI 的 Hero 列表页面。requests.get(html_url).json()[data] 返回一个 JSON 对象其中包含了 Hero 列表页面的数据。ename 和 cname 是 JSON 对象中的两个键值对分别表示 Hero 的编号和名字。
在这段代码中我们使用了一个 for 循环来遍历 JSON 对象中的每一个键值对并打印出它们的值。这样就可以得到 Hero 列表页面中所有 Hero 的编号和名字。 获取皮肤名称
我们拿到每一个英雄的编号之后我们就可以访问每一个英雄的主页我们在其主页可以看到他们的英雄名称和他们的英雄皮肤的地址。我们先获取英雄皮肤的名称。
herodetail_url fhttps://pvp.qq.com/web201605/herodetail/{ename}.shtml
print(herodetail_url)
res requests.get(herodetail_url,headersheaders)
res.encoding gbk
# print(res.text)
pfs re.findall(data-imgname(.*?),res.text)[0]
pfspfs.split(|)
print(pfs)这段代码中herodetail_url 是一个 URL指向一个 Hero 详细页面。requests.get(herodetail_url,headersheaders) 返回一个 JSON 对象其中包含了 Hero 详细页面的数据。res.encoding gbk 设置了 JSON 对象的编码方式为 GBK。re.findall(data-imgname(.*?),res.text)[0] 使用正则表达式匹配 Hero 详细页面中的英雄名称并返回第一个匹配项。pfs 是匹配项的值它是一个包含英雄名称的列表。 接下来我们对字段进行处理。
for pf in pfs:pf pf.split()[0]# print(pf)pf_list.append(pf)
print(len(pf_list))
print(pf_list)我们得到了这样的数据。[正义爆轰, 地狱岩魂, 无尽征程, 寅虎·御盾],到了这里我们皮肤名字就获取下来了。
获取皮肤
pages len(pfs)for page in range(1,pages1):pf_url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{page}.jpgpf_url_list.append(pf_url)这段代码中我们首先计算出 Hero 详细页面中图片的数量然后使用 range 函数生成从 1 到 pages 的整数序列。接下来我们使用一个循环来遍历这个序列并将每个图片的 URL 添加到 pf_url_list 列表中。
最后我们将 pf_url_list 列表中的所有 URL 连接起来并将它们作为参数传递给 requests.get() 函数以获取 Hero 详细页面的数据。
到这里我们把所有皮肤的地址获取了下来。
保存数据
for name,url in zip(pf_list,pf_url_list):path f.//皮肤//{cname}//# print(path)if not os.path.exists(path):os.mkdir(path)# print(cname,name,url)pf_save requests.get(url,headersheaders)print(fpath {name}.jpg)with open(path f{name}.jpg, wb) as f:f.write(pf_save.content)这段代码中我们首先将 pf_list 和 pf_url_list 两个列表进行了 zip 操作并将结果存储在 pf_list 和 pf_url_list 两个变量中。然后我们使用 os.path.exists() 函数来检查 path 目录是否存在如果不存在则使用 os.mkdir() 函数创建该目录。接下来我们使用 requests.get() 函数来获取 pf_url_list 列表中的每个 URL并将它们作为参数传递给 requests.get() 函数以获取 pf_list 列表中的每个 URL。
最后我们使用 with open() 语句打开 path {name}.jpg 文件并将 pf_save.content 写入该文件中。这样就可以将 pf_list 和 pf_url_list 中的每个 URL 保存到 path {name}.jpg 文件中。
全部源码
import re
import os
import requestsf 皮肤\\
if not os.path.exists(f):os.mkdir(f)pf_list []
pf_url_list []
html_url https://www.sapi.run/hero/getHeroList.php
datas requests.get(html_url).json()[data]
headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36
}
for data in datas:ename data[ename]cname data[cname]print(ename,cname)herodetail_url fhttps://pvp.qq.com/web201605/herodetail/{ename}.shtml# print(herodetail_url)res requests.get(herodetail_url,headersheaders)res.encoding gbkpfs re.findall(data-imgname(.*?),res.text)[0]pfspfs.split(|)# 获取英雄皮肤名称。pages len(pfs) for pf in pfs:pf pf.split()[0]# print(pf)pf_list.append(pf)for page in range(1,pages1):pf_url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{page}.jpgpf_url_list.append(pf_url)for name,url in zip(pf_list,pf_url_list):pf_save requests.get(url,headersheaders)with open(f皮肤\\{name}.jpg, wb) as f:f.write(pf_save.content)总结
这是一篇关于如何采集王者皮肤的文章介绍了如何从英雄列表获取编号并使用正则表达式从网页地址中提取英雄编号和名字。此外还介绍了如何使用 requests.get() 函数从网页中获取数据以及如何将数据保存到文件中。
