广西住房和城乡建设厅培训中心网站,网站开发软件启动,商业网站建设案例课程 下载,苏州网页设计费用一、网络爬虫的定义
网络爬虫#xff08;Web Crawler#xff09;#xff0c;也成为网页蜘蛛或者网页机器人#xff0c;是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索以及内容抓取等。
二、爬虫基本原理
1、种子URL#xff1a;爬…一、网络爬虫的定义
网络爬虫Web Crawler也成为网页蜘蛛或者网页机器人是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索以及内容抓取等。
二、爬虫基本原理
1、种子URL爬虫从一个或多个种子URL开始这些URL是起点。
2、发送请求爬虫向这些种子URL发送HTTP请求通常是GET请求。
3、获取响应服务器返回网页的HTML内容作为响应。
4、解析内容爬虫解析HTML内容提取所需要的数据如文本、链接、图片等。
5、提取链接从网页中提取出所有的链接并将这些链接加入到待访问的队列。
6、重复过程爬虫重复上述步骤直到达到某个停止条件如爬取到了一定数量的页面或者所有页面都被爬取完毕。
三、爬虫的分类
1、通用爬虫设计用于抓取整个互联网的大量页面。搜索引擎如GOOGLE、Bing的爬虫就是通用爬虫。
2、聚焦爬虫专注于特定的主题或者领域抓取相关页面。比如一个新闻爬虫只抓取新闻网站的内容。
3、增量爬虫仅抓取自上次爬取以来发生变化或更新的页面适用于动态内容更新频繁的网站。
四、爬虫的合法性和道德
在编写和运行爬虫时必须遵守以下原则
1、遵守网站的robot.txt文件大多数网站都有一个robot.txt文件规定了哪些页面允许被爬取哪些不允许爬取。
2、避免过度抓取设置适当的抓取频率避免对服务器造成过大的负担。
3、尊重版权和隐私不应该抓取或使用受版权保护的内容或涉及用户隐私的数据。
4、获取许可在某些情况下最好获得网站管理员的许可特别是当你打算频繁地抓取大量数据时。
五、实战抓取某云热歌榜歌曲
1、打开需要抓取的页面 2、F12检查定位关键元素 3、搜索关键词 4、查看在页面中的渲染情况是不是我们想要的数据可以看到这里列出了200首歌那么就是的 5、在标头中确定数据来源地址及请求方法 6、编写源代码
import re
import os
import requests#定义爬取文件存放的地址
filename E:\pratice\music\\ # 如果没有上述文件夹则创建文件夹
if not os.path.exists(filename):os.makedirs(filename)# 请求网址如果想要爬取其他的榜单的歌曲内容只需要改这个 url 即可
url https://music.163.com/playlist?id3778678# 伪造请求头
headers {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36
}# 发送请求
response requests.get(url, headersheaders)# re.findall
# 这个函数用于在字符串中查找所有与正则表达式模式匹配的部分并返回一个包含所有匹配项的列表
# r 前缀表示这是一个原始字符串其中的反斜杠不会被解释为转义字符
# (\d): 捕获组匹配一个或多个数字
# (.*?): 捕获组非贪婪匹配任何字符包括空字符直到遇到 /a
html_data re.findall(rlia href/song\?id(\d)(.*?)/a, response.text)# 正则表达式提取出来的一个内容返回是列表 里面每一个元素都是元组
for num_id, title in html_data:# 调用接口music_url fhttps://music.163.com/song/media/outer/url?id{num_id}.mp3# 发送请求获取二进制数据music_content requests.get(music_url, headersheaders)# 保存with open(E:\pratice\music\\ title .mp3, wb) as f:f.write(music_content.content)print(num_id, title)
