北京一度网站建设,福州市建设工程工料机信息网站,电子商务网站设计原理名词解释,鲜花商城网站设计前言
简单来说互联网是由一个个站点和网络设备组成的大网#xff0c;我们通过浏览器访问站点#xff0c;站点把HTML、JS、CSS代码返回给浏览器#xff0c;这些代码经过浏览器解析、渲染#xff0c;将丰富多彩的网页呈现我们眼前#xff1b;
一、爬虫是什么#xff1f; …前言
简单来说互联网是由一个个站点和网络设备组成的大网我们通过浏览器访问站点站点把HTML、JS、CSS代码返回给浏览器这些代码经过浏览器解析、渲染将丰富多彩的网页呈现我们眼前
一、爬虫是什么
如果我们把互联网比作一张大的蜘蛛网数据便是存放于蜘蛛网的各个节点而爬虫就是一只小蜘蛛
沿着网络抓取自己的猎物数据爬虫指的是向网站发起请求获取资源后分析并提取有用数据的程序
从技术层面来说就是 通过程序模拟浏览器请求站点的行为把站点返回的HTML代码/JSON数据/二进制数据图片、视频 爬到本地进而提取自己需要的数据存放起来使用 二、爬虫的基本流程
用户获取网络数据的方式
方式1浏览器提交请求---下载网页代码---解析成页面
方式2模拟浏览器发送请求(获取网页代码)-提取有用的数据-存放于数据库或文件中
爬虫要做的就是方式2 1、发起请求
使用http库向目标站点发起请求即发送一个Request
Request包含请求头、请求体等
Request模块缺陷不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应则会得到一个Response
Response包含htmljson图片视频等
3、解析内容
解析html数据正则表达式RE模块第三方解析库如Beautifulsouppyquery等
解析json数据json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库MySQLMongdb、Redis
文件
三、http协议 请求与响应 Request用户将自己的信息通过浏览器socket client发送给服务器socket server
Response服务器接收请求分析用户发来的请求信息然后返回数据返回的数据中可能包含其他链接如图片jscss等
ps浏览器在接收Response后会解析其内容来显示给用户而爬虫程序在模拟浏览器发送请求然后接收Response后是要提取其中的有用数据。
四、 request
1、请求方式
常见的请求方式GET / POST
2、请求的URL
url全球统一资源定位符用来定义互联网上一个唯一的资源 例如一张图片、一个文件、一段视频都可以用url唯一确定
url编码
https://www.baidu.com/s?wd图片
图片会被编码看示例代码
网页的加载过程是
加载一个网页通常都是先加载document文档
在解析document文档的时候遇到链接则针对超链接发起下载图片的请求
3、请求头
User-agent请求头中如果没有user-agent客户端配置服务端可能将你当做一个非法用户host
cookiescookie用来保存登录信息
注意 一般做爬虫都会加上请求头 请求头需要注意的参数
1Referrer访问源至哪里来一些大型网站会通过Referrer 做防盗链策略所有爬虫也要注意模拟
2User-Agent:访问的浏览器要加上否则会被当成爬虫程序
3cookie请求头注意携带
4、请求体
请求体
如果是get方式请求体没有内容 get请求的请求体放在 url后面参数中直接能看到
如果是post方式请求体是format data
ps
1、登录窗口文件上传等信息都会被附加到请求体内
2、登录输入错误的用户名密码然后提交就可以看到post正确登录后页面通常会跳转无法捕捉到post
五、 响应Response
1、响应状态码
200代表成功
301代表跳转
404文件不存在
403无权限访问
502服务器错误
2、respone header
响应头需要注意的参数
1Set-Cookie:BDSVRTM0; path/可能有多个是来告诉浏览器把cookie保存下来
2Content-Location服务端响应头中包含Location返回浏览器之后浏览器就会重新访问另一个页面
3、preview就是网页源代码
JSO数据
如网页html图片
二进制数据等
六、总结
1、总结爬虫流程
爬取---解析---存储
2、爬虫所需工具
请求库requests,selenium可以驱动浏览器解析渲染CSS和JS但有性能劣势有用没用的网页都会加载 解析库正则beautifulsouppyquery
存储库文件MySQLMongodbRedis
3、爬获校花网
最后送给大家点福利吧 基础版 importreimportrequests
resposerequests.get(http://www.xiaohuar.com/v/)#print(respose.status_code)# 响应的状态码#print(respose.content) #返回字节信息#print(respose.text) #返回文本内容
urlsre.findall(rclassitems.*?href(.*?),respose.text,re.S) #re.S 把文本信息转换成1行匹配
urlurls[5]
resultrequests.get(url)
mp4_urlre.findall(ridmedia.*?src(.*?),result.text,re.S)[0]
videorequests.get(mp4_url)
with open(D:\a.mp4,wb) as f:
f.write(video.content)
View Code
函数封装版 importreimportrequestsimporthashlibimporttime#resposerequests.get(http://www.xiaohuar.com/v/)## print(respose.status_code)# 响应的状态码## print(respose.content) #返回字节信息## print(respose.text) #返回文本内容#urlsre.findall(rclassitems.*?href(.*?),respose.text,re.S) #re.S 把文本信息转换成1行匹配#urlurls[5]#resultrequests.get(url)#mp4_urlre.findall(ridmedia.*?src(.*?),result.text,re.S)[0]#
#videorequests.get(mp4_url)#
#with open(D:\a.mp4,wb) as f:#f.write(video.content)#
defget_index(url):
resposerequests.get(url)if respose.status_code200:returnrespose.textdefparse_index(res):
urls re.findall(rclassitems.*?href(.*?), res,re.S) #re.S 把文本信息转换成1行匹配
returnurlsdefget_detail(urls):for url inurls:if not url.startswith(http):
urlhttp://www.xiaohuar.com%s %url
resultrequests.get(url)if result.status_code200:
mp4_url_list re.findall(ridmedia.*?src(.*?), result.text, re.S)ifmp4_url_list:
mp4_urlmp4_url_list[0]print(mp4_url)#save(mp4_url)
defsave(url):
videorequests.get(url)if video.status_code200:
mhashlib.md5()
m.updata(url.encode(utf-8))
m.updata(str(time.time()).encode(utf-8))
filenamer%s.mp4%m.hexdigest()
filepathrD:\%s%filename
with open(filepath,wb) as f:
f.write(video.content)defmain():for i in range(5):
res1 get_index(http://www.xiaohuar.com/list-3-%s.html%i )
res2parse_index(res1)
get_detail(res2)if __name__ __main__:
main()
View Code
并发版如果一共需要爬30个视频开30个线程去做花的时间就是 其中最慢那份的耗时时间 importreimportrequestsimporthashlibimporttimefrom concurrent.futures importThreadPoolExecutor
pThreadPoolExecutor(30) #创建1个程池中容纳线程个数为30个
defget_index(url):
resposerequests.get(url)if respose.status_code200:returnrespose.textdefparse_index(res):
resres.result() #进程执行完毕后得到1个对象
urls re.findall(rclassitems.*?href(.*?), res,re.S) #re.S 把文本信息转换成1行匹配
for url inurls:
p.submit(get_detail(url))#获取详情页 提交到线程池
def get_detail(url): #只下载1个视频
if not url.startswith(http):
urlhttp://www.xiaohuar.com%s %url
resultrequests.get(url)if result.status_code200:
mp4_url_list re.findall(ridmedia.*?src(.*?), result.text, re.S)ifmp4_url_list:
mp4_urlmp4_url_list[0]print(mp4_url)#save(mp4_url)
defsave(url):
videorequests.get(url)if video.status_code200:
mhashlib.md5()
m.updata(url.encode(utf-8))
m.updata(str(time.time()).encode(utf-8))
filenamer%s.mp4%m.hexdigest()
filepathrD:\%s%filename
with open(filepath,wb) as f:
f.write(video.content)defmain():for i in range(5):
p.submit(get_index,http://www.xiaohuar.com/list-3-%s.html%i ).add_done_callback(parse_index)#1、先把爬主页的任务get_index异步提交到线程池
#2、get_index任务执行完后会通过回调函add_done_callback数通知主线程任务完成
#2、把get_index执行结果注意线程执行结果是对象调用resres.result()方法才能获取真正执行结果当做参数传给parse_index
#3、parse_index任务执行完毕后
#4、通过循环再次把获取详情页 get_detail任务提交到线程池执行
if __name__ __main__:
main()
View Code
涉及知识多线程多进程
计算密集型任务使用多进程因为能Python有GIL多进程可以利用上CPU多核优势
IO密集型任务使用多线程做IO切换节省任务执行时间并发
线程池
参考博客
