建筑培训网站有哪些,wordpress无法发表文章,ti外包网站建设,wordpress给栏目页加后缀什么是爬虫#xff1f;
通过请求#xff0c;从而去获取互联网上的各种数据与资源#xff0c;如文字#xff0c;图片#xff0c;视频。 本质上原理都一样#xff0c;都是通过api请求#xff0c;然后服务器就会发给你信息#xff0c;然后你再根据这些信息去提取你想要的…什么是爬虫
通过请求从而去获取互联网上的各种数据与资源如文字图片视频。 本质上原理都一样都是通过api请求然后服务器就会发给你信息然后你再根据这些信息去提取你想要的资源。 还有比如抢票你只是通过发送请求从而达到抢票的目的但是并没有获取信息之类的这也算是爬虫吧。 反正不重要总而言之爬虫简单说就是去请求接口获取信息或进行一系列操作。
一.HttpClientJsoupWebMagic
HttpClient--原始请求完之后要自己用字符串处理工具或正则表达式去解析页面来提取自己想要的数据。 Jsoup--请求完之后有专门用来处理HTML的一套API可以像前端一样的DOM一样操作和提取所获得页面的各个元素从而来获得自己想要的信息。 WebMagic--还没学不过可以参考一下别人的对比简单说就是适合大规模爬取效率高之类的。2023年流行的Java网页抓取库Jsoup、HtmlUnit和WebMagic
我学的主要是Jsoup 入门视频【狂神说Java】Jsoup爬虫入门实战_哔哩哔哩_bilibili
二.爬取的策略和实战中会遇到的问题
语言只是一个工具最重要是解决问题的思路有了思路剩下的就是了解api现在有了gpt了解api也不难了和写代码了。
记住一个知识点并非看完整套视频再去学习很多时候实战是更好的学习方式。
爬虫的话最先要学会用好游览器看两个东西一个是请求打开检查的网络就可以抓取请求另一个是页面的源代码要知道那个元素对应哪个标签这样才可以准确爬取对应的信息。
除此之外还要了解restful api知道get,post,delete等请求知道query参数和json参数。 技巧一添加请求头不少爬取除了请求的链接外都还要添加请求头。
【1】场景一需要登录 就是模拟发送post请求然后就会返回cookie或者token获取cookie并加入下一个请求的请求头。
【2】场景二UA伪装 UA:User-Agent---请求载体的身份标识有些网站会检验这个请求头来判断是否是爬虫。 所以我们要加入User-Agent请求头参数通过游览器查看请求获取。
技巧二有些网站会通过IP请求频率来封IP我们可以提高抓取的时间间隔。
