监控直播网站开发,怎样制作购物网站 微信转发,榆林建站网站建设,漳州网站建设点击博大选我希望能总结一个涵盖大部分爬虫逆向问题的固定思路#xff0c;在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中#xff0c;下面的通解思路尚不完善#xff0c;还望各位读者见谅。
一、第一步#xff1a;明确反爬手段
反爬手段可以分为几个大类
#… 我希望能总结一个涵盖大部分爬虫逆向问题的固定思路在这个思路框架下可以很高效的进行逆向爬虫开发。目前我仍在总结中下面的通解思路尚不完善还望各位读者见谅。
一、第一步明确反爬手段
反爬手段可以分为几个大类
1检查请求头信息
服务器会检查User-Agent、Referer、检查加密的URL/API参数等等。
2对JS压缩、混淆和加密
JS代码运行在客户端是公开透明的所以有必要为了反爬进行一些处理。
3IP限制
4验证码
5字体反爬
二、第二步针对不同的反爬手段采集相应的策略
1若为“URL/API参数加密”
a、寻找并快速定位加密入口【寻找入口、快速定位】
b、找到入口后进行调试分析【调试分析、破解加密】
c、分析过后通过代码模拟执行生成加密参数【模拟执行、生成参数】
2若为JS压缩、混淆和加密
a、若是JS压缩可用浏览器代码格式化、复制到pycharm里进行代码格式化
b、若是JS混淆则需要再判断混淆手段 变量混淆、常量混淆、控制流平坦化、调试保护等等
c、若是JS加密测需要再判断加密方式 AES、MD5、SM、SHA-1、Base64等等
三、总结 JS逆向技术内容非常庞大繁杂我画了一张思维导图帮助大家理解。图中还有部分内容由于本人尚在学习中所以还不全面。 JS逆向技术总结
