网站建设审批,wordpress站外搜索,建设的访问网站需要密码,阜新建设网站一、 Selenium
Selenium是最广泛使用的开源Web UI(用户界面)自动化测试套件之一#xff0c;支持并行测试执行。Selenium通过使用特定于每种语言的驱动程序支持各种编程语言。Selenium支持的语言包括C##xff0c;Java#xff0c;Perl#xff0c;PHP#xff0c;Python和Ru…一、 Selenium
Selenium是最广泛使用的开源Web UI(用户界面)自动化测试套件之一支持并行测试执行。Selenium通过使用特定于每种语言的驱动程序支持各种编程语言。Selenium支持的语言包括C#JavaPerlPHPPython和Ruby。Selenium支持的浏览器包括Internet ExplorerMozilla FirefoxGoogle Chrome和Safari。
二、 Selenium WebDriver
WebDriver是由Selenium主持的W3C的一个标准。利用浏览器原生的API来与浏览器进行交互。使用了Client-Server的模式还实现了一个基于HTTP的服务对selenium提供了一套API。不同了浏览器的厂商提供自己对应的webdriverChrome的ChromedriverFirefox就有专门的FirefoxDriver等但是对外提供的API是一致的。Webdriver可以通过浏览器原生的API对浏览器进行各种操作由于是厂商自己提供的稳定性、可靠性和安全性都是有保障的。
三、浏览器
常见的浏览器IE、Microsoft Edge、Chrome/Chromium、Firefox、Safari等selenium都支持。Chrome和Chromium对比
ChromiumChrome开源项目不是开源项目开发版更新速度快会添加新功能性能稍低是正式版更新速度慢比较稳定性能高没有自动更新联网可以检测更新
四、Selenium工作原理 各个浏览器厂商根据WebDriver协议实现各自浏览器的webdriverwebdriver是可以向selenium客户端提供统一http接口的常见的开发语言都可以实现selenium客户端Python、Java、C#等。 Webdriver协议接口 https://www.w3.org/TR/webdriver1/#list-of-endpoints 以Python selenium为例实现了相关的接口协议
可以看出selenium支持多种浏览器。 调用Chrome浏览器时selenium初始化过程中先将chromedriver作为参数初始化Server类并且执行start方法。 进到start方法中可以看到执行了一个CMD的命令就是在启动chromedriver.exe服务。
在初始化Server过程中起到了给chromedriver指定了一个空闲的端口号。 可以看到后台进程chromedriver进程并且监听51650端口 Selenium 发送http请求给webdriver启动浏览器有些网站反爬策略会监控是否是webdriver驱动的浏览器 当打开一个网页是调用get方法其实是给webdriver发送对应的http请求
五、反爬检测
1、 检测浏览器指纹
检测网站 https://bot.sannysoft.com/左边是selenium启动的chromium右边是手动启动。
2、 浏览器启动参数
查看命令 wmic process where caption“chrome.exe” get caption,commandline /value Selenium通过webdriver启动浏览器参数 手动启动浏览器参数
3、检测浏览器驱动
如果使用webdriver启动的浏览器会被检测window.navigator.webdriver
4、 检测webdriver特征
Webdriver源码 检测结果淘宝滑动验证失败 通过js可以看出对webdriver的特征检测等
六、优化方案
1、 给webdriver添加日志选项方便出问题时定位分析。 2、 使用undetected_chromedriver隐藏特殊标识 1、打开浏览器的时注入js修改webdriver属性值。 3、 修改webdriver二进制文件中的特征值 4、 先启动浏览器然后再使用webdriver连接控制。
七、扩展Chrome DevTools Protocol
谷歌浏览器开发协议Chrome DevTools 就是一个 Web 服务工具它通过使用 Chrome DevTools Protocol 与后端进行交互。浏览器启动时加上参数 --remote-debugging-port{port}就可以通过发送http和websocket请求直接控制浏览器。 启动浏览器chrome.exe --remote-debugging-port9255 发送请求查看浏览器信息包含websocket连接url。 新建浏览器标签页其中页包含了新标签页的websocket连接url。 Cdp开源信息 https://github.com/ChromeDevTools/awesome-chrome-devtools 支持的语言和第三方库。 Python的第三方库
Pychrome调用简单但是版本较老很久没有维护网捕手也集成这个库Pyppeteer是用python改写官方提供的js代码支持异步使用广泛容易被反爬策略识别。
