网站设计工资,网页视频下载器安卓破解,亳州是网站建设,手机制作视频教程Splash是一个 JavaScript渲染服务,是一个含有 HTTP API的轻量级浏览器,它还对接了 Python 中的 Twisted 库和 OT库。利用它#xff0c;同样可以爬取动态渲染的页面。
功能介绍
利用 Splash#xff0c;可以实现如下功能#xff1a;
异步处理多个网页的渲染过程:获取渲染后…Splash是一个 JavaScript渲染服务,是一个含有 HTTP API的轻量级浏览器,它还对接了 Python 中的 Twisted 库和 OT库。利用它同样可以爬取动态渲染的页面。
功能介绍
利用 Splash可以实现如下功能
异步处理多个网页的渲染过程:获取渲染后页面的源代码或截图;通过关闭图片渲染或者使用 Adblock规则的方式加快页面渲染的速度;执行特定的 JavaScript 脚本;通过 Lua 脚本控制页面的渲染过程;获取页面渲染的详细过程并以HAR(HTTPArchive)的格式呈现出来。
接下来我们一起了解 Splash 的具体用法。
准备工作
请确保 Splash 已经正确安装好并可以在本地 8050端口上正常运行。安装方法可以参考 https:/setup. scrape.center/splash。
win10 docker安装
去docker官网下载但请一定要注意你Windows笔记本电脑版本一定要和docker匹配否则会报错 查看自己windows版本 检查 Windows 版本按 Win R 键输入 winver然后点击“确定”。这将显示一个窗口其中包含您当前使用的 Windows 版本信息。 官网找一个合适的版本一般历史版本可能官网不好找点击这里找个适合的版本 下载。 安装包下载之后直接双击安装即可不过可能会报错 去给出的网址下载WSL2安装即可。
splash安装
有了 Docker只需要一键启动 Splash 即可命令如下
docker run -p 8050:8050 scrapinghub/splash问题1
docker: Error response from daemon: Get https://registry-1.docker.io/v2/: context deadline exceeded.我们可以配置国内的镜像尽可能把所有的镜像都配置上否则不是慢就是依然下载不下来 registry-mirrors: [https://registry.docker-cn.com,http://hub-mirror.c.163.com,https://docker.mirrors.ustc.edu.cn,https://cr.console.aliyun.com,https://mirror.ccs.tencentyun.com,https://registry.docker-cn.com,http://hub-mirror.c.163.com,https://docker.mirrors.ustc.edu.cn/,https://yxzrazem.mirror.aliyuncs.com,https://docker.kubesre.xyz,https://dc.j8.work,https://docker.registry.cyou,https://docker.hlyun.org,https://docker.chenby.cn,https://docker.jsdelivr.fyi,https://docker-mirrors.mjjman.com,https://docker.kubesre.xyz,https://huecker.io,https://dockerhub.timeweb.cloud,https://docker.registry.cyou,https://docker-cf.registry.cyou,https://dockercf.jsdelivr.fyi,https://dockertest.jsdelivr.fyi,https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com,https://docker.m.daocloud.io,https://hub-mirror.c.163.com,https://mirror.baidubce.com,https://your_preferred_mirror,https://dockerhub.icu,https://docker.registry.cyou,https://docker-cf.registry.cyou,https://dockercf.jsdelivr.fyi,https://docker.jsdelivr.fyi,https://dockertest.jsdelivr.fyi,https://mirror.aliyuncs.com,https://dockerproxy.com,https://mirror.baidubce.com,https://docker.m.daocloud.io,https://docker.nju.edu.cn,https://docker.mirrors.sjtug.sjtu.edu.cn,https://docker.mirrors.ustc.edu.cn,https://mirror.iscas.ac.cn,https://docker.rainbond.cc]经过我的测试发现下载到一半依然报错于是只能用VPN去下载了。
安装完成之后会有类似的输出结果 这时我们打开http://localhost:8050 即可看到 Splash 的主页如图所示 当然 Splash 也可以直接安装在远程服务器上我们在服务器上运行以守护态运行 Splash 即可命令如下
docker run -d -p 8050:8050 scrapinghub/splash在这里多了一个 -d 参数它代表将 Docker 容器以守护态运行这样在中断远程服务器连接后不会终止 Splash 服务的运行。
实例引入
上面我们打开http://localhost:8050 即可看到 Splash 的主页右侧呈现的是一个渲染示例可以看到其上方有一个输人框默认显示文字是http://google.com我们将其换成 htps://www.baidu.com 测试一下换完内容后单击 Render me! 按钮,开始渲染结果如下图所示。 渲染结果中包含渲染截图、HAR 加载统计数据和网页的源代码。Splash 染了整个网页包括CSS、JavaScript 的加载等最终呈现的页面和在浏览器中看到的完全一致。那么这个过程由什么控制呢?我们返回首页可以看到这样一段脚本:
function main(splash, args)assert(splash:go(args.url))assert(splash:wait(0.5))return {html splash:html(),png splash:png(),har splash:har(),}
end这个脚本是用Lua语言写的。即使不懂Lua语言的语法也能大致看懂脚本的表面意思首先调用go方法加载页面然后调用 wait 方法等待了一定时间最后返回了页面的源代码、截图和 HAR 信息。
至此我们大体了解了 Splash 是通过 Lua 脚本控制页面的加载过程加载过程完全模拟浏览器最后可返回各种格式的结果如网页源码和截图等。
接下来我们就了解一下 Lua 脚本的写法以及相关 API的用法。
Splash Lua 脚本
Splash 能够通过 Lua 脚本执行一系列渲染操作因此我们可以用它模拟 Chrome、PhantomJS,先了解一下 Splash Lua 脚本的入口和执行方式。
入口及返回值
来看一个基本实例:
function main(splash, args)splash:go(http://www.baidu.com)splash:wait(0.5)local title splash:evaljs(document.title)return {titletitle}
end将这段代码粘贴到上图中的代码编辑区域,然后单击 Render me! 按钮,返回结果如下图所示。 可以看到渲染结果中包含网页的标题。这里我们通过evaljs 方法传人了 JavaScript 脚本而document.title 返回的就是网页的标题evaljs 方法执行完毕后将标题赋值给 title 变量随后将其返回。
注意我们在这里定义的方法叫 main。这个名称是固定的Splash会默认调用这个方法。main方法的返回值既可以是字典形式也可以是字符串形式最后都会转化为Splash的 HTTP 响应例如:
function main(splash)return {helloworld!}
end返回的是字典形式的内容。下面的代码:
function main(splash)return hello
end返回的是字符串形式的内容。
异步处理
Splash 支持异步处理,但是并没有显式地指明回调方法,其回调的跳转是在内部完成的。示例如下
function main(splash, args)local example_urls {www.baidu.com,www.taobao.com,www.zhihu.com}local urls args.urls or example_urlslocal results {}for index,url in ipairs(urls) dolocal ok,reason splash:go(http:// .. url)if ok thensplash:wait(2)results[url] splash:png()endendreturn results
end运行这段代码后的返回结果是代码中3个网站的页面截图如下图所示。
代码中调用的 wait 方法类似于 Python 中的 sleep 方法参数是等待的秒数。当 Splash 执行到此方法时会转而处理其他任务在等待参数指定的时间后再回来继续处理。
这里值得注意的是Lua 脚本中的字符串拼接和 Python 中不同它使用的是“…”操作符而不是66リ如果有必要,可以简单了解一下 Lua 脚本的语法,详见 http:/www.runoob.com/ua/lua-basic-syntax.html.另外这里设置了加载页面时的异常检测。80方法会返回加载页面的结果状态如果返回的状态码是 4xx或 5xx那么 ok 变量为空就不会返回加载后的图片。
splash 对象的属性
能够注意到,前面例子中 main方法的第一个参数是 splash,这个对象非常重要,类似于Selenium中的 webDriver 对象我们可以调用它的一些属性和方法来控制加载过程。接下来先看 splash 的属性。
args 属性
该属性用于获取页面加载时配置的参数例如请求 URL。对于 GET请求args 属性还可以用于获取 GET请求的参数;对于POST请求args属性还可以用于获取表单提交的数据。此外Splash 支持将 main 方法的第二个参数直接设置为 args例如:
function main(splash, args)local url args.url
end这里的第二个参数 args 就相当于 splash.args 属性以上代码等价于:
function main(splash)local urlsplash.args.url
endjs_enabled 属性
这个属性是 Splash 执行 JavaScript 代码的开关将其设置为 true 或 false 可以控制是否执行JavaScript 代码默认取 true。例如:
function main(splash, args)splash:go(https://www.baidu.com )splash.js enabledfalselocal title splash:evaljs(document.title)return {titletitle}
end这里我们将 is enabled 设置为 false代表禁止执行 JavaScript代码然后重新调用 evaljs 方法执行了 JavaScript 代码此时运行这段代码就会抛出异常: 不过我们一般不设置此属性默认开启。
resource_timeout 属性
此属性用于设置页面加载的超时时间单位是秒。如果设置为0或nil(类似Python 中的None).
代表不检测超时。示例如下:
function main(splash)splash.resource_timeout 0.1assert(splash:go(https://www.taobao.com))return splash:png()
end这里将超时时间设置为了 0.1秒。意味着如果在0.1秒内没有得到响应就抛出异常: 此属性适合在页面加载速度较慢的情况下设置。如果超过某个时间后页面依然无响应则直接抛出异常并忽略。
images_enabled 属性
此属性用于设置是否加载图片默认是加载。禁用该属性可以节省网络流量并提高页面的加载速度但是需要注意这样可能会影响 JavaScript 渲染。因为禁用该属性之后它的外层 DOM 节点的高度会受影响进而影响 DOM 节点的位置。当JavaScript 对图片节点执行操作时就会受到影响。
另外有一点值得注意Spiash会使用缓存。意味着即使禁用images_enabled属性一开始加载出来的网页图片也会在重新加载页面后显示出来这种情况下直接重启Splash 即可。
禁用 images_enabled 属性的示例如下:
function main(splash, args) splash.images_enabledfalseassert(splash:go(https://www.jd.com))return{pngsplash:png()}
end这样返回的页面截图不会带有任何图片加载速度也会快很多。
plugins_enabled 属性
此属性用于控制是否开启浏览器插件(如 Flash 插件 )默认取 false表示不开启。可以使用如下代码开启/关闭 plugins_enabled:
splash.plugins enabled true/falsescroll_position属性
此属性可以控制页面上下滚动或左右滚动是一个比较常用的属性。示例如下:
function main(splash, args)assert(splash:go(https://www.taobao.com))splash.scroll_position{y400}return {pngsplash:png()}
end这样可以控制页面向下滚动 400 像素值运行结果如下图所示。
如果要让页面左右滚动可以传入x参数代码如下:
splash.scroll_position{x100y200}splash 对象的方法
除了前面介绍的属性splash对象还有如下方法。
go 方法
该方法用于请求某个链接可以模拟 GET 请求和 POST 请求同时支持传人请求头、表单等数据其用法如下:
ok, reason splash:go{url, baseurlnil, headersnil, http_methodGET, bodynil, formdatanil}对其中各参数的说明如下。
url:请求 URL。baseurl:资源加载的相对路径是可选参数默认为空。headers:请求头是可选参数默认为空。http_method:请求方法是可选参数默认为GET同时支持 POST。口 body:http_method为POST时的表单数据使用的Content-type为application/json是可选参数默认为空。formdata:http_method 为 POST 时的表单数据使用的 Content-type 为 application/x-www-form-urlencoded是可选参数默认为空。
该方法的返回值是ok变量和 reason 变量的组合,如果 ok为空,代表页面加载出现了错误,reason中包含错误的原因否则代表页面加载成功。示例如下:
function main(splash, args)local ok, reason splash:go{http://www.httpbin.org/post, http_methodPosT, bodyname-Germey}if ok thenreturn splash:html()end
end这里我们模拟了一个POST请求并传人了表单数据如果页面加载成功就返回页面的源代码。 运行结果如下
可以看到成功实现了POST请求并发送了表单数据。
wait方法
此方法用于控制页面等待时间其用法如下:
ok, reasonsplash:wait{time, cancel_on_redirectfalse, cancel_on_errortrue}对其中各参数的说明如下。
time:等待的时间单位为秒。cancel_on_redirect:如果发生了重定向就停止等待并返回重定向结果是可选参数默认为 false。cancel_on_error:如果页面加载错误就停止等待是可选参数默认为 false。
其返回值同样是 ok 变量和 reason 变量的组合。 我们用一个实例感受一下:
function main(splash)splash:go(https://www.taobao.com)splash:wait(2)return {htmlsplash:html()}
end执行如上代码可以访问淘宝页面并等待2秒随后返回页面源代码。
jsfunc 方法
此方法用于直接调用 JavaScript 定义的方法但是需要用双中括号把调用的方法包起来相当于实现了从 JavaScript 方法到 Lua 脚本的转换。示例如下:
function main(splash, args)local get_div_countsplash:jsfunc([[function(){var body document.body;var divs body.getElementsByTagName(div);return divs.length;}]])splash:go(https://www.baidu.com )return(There are %s DIVs):format(get_div_count())
end这段代码的运行结果如下:
这里我们先声明了一个 JavaScript定义的方法 get div_count然后在页面加载成功后调用此方法计算出了页面中 div 节点的个数。
关于从 JavaScript方法转换到Lua脚本的更多细节可以参考官方文档:https://splash.readthedocs. io/en/stable/scripting-ref.html#splash-jsfunc。
evaljs 方法
此方法用于执行 JavaScript 代码并返回最后一条 JavaScript 语句的返回结果其用法如下:
resultsplash:evaljs(js)例如可以用下面的代码获取页面标题:
local title splash:evaljs(document.title)runjs 方法
此方法用于执行JavaScript代码它的功能与evalis方法类似但更偏向于执行某些动作或声明某些方法。例如:
function main(splash, args)splash:go(https://www.baidu.com)splash:runjs(foo function(){return bar})local resultsplash:evaljs(foo())return result
end这里我们先用 runjs 方法声明了一个 JavaScript 方法 foo然后通过 evaljs 方法调用 foo 方法得到的结果。 运行结果如下:
可以看到这里我们成功模拟了发送POST请求并发送了表单数据。
html方法
此方法用于获取页面的源代码是一个非常简单且常用的方法示例如下:
function main(splash, args)splash:go(https://www.httpbin.org/get)return splash:html()
end运行结果如下:
png 方法
此方法用于获取 PNG 格式的页面截图示例如下:
function main(splash, args)splash:go(https://www.taobao.com)return splash:png()
endjpeg 方法
此方法用于获取 JPEG 格式的页面截图示例如下:
function main(splash, args)splash:go(https://www.taobao.com)return splash:jpeg()
endhar 方法
此方法用于获取页面加载过程的描述信息示例如下:
function main(splash, args)splash:go(https://www.baidu.com)return splash:har()
end运行结果如下图所示 这张图里显示了百度页面加载过程中的每个请求记录的详情。
url方法
此方法用于获取当前正在访问的URL示例如下:
function main(splash, args)splash:go(https://www.baidu.com)return splash:url()
end运行结果如下:
set_user_agent 方法
此方法用于设置浏览器的 User-Agent示例如下:
function main(splash)splash:set_user_agent(Splash)splash:go(http://www.httpbin.org/get)return splash:html()
end这里我们将浏览器的 User-Agent 属性设置为了 Splash运行结果如下: 可以看到我们设置的 User-gent 属性值生效了。
select 方法
该方法用于选中符合条件的第一个节点,如果有多个节点符合条件,则只返回一个,其参数是CSS选择器。示例如下:
function main(splash)splash:go(https://www.baidu.com/)input splash:select(#kw)input:send_text(Splash)splash:wait(3)return splash:png()
end这里我们首先访问百度官网然后用select 方法选中搜索框随后调用 send_text 方法填写了文本最后返回网页截图。运行结果如下图所示。 可以看到我们成功填写了输入框。
select_all方法
此方法用于选中所有符合条件的节点其参数是CSS选择器。示例如下:
function main(splash)local treat require(treat)assert(splash:go(http://quotes.toscrape.com/))assert(splash:wait(0.5))local texts splash:select_all(.quote .text)local results{}for index,text in ipairs(texts)doresults[index] text.node.innerHTMLendreturn treat.as_array(results)
end可以发现我们成功获取了10个节点的正文内容。
mouse_click方法
此方法用于模拟鼠标的点击操作参数为坐标值x、y。我们可以直接选中某个节点直接调用此方法示例如下:
function main(splash)splash:go(https://www.baidu.com/)input splash:select(#kw)input:send_text(Splash)splash:wait(3)submitsplash:select(#su)submit:mouse_click()splash:wait(5)return splash:png()
end这里我们首先选中页面的输入框向其中输人文本 Splash,然后选中提交按钮,调用mouse click方法提交査询之后等待5秒就会返回页面截图如下图所示。
可以看到我们成功获取了查询后的页面内容模拟了百度的搜索操作。
至此splash对象的常用方法介绍完毕还有一些方法这里不一一介绍了更加详细和权威的说明可以参见官方文档 https://splash.readthedocs.io/en/stable/scripting-ref.html,此页面介绍了splash 对象的所有方法。另外还有针对页面元素的方法见官方文档 https://splash.readthedocs.io/en/stable/scriptingelement-object.html.
调用 Splash 提供的 API
前面我们介绍了 SplashLua脚本的用法但这些脚本是在 Splash 页面里测试运行的如何才能利用 Splash 渲染页面?Splash 怎样才能和 Python 程序结合使用并爬取 JavaScript 渲染的页面?
其实Splash 给我们提供了一些 HTTP API我们只需要请求这些 API 并传递相应的参数即可获取页面渲染后的结果下面我们学习这些 API。
render.html
此 AP 用于获取 JavaScript 渲染的页面的 HTML代码API地址是 Splash 的运行地址加上此 API的名称例如 http://ocalhost:8050/renderhtml我们可以用 curl 工具测试一下:
curl http://localhost:8050/render.html?urlhttps://www.baidu.com我们给此 API传递了一个 ur1 参数以指定渲染的 URL返回结果即为页面渲染后的源代码。
import requestsurlhttp://localhost:8050/render.html?urlhttps://www.baidu.com
response requests.get(url)
print(response.text)这样就可以成功输出百度页面渲染后的源代码了。 此 API还有其他参数例如 wait用来指定等待秒数。如果要确保页面完全加载出来就可以设置此参数例如:
import requestsurlhttp://localhost:8050/render.html?urlhttps://www.baidu.comamp;wait5
response requests.get(url)
print(response.text)增加等待时间后,得到响应的时间会相应变长,如这里我们等待大约5秒钟才能获取 JavaScript 渲染后的淘宝页面源代码。
另外此API还支持代理设置、图片加载设置、请求头设置和请求方法设置具体的用法可以参见官方文档 https://splash.readthedocs.io/en/stable/api.html#render-html。
render.png
此 API用于获取页面截图其参数比 render.html 要多几个例如 width 和 height 用来控制截图的宽和高返回值是 PNG 格式图片的二进制数据。示例如下:
curl http://localhost:8050/render.png?urlhttps://ww.taobao.comwait-5width1000height700这里我们通过设置 width 和 height 参数将页面截图的大小缩放为 1000x700 像素。如果用 Python 实现可以将返回的二进制数据保存为 PNG 格式的图片代码如下:
import requestsurl (http://localhost:8050/render.png?urlhttps://www.jd.comwait5width1000height700)
response requests.get(url)
with open(taobao.png, wb) as f:f.write(response.content)得到的图片如下图所示。 这样我们就成功获取了京东首页渲染完成后的页面截图详细的参数设置可以参考官网文档https://splash.readthedocs.io/en/stable/api.html#render-png.
render.jpeg
此 API和 render.png 类似不过它返回的是 JPEG 格式图片的二进制数据 另外此API比 render.png 多一个参数quality该参数可以设置图片质量。
render.har
此 API用于获取页面加载的 HAR 数据示例如下:
curl http://localhost:8050/render.har?urlhttps://www.jd.comwait5运行结果非常多是一个JSON格式的数据里面包含页面加载过程中的 HAR 数据。
render.json
此 API 包含前面介绍的所有 render 相关的 API的功能返回值是 JSON 格式的数据示例如下:
curl http://localhost:8050/render.json?urlhttps://www.httpbin.org这里返回了 JSON 格式的请求数据。 我们可以通过传入不同的参数控制返回结果。例如传入html1返回结果会增加页面源代码;传人 png1返回结果会增加 PNG格式的页面截图;传人 har1返回结果会增加页面的 HAR数据。例如:
curl http://localhost:8050/render.json?urlhttps://www.httpbin.orghtml1har1这样返回的结果中便会包含页面源代码和 HAR 数据。 此外还有其他参数可以设置可以参考官方文档 https://splash.readthedocs.io/en/stable/api.html#render-json.
execute
此 API才是最为强大的API。之前介绍了很多关于 SplashLua 脚本的操作用此API即可实现与Lua 脚本的对接。 要爬取一般的 JavaScript 渲染页面使用前面的 render.html 和 render.png 等 API 就足够了但如果要实现一些交互操作这些API还是心有余而力不足就需要使用execute 了。 先实现一个最简单的脚本直接返回数据:
function main(splash)return hello
end然后将此脚本转化为 URL编码后的字符串拼接到execute后面示例如下:
curl http://localhost:8050/execute?lua_sourcefunctionmain%28splash%29%0D%0Areturn%27he11o%27%0D%0Aend运行结果如下: hello
这里我们通过 lua_source 参数传递了转码后的 Lua 脚本通过 execute 获取了脚本最终的执行结果。我们更加关心的是如何用 Python 实现上述过程如果用 Python 实现那么代码如下:
import requestsfrom urllib.parse import quotelua
function main(splash)return hello
end
url http://localhost:8050/execute?lua_source quote(lua)
response requests.get(url)
print(response.text)运行结果如下: hello
这里我们用 Python 中的三引号将Lua脚本括了起来然后用 urllib.parse模块里的 quote方法对脚本进行 URL转码之后构造了请求 URL并将其作为 lua_source 参数传递这样运行结果就会显示Lua 脚本执行后的结果。 我们再通过实例看一下:
import requestsfrom urllib.parse import quotelua
function main(splash)local treat require(treat)local response splash:http_get(http://www.httpbin.org/get)return {htmltreat.as_string(response.body),urlresponse.url,statusresponse.status}
end
url http://localhost:8050/execute?lua_source quote(lua)
response requests.get(url)
print(response.text)运行结果如下
{html: {\n \args\: {}, \n \headers\: {\n \Accept-Encoding\: \gzip, deflate\, \n \Accept-Language\: \en,*\, \n \Host\: \www.httpbin.org\, \n \User-Agent\: \Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/602.1 (KHTML, like Gecko) splash Version/10.0 Safari/602.1\, \n \X-Amzn-Trace-Id\: \Root1-678293a3-209dd02a23aa508c59709099\\n }, \n \origin\: \111.19.92.180\, \n \url\: \http://www.httpbin.org/get\\n}\n, url: http://www.httpbin.org/get, status: 200}可以看到返回结果是 JSON 形式的我们成功获取了请求 URL、状态码和页面源代码。如此一来之前所讲的 Lua 脚本就都可以用此方式与 Python 对接了所有网页的动态渲染、模拟点击、表单提交、页面滑动、延时等待后的结果均可以自由控制获取细节获取页面源代码和截图也都不在话下。
到现在为止我们可以利用 Python 和 Splash 爬取 JavaScript渲染的页面了。除了 Selenium,Splash同样可以实现非常强大的渲染功能同时它不需要浏览器便可渲染使用起来非常方便。
负载均衡配置
用 Splash 爬取页面时如果爬取的数据量非常大任务非常多那么只用一个 Splash 服务就会使压力非常大此时可以考虑搭建一个负载均衡器把压力分散到多个服务器上相当于多台机器、多个服务共同参与任务的处理可以减小单个Splash 服务的压力。 由于篇幅原因请移步 https://setup.scrape.center/splash-loadbalance 查看具体的配置方法。
总结
本篇博客中我们全面地了解了 Splash 的基本用法。有了 Splash可以将 JavaScript 动态渲染的操作完全托管到一个服务器上爬虫爬取的时候不需要再依赖 Selenium 等库整个业务逻辑会更加轻量级。
