周口建设网站的,企业网站建设开发多少钱,如何选择大良网站建设,简述制作网站的主要流程目录 爬虫初步说明
html相关基础
urllib之读取网页内容
http相关基础
requests之webapi调用 爬虫初步说明
爬虫#xff0c;一句话来说#xff0c;即模拟浏览器爬取一些内容#xff0c;如自动下载音乐、电影、图片这种的
具体可能是直接访问网页进行解析#xff0c;也…目录 爬虫初步说明
html相关基础
urllib之读取网页内容
http相关基础
requests之webapi调用 爬虫初步说明
爬虫一句话来说即模拟浏览器爬取一些内容如自动下载音乐、电影、图片这种的
具体可能是直接访问网页进行解析也可能是调用webapi直接获取数据后者应该更多一些
html相关基础
html、js、css构成了html的三要素
urllib之读取网页内容
from urllib.request import urlopenurlhttp://www.baidu.com
conurlopen(url)
conscon.read()with open(./output.html,wb) as f:f.write(cons)print(cons)
这里是打开了百度首页然后写入到一个本地html文件注意这里使用wb方式写入字节流
注意需要通过pip安装urllib
http相关基础
三次握手
四次挥手
http方法get、post
requests之webapi调用
import requests
import jsondef fanyi(inputStr):txtinput(请输入要翻译的内容)urlhttps://fanyi.baidu.com/sugdata{kw:txt}resultrequests.post(url,datadata)# print(result.text)# printInfo(result.json())printInfo(result.json()[errno])# printInfo(type(result.json()))print(翻译结果)for i in range(len(result.json()[data])):printInfo(str(i1)result.json()[data][i][v])if __name____main__:fanyi(我的翻译机器人)pass
这里一百度翻译接口为例通过输入待翻译内容然后调用翻译接口将接口返回结果进行解析输出翻译结果
注意需要通过pip安装requests
主要用到的就是get、post
这里需要注意header、body这些参数要根据实际网页请求的内容来也可以先用postman、apipost测试
再一个需要注意的是对于返回结果的解析需要先清楚其类型才可以更好的解析如使用type()先打印下类型就知道下一步要怎么解析了
