网站开发概要设计模板,注册营业执照名字查询系统,网站建设合同交印花税么,天津营销网站建设在爬虫中#xff0c;opener是一个用来发送HTTP请求的对象。它可以用来模拟浏览器发送请求#xff0c;包括设置请求头、处理Cookie等操作。使用opener可以实现一些高级功能#xff0c;如模拟登录、处理验证码等。
方法1#xff1a;
from urllib.request import Request,bu…在爬虫中opener是一个用来发送HTTP请求的对象。它可以用来模拟浏览器发送请求包括设置请求头、处理Cookie等操作。使用opener可以实现一些高级功能如模拟登录、处理验证码等。
方法1
from urllib.request import Request,build_opener
from fake_useragent import UserAgenturl http://httpbin.org/get
headers {User-Agent:UserAgent().chrome
}
req Request(url,headersheaders)
opener build_opener()
resp opener.open(req)
print(resp.read().decode())
执行结果 方法2使用控制器
from urllib.request import Request,build_opener
from fake_useragent import UserAgent
from urllib.request import HTTPHandlerurl http://httpbin.org/get
headers {User-Agent:UserAgent().chrome
}
req Request(url,headersheaders)
handler HTTPHandler(debuglevel1)
opener build_opener(handler)
resp opener.open(req)
print(resp.read().decode())
执行结果 对比方法1和方法2方法2明显输出内容更多更详细。 需要注意的是opener对象默认会自动处理重定向和Cookie等操作所以无需手动处理。如果需要手动处理重定向可以使用urllib.request.install_opener(opener)来安装opener对象。
