做菠菜网站多少钱,凡科官网app下载,汕头网页搜索排名提升,安徽省新天源建设公司网站寻找数据真实接口
打开京东商品网址查看商品评价。我们点击评论翻页#xff0c;发现网址未发生变化#xff0c;说明该网页是动态网页。 API名称#xff1a;item_review-获得JD商品评论
公共参数
获取API测试keysecret
名称类型必须描述keyString是调用key#xff…寻找数据真实接口
打开京东商品网址查看商品评价。我们点击评论翻页发现网址未发生变化说明该网页是动态网页。 API名称item_review-获得JD商品评论
公共参数
获取API测试keysecret
名称类型必须描述keyString是调用key必须以GET方式拼接在URL中secretString是调用密钥api_nameString是API接口名称包括在请求地址中[item_search,item_get,item_search_shop等]cacheString否[yes,no]默认yes将调用缓存的数据速度比较快result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式默认为jsonjsonu输出的内容中文可以直接阅读langString否[cn,en,ru]翻译语言默认cn简体中文versionString否API版本 请求参数
请求参数num_iid71619129750page1
参数说明item_id:商品ID page:页数 响应参数
Version: Date:
名称类型必须示例值描述 items items[]0获得JD商品评论 rate_content String0这个帆布鞋的款式挺不错的穿着也很百搭做工很精细。评论内容 rate_date Date02020-07-16 17:04:45评论日期 pics MIX0[//img30.360buyimg.com/n0/s128x96_jfs/t1/143538/26/2997/98915/5f10182dE075cf6f4/3893a6ebd54bf20b.jpg]评论图片 display_user_nick String0j***X买家昵称 auction_sku String0颜色:白色(加绒);尺码:2XL评论商品属性 add_feedback String0衣服面料很好 穿起来很舒服 衣服挺合适的追评内容
通过循环爬取所有页面的评论数据
翻页爬取的关键是找到真实地址的“翻页”规律。我们分别点击第1页、第2页、第3页发现不同页码的除了page参数不一致其余相同。第1页的“page”是1第2页的“page”是2第2页的“page”是2以此类推。 我们嵌套一个For循环并通过pandas存储数据。运行代码让其自动爬取其他页面的评论信息并储存t.xlsx的文件中。 所有代码如下
import requests
import pandas as pd
items[]
for i in range(1,20):header {User-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.1.4031 SLBChan/105}urlfhttps://api.m.jd.com/?appiditem-v3functionIdpc_club_productPageCommentsclientpcclientVersion1.0.0t1684832645932loginType3uuid122270672.2081861737.1683857907.1684829964.1684832583.3productId100009464799score0sortType5page{i}pageSize10isShadowSku0rid0fold1bbtf1shieldresponse requests.get(urlurl,headersheader)jsonresponse.json()datajson[comments]for t in data:content t[content]time t[creationTime]item[content,time]items.append(item)
df pd.DataFrame(items,columns[评论内容,发布时间])
df.to_excel(rC:\Users\蓝胖子\Desktop\t.xlsx,encodingutf_8_sig)最后得到爬取的数据结果如下
