如何做网站架构,wordpress站群系统,手机网站建设哪家好,网络广告人社区前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 爬虫请求解析后的数据#xff0c;需要保存下来#xff0c;才能进行下一步的处理#xff0c;一般保存数据的方式有如下几种#xff1a; 文件#xff1a;txt、csv、excel、json等#xff0c;保存数据量小。 关系型数据库…前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 爬虫请求解析后的数据需要保存下来才能进行下一步的处理一般保存数据的方式有如下几种 文件txt、csv、excel、json等保存数据量小。 关系型数据库mysql、oracle等保存数据量大。 非关系型数据库Mongodb、Redis等键值对形式存储数据保存数据量大。 二进制文件保存爬取的图片、视频、音频等格式数据。
首先获取豆瓣读书《平凡的世界》的3页短评信息然后保存到文件中。
具体代码如下忽略异常
import requests
from bs4 import BeautifulSoupurls[https://**网址不可放**/subject/1200840/comments/?start{}limit20statusPsortnew_score.format(str(i)) for i in range(0, 60, 20)] #通过观察的url翻页的规律使用for循环得到3个链接保存到urls列表中
print(urls)
dic_h {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36}
comments_list [] #初始化用于保存短评的列表for url in urls: #使用for循环分别获取每个页面的数据保存到comments_list列表r requests.get(urlurl,headers dic_h).textsoup BeautifulSoup(r, lxml)ul soup.find(div,idcomments)lis ul.find_all(p)list2 []for li in lis:list2.append(li.find(span).string)# print(list2)comments_list.extend(list2)print(comments_list)爬到评论数据保存到列表中 使用open()方法写入文件‘
保存数据到txt
将上述爬取的列表数据保存到txt文件 遇到问题没人解答小编创建了一个Python学习交流QQ群702813599
寻找有志同道合的小伙伴互帮互助,群里还有不错的视频学习教程和PDF电子书with open(comments.txt, w, encodingutf-8) as f: #使用with open()新建对象f# 将列表中的数据循环写入到文本文件中for i in comments_list:f.write(i\n) #写入数据保存数据到csv
CSVComma-Separated Values、逗号分隔值或字符分割值
是一种以纯文件方式进行数据记录的存储格式保存csv文件需要使用python的内置模块csv。
写入列表或者元组数据
创建writer对象使用writerow()写入一行数据使用writerows()方法写入多行数据。
使用writer对象写入列表数据示例代码如下 遇到问题没人解答小编创建了一个Python学习交流QQ群702813599
寻找有志同道合的小伙伴互帮互助,群里还有不错的视频学习教程和PDF电子书import csvheaders [No,name,age]
values [[01,zhangsan,18],[02,lisi,19],[03,wangwu,20]
]
with open(test1.csv,w,newline) as fp:# 获取对象writer csv.writer(fp)# 写入数据writer.writerow(headers) #写入表头writer.writerows(values) # 写入数据写入字典数据
创建DictWriter对象使用writerow()写入一行数据使用writerows()方法写入多行数据。
使用 DictWriter 对象写入字典数据示例代码如下
import csvheaders [No,name,age]
values [{No:01,name:zhangsan,age:18},{No:02,name:lisi,age:19},{No:03,name:wangwu,age:20}]
with open(test.csv,w,newline) as fp:dic_writer csv.DictWriter(fp,headers)dic_writer.writeheader()# 写入表头dic_writer.writerows(values) #写入数据将上述爬取到的数据保存到csv文件中 遇到问题没人解答小编创建了一个Python学习交流QQ群702813599
寻找有志同道合的小伙伴互帮互助,群里还有不错的视频学习教程和PDF电子书import requests
import csv
from bs4 import BeautifulSoup
urls[https://book.douban.com/subject/1200840/comments/?start{}limit20statusPsortnew_score.format(str(i)) for i in range(0, 60, 20)] #通过观察的url翻页的规律使用for循环得到5个链接保存到urls列表中
print(urls)
dic_h {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36}
comments_list [] #初始化用于保存短评的列表for url in urls: #使用for循环分别获取每个页面的数据保存到comments_list列表r requests.get(urlurl,headers dic_h).textsoup BeautifulSoup(r, lxml)ul soup.find(div,idcomments)lis ul.find_all(p)list2 []for li in lis:list2.append(li.find(span).string)# print(list2)comments_list.extend(list2)new_list [[x] for x in comments_list] #列表生成器将列表项转为子列表with open(com11.csv, modew, newline, encodingutf-8) as f:csv_file csv.writer(f) # 创建CSV文件写入对象for i in new_list:csv_file.writerow(i)使用pandas保存数据
pandas支持多种文件格式的读写最常用的就是csv和excel数据的操作
因为直接读取的数据是数据框格式所以在爬虫、数据分析中使用非常广泛。
一般将爬取到的数据储存为DataFrame对象DataFrame 是一个表格或者类似二维数组的结构它的各行表示一个实例各列表示一个变量。
pandas保存数据到excel、csv
pandas保存excel、csv非常简单两行代码就可以搞定 遇到问题没人解答小编创建了一个Python学习交流QQ群702813599
寻找有志同道合的小伙伴互帮互助,群里还有不错的视频学习教程和PDF电子书df pd.DataFrame(comments_list) #把comments_list列表转换为pandas DataFrame
df.to_excel(comments.xlsx) #保存到excel表格
# df.to_csv(comments.csv)#保存在csv文件结尾给大家推荐一个非常好的学习教程希望对你学习Python有帮助 48小时搞定全套爬虫教程你和爬虫大佬只有一步之遥【python教程】 尾语
好了今天的分享就差不多到这里了
对下一篇大家想看什么可在评论区留言哦看到我会更新哒(ง •_•)ง
喜欢就关注一下博主或点赞收藏评论一下我的文章叭 最后宣传一下呀~ 更多源码、资料、素材、解答、交流 皆点击下方名片获取呀
