国外建筑网站app,网站空间登录,红色培训网站源码,c2c的网站有哪些文章目录 一.IO编程是什么二.文件读写1.读取文件2.file-like Object二进制文件字符编码 3.写文件file对象的常用函数常见标识符 三.StringIO和BytesIO1.StringIO2.BytesIO 四.操作文件和目录五.序列化和反序列化1.pickle.dumps()2.pickle.loads()3.JSON 一.IO编程是什么
IO在计… 文章目录 一.IO编程是什么二.文件读写1.读取文件2.file-like Object二进制文件字符编码 3.写文件file对象的常用函数常见标识符 三.StringIO和BytesIO1.StringIO2.BytesIO 四.操作文件和目录五.序列化和反序列化1.pickle.dumps()2.pickle.loads()3.JSON 一.IO编程是什么
IO在计算机中指Input/Output也就是输入和输出。由于程序和运行时数据是在内存中驻留由CPU这个超快的计算核心来执行涉及到数据交换的地方通常是磁盘、网络等就需要IO接口。
比如你打开浏览器访问新浪首页浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器告诉它我想要首页的HTML这个动作是往外发数据叫Output随后新浪服务器把网页发过来这个动作是从外面接收数据叫Input。所以通常程序完成IO操作会有Input和Output两个数据流。当然也有只用一个的情况比如从磁盘读取文件到内存就只有Input操作反过来把数据写到磁盘文件里就只是一个Output操作。
IO编程中Stream流是一个很重要的概念可以把流想象成一个水管数据就是水管里的水但是只能单向流动。Input Stream就是数据从外面磁盘、网络流进内存Output Stream就是数据从内存流到外面去。对于浏览网页来说浏览器和新浪服务器之间至少需要建立两根水管才可以既能发数据又能收数据。
由于CPU和内存的速度远远高于外设的速度所以在IO编程中就存在速度严重不匹配的问题。举个例子来说比如要把100M的数据写入磁盘CPU输出100M的数据只需要0.01秒可是磁盘要接收这100M数据可能需要10秒怎么办呢有两种办法 第一种是CPU等着也就是程序暂停执行后续代码等100M的数据在10秒后写入磁盘再接着往下执行这种模式称为同步IO 另一种方法是CPU不等待只是告诉磁盘“您老慢慢写不着急我接着干别的事去了”于是后续代码可以立刻接着执行这种模式称为异步IO。
同步和异步的区别就在于是否等待IO执行的结果。 好比你去麦当劳点餐你说“来个汉堡”服务员告诉你对不起汉堡要现做需要等5分钟于是你站在收银台前面等了5分钟拿到汉堡再去逛商场这是同步IO。 你说“来个汉堡”服务员告诉你汉堡需要等5分钟你可以先去逛商场等做好了我们再通知你这样你可以立刻去干别的事情逛商场这是异步IO。
很明显使用异步IO来编写程序性能会远远高于同步IO但是异步IO的缺点是编程模型复杂。
想想看你得知道什么时候通知你“汉堡做好了”而通知你的方法也各不相同。如果是服务员跑过来找到你这是回调模式如果服务员发短信通知你你就得不停地检查手机这是轮询模式。总之异步IO的复杂度远远高于同步IO。
操作IO的能力都是由操作系统提供的每一种编程语言都会把操作系统提供的低级C接口封装起来方便使用Python也不例外。我们后面会详细讨论Python的IO编程接口。
注意本章的IO编程都是同步模式异步IO由于复杂度太高后续涉及到服务器端程序开发时我们再讨论。
二.文件读写
1.读取文件 使用Python内置的open()函数传入文件名和标示符 f open(/data/est.txt, r)标示符r表示读如果文件不存在open()函数就会抛出一个IOError错误表示文件不存在 Traceback (most recent call last):File stdin, line 1, in module
FileNotFoundError: [Errno 2] No such file or directory: /data/est.txt如果文件打开成功调用read()方法可以一次读取文件的全部内容Python把内容读到内存用一个str对象表示 f.read()
#Hello, world!调用close()方法关闭文件 文件使用完毕后必须关闭因为文件对象会占用操作系统的资源并且操作系统同一时间能打开的文件数量也是有限的 f.close()文件读写可能产生IOError一旦出错后面的f.close()就不会调用。为了保证无论是否出错都能正确地关闭文件我们可以使用try ... finally来实现 try:f open(/data/file.txt, r)print(f.read())
finally:if f:f.close()每次都这么写实在太繁琐所以Python引入了with语句来自动帮我们调用close()方法 with open(/data/file.txt, r) as f:print(f.read())调用read()会一次性读取文件的全部内容如果文件有10G内存就爆了所以要保险起见可以反复调用read(size)方法每次最多读取size个字节的内容。 另外调用readline()可以每次读取一行内容调用readlines()一次读取所有内容并按行返回list
建议如果文件很小read()一次性读取最方便如果不能确定文件大小反复调用read(size)比较保险如果是配置文件调用readlines()最方便
2.file-like Object
像open()函数返回的这种有个read()方法的对象在Python中统称为file-like Object。除了file外还可以是内存的字节流网络流自定义流等等。file-like Object不要求从特定类继承只要写个read()方法就行。
StringIO就是在内存中创建的file-like Object常用作临时缓冲。
二进制文件
要读取二进制文件比如图片、视频等等用rb模式打开文件即可
f open(/Users/michael/test.jpg, rb)
f.read()b\xff\xd8\xff\xe1\x00\x18Exif\x00\x00... # 十六进制表示的字节字符编码
要读取非UTF-8编码的文本文件需要给open()函数传入encoding参数例如读取GBK编码的文件
f open(/Users/michael/gbk.txt, r, encodinggbk)
f.read()遇到有些编码不规范的文件你可能会遇到UnicodeDecodeError因为在文本文件中可能夹杂了一些非法编码的字符。 这种场景open()函数还接收一个errors参数表示如果遇到编码错误后如何处理。最简单的方式是直接忽略 f open(/Users/michael/gbk.txt, r, encodinggbk, errorsignore)3.写文件
写文件和读文件是一样的唯一区别是调用open()函数时传入标识符w或者wb表示写文本文件或写二进制文件
以’w’模式写入文件时如果文件已存在会直接覆盖相当于删掉后新写入一个文件。如果我们希望追加到文件末尾怎么办可以传入a以追加append模式写入。f open(/data/test.txt, w)
f.write(Hello, world!)
f.close()可以反复调用write()来写入文件但是务必要调用close()来关闭文件。 当我们写文件时操作系统往往不会立刻把数据写入磁盘而是放到内存缓存起来空闲的时候再慢慢写入。 只有调用close()方法时操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘剩下的丢失了。所以还是用with语句来得保险 with open(/Users/michael/test.txt, w) as f:f.write(Hello, world!)file对象的常用函数 常见标识符 三.StringIO和BytesIO
StringIO和BytesIO是在内存中操作str和bytes的方法使得和读写文件具有一致的接口。
1.StringIO
StringIO顾名思义就是在内存中读写str。 先创建一个StringIO然后像文件一样写入即可 from io import StringIOf StringIO()
f.write(hello)
# 5
f.write( )
# 1
f.write(world!)
# 6
print(f.getvalue())
# hello world!getvalue()方法用于获得写入后的str。 读取StringIO可以用一个str初始化StringIO然后像读文件一样读取 from io import StringIOf StringIO(Hello!\nHi!\nGoodbye!)
while True:s f.readline()if s : breakprint(s.strip())# Hello!
# Hi!
# Goodbye!2.BytesIO
如果要操作二进制数据就需要使用BytesIO。 BytesIO实现了在内存中读写bytes创建一个BytesIO然后写入一些bytes 写入的不是str而是经过UTF-8编码的bytes。 from io import BytesIO
f BytesIO()
f.write(中文.encode(utf-8))
#6print(f.getvalue())
#b\xe4\xb8\xad\xe6\x96\x87初始化一个BytesIO然后像读文件一样读取 from io import BytesIO
f BytesIO(b\xe4\xb8\xad\xe6\x96\x87)
f.read()
#b\xe4\xb8\xad\xe6\x96\x87四.操作文件和目录
如果要在Python程序中执行这些目录和文件的命令dir、cp、del操作怎么办
Python内置的os模块也可以直接调用操作系统提供的接口函数。
#导入os模块
import os#操作系统类型 如果是posix说明系统是Linux、Unix或Mac OS X如果是nt就是Windows系统。
print(os.name)# 查看当前目录的绝对路径:
print(os.path.abspath(.))
# E:\29_resources_python\study#把两个路径合成一个时不要直接拼字符串而要通过os.path.join()函数
#这样可以正确处理不同操作系统的路径分隔符。在Linux/Unix/Mac下os.path.join()返回这样的字符串
print(os.path.join(E:/29_resources_python/study/, testdir))#创建一个目录:
os.mkdir(E:/29_resources_python/study/testdir)#删掉一个目录:
os.rmdir(E:/29_resources_python/study/testdir)#对文件重命名:
os.rename(E:/29_resources_python/study/test1, test.py)
#删掉文件:
os.remove(test.py)os模块中不存在复制文件功能 因是复制文件并非由操作系统提供的系统调用。我们通过文件读写可以完成文件复制只不过要多写很多代码。 幸运的是shutil模块提供了copyfile()的函数你还可以在shutil模块中找到很多实用函数它们可以看做是os模块的补充。
五.序列化和反序列化 把变量从内存中变成可存储或传输的过程称之为序列化序列化之后就可以写入磁盘或者通过网络传输到别的机器上。 反过来把变量内容从序列化的对象重新读到内存里称之为反序列化Python提供了pickle模块来实现序列化。
1.pickle.dumps() pickle.dumps()方法可以任意对象序列化成一个bytes然后就可以把这个bytes写入文件。 import pickle
d dict(nameBob, age20, score88)
print(pickle.dumps(d))
#执行结果
#b\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.或者使用pickle.dump()直接把对象序列化后写入一个指定文件中 f open(dump.txt, wb)
pickle.dump(d, f)
f.close()2.pickle.loads() 当我们要把对象从磁盘读到内存时可以先把内容读到一个·bytes·然后用pickle.loads()方法反序列化出对象也可以直接用·pickle.load()·方法从一个文件直接反序列化出对象。 f open(dump.txt, rb)
d pickle.load(f)
f.close()
print(d)
#{age: 20, score: 88, name: Bob}3.JSON 将数据序列化为JSON可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式并且比XML更快而且可以直接在Web页面中读取非常方便。 JSON表示的对象就是标准的JavaScript语言的对象JSON和Python内置的数据类型对应如下
Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。
Python序列化为Json对象 dumps()方法返回一个str内容就是标准的JSON dump()方法可以直接把JSON写入一个文件中 import json
d dict(nameBob, age20, score88)
json.dumps(d)
#{age: 20, score: 88, name: Bob}JSON反序列化为Python对象 loads()JSON的字符串反序列化 load()从文件中读取字符串并反序列化 import json
json_str {age: 20, score: 88, name: Bob}
json.loads(json_str)
#{age: 20, score: 88, name: Bob}Class转JSON 对象实例直接转class会报错报错原因是Student对象不是一个可序列化为JSON的对象。 import jsonclass Student(object):def __init__(self, name, age, score):self.name nameself.age ageself.score scores Student(Bob, 20, 88)
print(json.dumps(s))Traceback (most recent call last):...
TypeError: __main__.Student object at 0x10603cc50 is not JSON serializable默认情况下dumps()方法不知道如何将Student实例变为一个JSON的{}对象。我需要为Student专门写一个转换函数再把函数传进去即可 def student2dict(std):return {name: std.name,age: std.age,score: std.score}需要Student实例首先被student2dict()函数转换成dict然后再被顺利序列化为JSON s Student(Bob, 20, 88)
print(json.dumps(s, defaultstudent2dict))
# {age: 20, name: Bob, score: 88}也可以把任意class的实例变为dict print(json.dumps(s, defaultlambda obj: obj.__dict__))
# {age: 20, name: Bob, score: 88}因为通常class的实例都有一个__dict__属性它就是一个dict用来存储实例变量。也有少数例外比如定义了__slots__的class。
JSON转Class
先用loads()方法首先转换出一个dict对象然后传入的转换函数负责 将dict转换为Student实例
def dict2student(d):return Student(d[name], d[age], d[score])json_str {age: 20, score: 88, name: Bob}
print(json.loads(json_str, object_hookdict2student))
#__main__.Student object at 0x000001C3B0BD9CD0
