广东建设厅网站首页,wordpress 发不出邮件,域名注册好后怎么建设网站,服务器网站怎么做的目录1.0用户空间和内核态空间1.1 网络模型-阻塞IO1.2 网络模型-非阻塞IO1.3 网络模型-IO多路复用1.3.1 网络模型-IO多路复用-select方式1.3.2 网络模型-IO多路复用模型-poll模式1.3.3 网络模型-IO多路复用模型-epoll函数1.3.4 网络模型-epoll中的ET和LT1.3.5 网络模型-基于epol…
目录1.0用户空间和内核态空间1.1 网络模型-阻塞IO1.2 网络模型-非阻塞IO1.3 网络模型-IO多路复用1.3.1 网络模型-IO多路复用-select方式1.3.2 网络模型-IO多路复用模型-poll模式1.3.3 网络模型-IO多路复用模型-epoll函数1.3.4 网络模型-epoll中的ET和LT1.3.5 网络模型-基于epoll的服务器端流程1.4 网络模型-信号驱动1.5 网络模型-异步IO1.6 对比2.1 网络模型-Redis是单线程的吗为什么使用单线程2.2 Redis的单线程模型-Redis单线程和多线程网络模型变更2.3 Redis通信协议-RESP协议2.4 Redis内存回收-过期key处理2.6 Redis内存回收-内存淘汰策略1.0用户空间和内核态空间
用户的应用比如redismysql等其实是没有办法去执行访问我们操作系统的硬件的所以我们可以通过操作系统linux去访问内核再通过内核去访问计算机硬件
计算机硬件包括如cpu内存网卡等等 内核通过寻址空间可以操作硬件的但是内核需要不同设备的驱动有了这些驱动之后内核就可以去对计算机硬件去进行 内存管理文件系统的管理进程的管理等等
Linux系统为了提高IO效率会在用户空间和内核空间都加入缓冲区
写数据时要把用户缓冲数据拷贝到内核缓冲区然后写入设备
读数据时要从设备读取数据到内核缓冲区然后拷贝到用户缓冲区
具体 我们的用户在写读数据时会去向内核态申请想要读取内核的数据而内核数据要去等待驱动程序从硬件上读取数据当从磁盘上加载到数据之后内核会将数据写入到内核的缓冲区中然后再将数据拷贝到用户态的buffer中然后再返回给应用程序整体而言速度慢就是这个原因为了加速我们希望read也好还是wait for data也最好都不要等待或者时间尽量的短。
1.1 网络模型-阻塞IO
读 应用程序想要去读取数据他是无法直接去读取磁盘数据的他需要先到内核里边去等待内核操作硬件拿到数据这个过程就是1是需要等待的 等和写 等到内核从磁盘上把数据加载出来之后再把这个数据写给用户的缓存区这个过程是2如果是阻塞IO那么整个过程中用户从发起读请求开始一直到读取到数据都是一个阻塞状态。 具体流程如下图 用户去读取数据时会去先发起recvform一个命令去尝试从内核上加载数据如果内核没有数据那么用户就会等待此时内核会去从硬件上读取数据内核读取数据之后会把数据拷贝到用户态并且返回ok整个过程都是阻塞等待的这就是阻塞IO
总结如下
顾名思义阻塞IO就是两个阶段都必须阻塞等待
阶段一
用户进程尝试读取数据比如网卡数据此时数据尚未到达内核需要等待数据此时用户进程也处于阻塞状态
阶段二
数据到达并拷贝到内核缓冲区代表已就绪将内核数据拷贝到用户缓冲区拷贝过程中用户进程依然阻塞等待拷贝完成用户进程解除阻塞处理数据
可以看到阻塞IO模型中用户进程在两个阶段都是阻塞状态。 1.2 网络模型-非阻塞IO
顾名思义非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。
阶段一
用户进程尝试读取数据比如网卡数据此时数据尚未到达内核需要等待数据返回异常给用户进程用户进程拿到error后再次尝试读取循环往复直到数据就绪
阶段二
将内核数据拷贝到用户缓冲区拷贝过程中用户进程依然阻塞等待拷贝完成用户进程解除阻塞处理数据可以看到非阻塞IO模型中用户进程在第一个阶段是非阻塞第二个阶段是阻塞状态。虽然是非阻塞但性能并没有得到提高。而且忙等机制会导致CPU空转CPU使用率暴增。 1.3 网络模型-IO多路复用
堵塞和非堵塞缺点 无论是阻塞IO还是非阻塞IO用户应用在一阶段都需要调用recvfrom来获取数据差别在于无数据时的处理方案
如果调用recvfrom时恰好没有数据阻塞IO会使CPU阻塞非阻塞IO使CPU空转都不能充分发挥CPU的作用。 如果调用recvfrom时恰好有数据则用户进程可以直接进入第二阶段读取并处理数据
所以怎么看起来以上两种方式性能都不好
而在单线程情况下只能依次处理IO事件如果正在处理的IO事件恰好未就绪数据不可读或不可写线程就会被阻塞所有IO事件都必须等待性能自然会很差。
就比如服务员给顾客点餐分两步
顾客思考要吃什么等待数据就绪顾客想好了开始点餐读取数据
怎么做
要提高效率有几种办法
方案一增加更多服务员多线程 方案二不排队谁想好了吃什么数据就绪了服务员就给谁点餐用户应用就去读取数据
那么问题来了用户进程如何知道内核中数据是否就绪呢
所以接下来就需要详细的来解决多路复用模型是如何知道到底怎么知道内核数据是否就绪的问题了
这个问题的解决依赖于提出的
文件描述符File Descriptor简称FD是一个从0 开始的无符号整数用来关联Linux中的一个文件。在Linux中一切皆文件例如常规文件、视频、硬件设备等当然也包括网络套接字Socket。
通过FD我们的网络模型可以利用一个线程监听多个FD并在某个FD可读、可写时得到通知从而避免无效的等待充分利用CPU资源。
阶段一
用户进程调用select指定要监听的FD集合核监听FD对应的多个socket任意一个或多个socket数据就绪则返回readable此过程中用户进程阻塞
阶段二
用户进程找到就绪的socket依次调用recvfrom读取数据内核将数据拷贝到用户空间用户进程处理数据
当用户去读取数据的时候不再去直接调用recvfrom了而是调用select的函数select函数会将需要监听的数据交给内核由内核去检查这些数据是否就绪了如果说这个数据就绪了就会通知应用程序数据就绪然后来读取数据再从内核中把数据拷贝给用户态完成数据处理如果N多个FD一个都没处理完此时就进行等待。
用IO复用模式可以确保去读数据的时候数据是一定存在的他的效率比原来的阻塞IO和非阻塞IO性能都要高 IO多路复用是利用单个线程来同时监听多个FD并在某个FD可读、可写时得到通知从而避免无效的等待充分利用CPU资源。不过监听FD的方式、通知的方式又有多种实现常见的有
selectpollepoll
其中select和pool相当于是当被监听的数据准备好之后他会把你监听的FD整个数据都发给你你需要到整个FD中去找哪些是处理好了的需要通过遍历的方式所以性能也并不是那么好
而epoll则相当于内核准备好了之后他会把准备好的数据直接发给你咱们就省去了遍历的动作。
1.3.1 网络模型-IO多路复用-select方式
怎么做
select是Linux最早是由的I/O多路复用技术
简单说就是我们把需要处理的数据封装成FD然后在用户态时创建一个fd的集合这个集合的大小是要监听的那个FD的最大值1但是大小整体是有限制的 这个集合的长度大小是有限制的同时在这个集合中标明出来我们要控制哪些数据
比如要监听的数据是1,2,5三个数据此时会执行select函数然后将整个fd发给内核态内核态会去遍历用户态传递过来的数据如果发现这里边都数据都没有就绪就休眠直到有数据准备好时就会被唤醒唤醒之后再次遍历一遍看看谁准备好了然后再将处理掉没有准备好的数据最后再将这个FD集合写回到用户态中去此时用户态就知道了奥有人准备好了但是对于用户态而言并不知道谁处理好了所以用户态也需要去进行遍历然后找到对应准备好数据的节点再去发起读请求我们会发现这种模式下他虽然比阻塞IO和非阻塞IO好但是依然有些麻烦的事情 比如说频繁的传递fd集合频繁的去遍历FD等问题 1.3.2 网络模型-IO多路复用模型-poll模式
poll模式对select模式做了简单改进但性能提升不明显部分关键代码如下
IO流程
创建pollfd数组向其中添加关注的fd信息数组大小自定义调用poll函数将pollfd数组拷贝到内核空间转链表存储无上限内核遍历fd判断是否就绪数据就绪或超时后拷贝pollfd数组到用户空间返回就绪fd数量n用户进程判断n是否大于0,大于0则遍历pollfd数组找到就绪的fd
与select对比
select模式中的fd_set大小固定为1024而pollfd在内核中采用链表理论上无上限监听FD越多每次遍历消耗时间也越久性能反而会下降 1.3.3 网络模型-IO多路复用模型-epoll函数
epoll模式是对select和poll的改进它提供了三个函数
第一个是eventpoll的函数他内部包含两个东西
一个是
1、红黑树- 记录的事要监听的FD
2、一个是链表-一个链表记录的是就绪的FD
紧接着调用epoll_ctl操作将要监听的数据添加到红黑树上去并且给每个fd设置一个监听函数这个函数会在fd数据就绪时触发就是准备好了现在就把fd把数据添加到list_head中去
3、调用epoll_wait函数
就去等待在用户态创建一个空的events数组当就绪之后我们的回调函数会把数据添加到list_head中去当调用这个函数的时候会去检查list_head当然这个过程需要参考配置的等待时间可以等一定时间也可以一直等 如果在此过程中检查到了list_head中有数据会将数据添加到链表中此时将数据放入到events数组中并且返回对应的操作的数量用户态的此时收到响应后从events中拿到对应准备好的数据的节点再去调用方法去拿数据。
小总结
select模式存在的三个问题
能监听的FD最大不超过1024每次select都需要把所有要监听的FD都拷贝到内核空间每次都要遍历所有FD来判断就绪状态
poll模式的问题
poll利用链表解决了select中监听FD上限的问题但依然要遍历所有FD如果监听较多性能会下降
epoll模式中如何解决这些问题的
基于epoll实例中的红黑树保存要监听的FD理论上无上限而且增删改查效率都非常高每个FD只需要执行一次epoll_ctl添加到红黑树以后每次epol_wait无需传递任何参数无需重复拷贝FD到内核空间利用ep_poll_callback机制来监听FD状态无需遍历所有FD因此性能不会随监听的FD数量增多而下降
1.3.4 网络模型-epoll中的ET和LT
当FD有数据可读时我们调用epoll_wait或者select、poll可以得到通知。但是事件通知的模式有两种
LevelTriggered简称LT也叫做水平触发。只要某个FD中有数据可读每次调用epoll_wait都会得到通知。EdgeTriggered简称ET也叫做边沿触发。只有在某个FD有状态变化时调用epoll_wait才会被通知。
举个栗子
假设一个客户端socket对应的FD已经注册到了epoll实例中客户端socket发送了2kb的数据服务端调用epoll_wait得到通知说FD就绪服务端从FD读取了1kb数据回到步骤3再次调用epoll_wait形成循环
结论
如果我们采用LT模式因为FD中仍有1kb数据则第⑤步依然会返回结果并且得到通知 如果我们采用ET模式因为第③步已经消费了FD可读事件第⑤步FD状态没有变化因此epoll_wait不会返回数据无法读取客户端响应超时。
1.3.5 网络模型-基于epoll的服务器端流程
我们来梳理一下这张图
服务器启动以后服务端会去调用epoll_create创建一个epoll实例epoll实例中包含两个数据
1、红黑树为空rb_root 用来去记录需要被监听的FD
2、链表为空list_head用来存放已经就绪的FD
创建好了之后会去调用epoll_ctl函数此函数会会将需要监听的数据添加到rb_root中去并且对当前这些存在于红黑树的节点设置回调函数当这些被监听的数据一旦准备完成就会被调用而调用的结果就是将红黑树的fd添加到list_head中去(但是此时并没有完成)
3、当第二步完成后就会调用epoll_wait函数这个函数会去校验是否有数据准备完毕因为数据一旦准备就绪就会被回调函数添加到list_head中在等待了一段时间后(可以进行配置)如果等够了超时时间则返回没有数据如果有则进一步判断当前是什么事件如果是建立连接时间则调用accept() 接受客户端socket拿到建立连接的socket然后建立起来连接如果是其他事件则把数据进行写出 1.4 网络模型-信号驱动
信号驱动IO是与内核建立SIGIO的信号关联并设置回调当内核有FD就绪时会发出SIGIO信号通知用户期间用户应用可以执行其它业务无需阻塞等待。
阶段一
用户进程调用sigaction注册信号处理函数内核返回成功开始监听FD用户进程不阻塞等待可以执行其它业务当内核数据就绪后回调用户进程的SIGIO处理函数
阶段二
收到SIGIO回调信号调用recvfrom读取内核将数据拷贝到用户空间用户进程处理数据 当有大量IO操作时信号较多SIGIO处理函数不能及时处理可能导致信号队列溢出而且内核空间与用户空间的频繁信号交互性能也较低。
1.5 网络模型-异步IO
这种方式不仅仅是用户态在试图读取数据后不阻塞而且当内核的数据准备完成后也不会阻塞
他会由内核将所有数据处理完成后由内核将数据写入到用户态中然后才算完成所以性能极高不会有任何阻塞全部都由内核完成可以看到异步IO模型中用户进程在两个阶段都是非阻塞状态。 1.6 对比
最后用一幅图来说明他们之间的区别 2.1 网络模型-Redis是单线程的吗为什么使用单线程
Redis到底是单线程还是多线程
如果仅仅聊Redis的核心业务部分命令处理答案是单线程如果是聊整个Redis那么答案就是多线程
在Redis版本迭代过程中在两个重要的时间节点上引入了多线程的支持
Redis v4.0引入多线程异步处理一些耗时较旧的任务例如异步删除命令unlinkRedis v6.0在核心网络模型中引入 多线程进一步提高对于多核CPU的利用率
因此对于Redis的核心网络模型在Redis 6.0之前确实都是单线程。是利用epollLinux系统这样的IO多路复用技术在事件循环中不断处理客户端情况。
为什么Redis要选择单线程
抛开持久化不谈Redis是纯 内存操作执行速度非常快它的性能瓶颈是网络延迟而不是执行速度因此多线程并不会带来巨大的性能提升。多线程会导致过多的上下文切换带来不必要的开销引入多线程会面临线程安全问题必然要引入线程锁这样的安全手段实现复杂度增高而且性能也会大打折扣
2.2 Redis的单线程模型-Redis单线程和多线程网络模型变更 当我们的客户端想要去连接我们服务器会去先到IO多路复用模型去进行排队会有一个连接应答处理器他会去接受读请求然后又把读请求注册到具体模型中去此时这些建立起来的连接如果是客户端请求处理器去进行执行命令时他会去把数据读取出来然后把数据放入到client中 clinet去解析当前的命令转化为redis认识的命令接下来就开始处理这些命令从redis中的command中找到这些命令然后就真正的去操作对应的数据了当数据操作完成后会去找到命令回复处理器再由他将数据写出。
2.3 Redis通信协议-RESP协议
Redis是一个CS架构的软件通信一般分两步不包括pipeline和PubSub
客户端client向服务端server发送一条命令
服务端解析并执行命令返回响应结果给客户端
因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范这个规范就是通信协议。
而在Redis中采用的是RESPRedis Serialization Protocol协议
Redis 1.2版本引入了RESP协议
Redis 2.0版本中成为与Redis服务端通信的标准称为RESP2
Redis 6.0版本中从RESP2升级到了RESP3协议增加了更多数据类型并且支持6.0的新特性–客户端缓存
但目前默认使用的依然是RESP2协议也是我们要学习的协议版本以下简称RESP。
在RESP中通过首字节的字符来区分不同数据类型常用的数据类型包括5种
单行字符串首字节是 ‘’ 后面跟上单行字符串以CRLF “\r\n” 结尾。例如返回OK “OK\r\n”
错误Errors首字节是 ‘-’ 与单行字符串格式一样只是字符串是异常信息例如“-Error message\r\n”
数值首字节是 ‘:’ 后面跟上数字格式的字符串以CRLF结尾。例如“:10\r\n”
多行字符串首字节是 ‘$’ 表示二进制安全的字符串最大支持512MB
如果大小为0则代表空字符串“$0\r\n\r\n”
如果大小为-1则代表不存在“$-1\r\n”
数组首字节是 ‘*’后面跟上数组元素个数再跟上元素元素数据类型不限: 2.4 Redis内存回收-过期key处理
Redis之所以性能强最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大会影响持久化或主从同步性能。 我们可以通过修改配置文件来设置Redis的最大内存。
当内存使用达到上限时就无法存储更多数据了。为了解决这个问题Redis提供了一些策略实现内存回收
内存过期策略
在学习Redis缓存的时候我们说过可以通过expire命令给Redis的key设置TTL存活时间
可以发现当key的TTL到期以后再次访问name返回的是nil说明这个key已经不存在了对应的内存也得到释放。从而起到内存回收的目的。
Redis本身是一个典型的key-value内存存储数据库因此所有的key、value都保存在之前学习过的Dict结构中。不过在其database结构体中有两个Dict一个用来记录key-value另一个用来记录key-TTL。 这里有两个问题需要我们思考 Redis是如何知道一个key是否过期呢
利用两个Dict分别记录key-value对及key-ttl对
是不是TTL到期就立即删除了呢
惰性删除
惰性删除顾明思议并不是在TTL到期后就立刻删除而是在访问一个key的时候检查该key的存活时间如果已经过期才执行删除。 周期删除
周期删除顾明思议是通过一个定时任务周期性的抽样部分过期的key然后执行删除。执行周期有两种 Redis服务初始化函数initServer()中设置定时任务按照server.hz的频率来执行过期key清理模式为SLOW Redis的每个事件循环前会调用beforeSleep()函数执行过期key清理模式为FAST
周期删除顾明思议是通过一个定时任务周期性的抽样部分过期的key然后执行删除。执行周期有两种 Redis服务初始化函数initServer()中设置定时任务按照server.hz的频率来执行过期key清理模式为SLOW Redis的每个事件循环前会调用beforeSleep()函数执行过期key清理模式为FAST
SLOW模式规则
执行频率受server.hz影响默认为10即每秒执行10次每个执行周期100ms。执行清理耗时不超过一次执行周期的25%.默认slow模式耗时不超过25ms逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期如果没达到时间上限25ms并且过期key比例大于10%再进行一次抽样否则结束FAST模式规则过期key比例小于10%不执行 执行频率受beforeSleep()调用频率影响但两次FAST模式间隔不低于2ms执行清理耗时不超过1ms逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期 如果没达到时间上限1ms并且过期key比例大于10%再进行一次抽样否则结束
小总结
RedisKey的TTL记录方式
在RedisDB中通过一个Dict记录每个Key的TTL时间
过期key的删除策略
惰性清理每次查找key时判断是否过期如果过期则删除
定期清理定期抽样部分key判断是否过期如果过期则删除。 定期清理的两种模式
SLOW模式执行频率默认为10每次不超过25ms
FAST模式执行频率不固定但两次间隔不低于2ms每次耗时不超过1ms
2.6 Redis内存回收-内存淘汰策略
**内存淘汰**就是当Redis内存使用达到设置的上限时主动挑选部分key删除以释放更多内存的流程。 Redis会在处理客户端命令的方法processCommand()中尝试做内存淘汰
淘汰策略
Redis支持8种不同策略来选择要删除的key
noeviction 不淘汰任何key但是内存满时不允许写入新数据默认就是这种策略。volatile-ttl 对设置了TTL的key比较key的剩余TTL值TTL越小越先被淘汰allkeys-random对全体key 随机进行淘汰。也就是直接从db-dict中随机挑选volatile-random对设置了TTL的key 随机进行淘汰。也就是从db-expires中随机挑选。allkeys-lru 对全体key基于LRU算法进行淘汰volatile-lru 对设置了TTL的key基于LRU算法进行淘汰allkeys-lfu 对全体key基于LFU算法进行淘汰volatile-lfu 对设置了TTL的key基于LFI算法进行淘汰 比较容易混淆的有两个 LRULeast Recently Used最少最近使用。用当前时间减去最后一次访问时间这个值越大则淘汰优先级越高。LFULeast Frequently Used最少频率使用。会统计每个key的访问频率值越小淘汰优先级越高。
Redis的数据都会被封装为RedisObject结构 LFU的访问次数之所以叫做逻辑访问次数是因为并不是每次key被访问都计数而是通过运算
生成0~1之间的随机数R计算 (旧次数 * lfu_log_factor 1)记录为P如果 R P 则计数器 1且最大不超过255访问次数会随时间衰减距离上一次访问时间每隔 lfu_decay_time 分钟计数器 -1
最后用一副图来描述当前的这个流程吧
