网站建设管理情况说明国内新闻大事20条简短

1. 消息可靠性（不丢失）

使用Kafka在消息的收发过程都会出现消息丢失，Kafka分别给出了解决方案

• 生产者发送消息到Brocker丢失
• 消息在Brocker中存储丢失
• 消费者从Brocker
  

幂等方案：【分布式锁、数据库锁（悲观锁、乐观锁）】

1.1 生产者发送消息到Brocker丢失

设置异步发送

1.2 消息在Brocker中存储丢失

1.3 消费者从Brocker接收消息丢失

如果consumer（消费者）挂掉，自动偏移量的错误可能会导致丢失或重复消费数据
解决方案：禁用自动提交偏移量，改为手动

• 同步提交（阻塞）
• 异步提交（信息不准确）
• 同步+异步组合提交

2. 消息顺序性

应用场景：

• 即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致
• 充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序
  问题原因：
  一个topic的数据可能存储在不同的分区中，每个分区都有一个按照顺序的存储的偏移量，如果消费者关联了多个分区则不能保证顺序性。
  解决方案（把消息存储在同一个分区下）：
• 发送消息时指定分区号
• 发送消息时按照相同的业务设置相同的key

3. 高可用机制

• 集群模式
• 分区备份机制

3.1 集群模式

3.2 分区备份机制

• 一个topic有多个分区，每个分区有多个副本，其中有一个leader，其余的是follower，副本存储在不同的broker中
• 所有的分区副本的内容是都是相同的，如果leader发生故障时，会自动将其中一个follower提升为leader
  

过多的同步复制会降低效率（同步易阻塞），所以只设置较少的ISR

4. 数据清理机制

• 文件存储机制
• 数据清理机制

4.1 文件存储机制

• Kafka中topic的数据存储在分区上，分区如果文件过大会分段存储segment
• 每个分段都在磁盘上以索引（xxxx.index）和日志文件（xxxx.log）的形式存储
• 分段的好处是，第一能够减少单个文件内容的大小，查找数据方便，第二方便kafka进行日志清理。
  

4.2 数据清理机制

5. 高性能设计

• 消息分区：不受单台服务器的限制，可以不受限的处理更多的数据
• 顺序读写：磁盘顺序读写，提升读写效率
• 页缓存：把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问
• 零拷贝：减少上下文切换及数据拷贝
• 消息压缩：减少磁盘IO和网络10
• 分批发送：将消息打包批量发送，减少网络开销

5.1 零拷贝

在开启拷贝读信息要拷贝4次（性能不高）

开启零拷贝（页缓存）后只拷贝两次