网站的管理权限有什么用,seo做得比较好的公司,百度广告位,龙华住房与建设局网站文章目录 1、消息日志文件#xff08;.log#xff09;2、消费者偏移量文件#xff08;__consumer_offsets#xff09;3、偏移量索引文件#xff08;.index#xff09;4、时间索引文件#xff08; .timeindex#xff09;5、检查点引文件#xff08; .checkpoint#x… 文章目录 1、消息日志文件.log2、消费者偏移量文件__consumer_offsets3、偏移量索引文件.index4、时间索引文件 .timeindex5、检查点引文件 .checkpoint6、事务日志文件.transaction.log7、配置文件server.properties 本章内容主要介绍kafka内的一些重要目录和文件并解释其中的存储的内容和作用 1、消息日志文件.log
路径/tmp/kafka/broker2/data/
根据上图解释如果当前创建一个主题叫stream-topic1则会创建三个配置分片数主题目录stream-topic1-0、stream-topic1-1、stream-topic1-2进入其中一个目录stream-topic1-0里面名字相同的.log、.index和.timeindex文件就是Segment
2、消费者偏移量文件__consumer_offsets
路径/tmp/kafka/broker2/data 作用在kafka的broke/data下存在50个__consumer_offsets文件这些文件和普通的 topic 相同。它们作用之一就是保存 consumer 提交的位移 3、偏移量索引文件.index
路径/tmp/kafka/broker2/data/stream-topic1-2 作用与 .log 文件对应用于快速定位某个偏移量的消息在 .log 文件中的位置 4、时间索引文件 .timeindex
路径/tmp/kafka/broker2/data/stream-topic1-2 作用基于消息时间戳的索引允许根据时间范围快速检索消息。 5、检查点引文件 .checkpoint
路径/tmp/kafka/broker2/data 在这个路径下可以看到有几个checkpoint文件 作用发生故障时Kafka 可以从检查点恢复处理确保一致性。 replication-offset-checkpoint已经确认复制给其他副本的offset也就是HWrecovery-point-offset-checkpoint负责记录topic已经被写入磁盘的offsetcleaner-offset-checkpoint存了每个log的最后清理offsetlog-start-offset-checkpoint文件对应logStartOffset用来标识日志的起始偏移量 6、事务日志文件.transaction.log
路径.transaction.log文件通常位于Kafka安装目录下的log.dirs指定的目录中 作用记录事务的提交或回滚状态确保事务消息的一致性和可靠性 7、配置文件server.properties
路径容器内 /opt/kafka/config
#每个Kafka节点必须有唯一的标识符
broker.id1
#指定Kafka消息存储的目录
log.dirs/kafka/data
#设置Kafka服务的监听地址及端口
listenersPLAINTEXT://:9092
#指定默认的分区数量分区越多Kafka的并行处理能力越强
num.partitions1
num.recovery.threads.per.data.dir1offsets.topic.replication.factor1
transaction.state.log.replication.factor1
transaction.state.log.min.isr1#设置日志保留的时间
log.retention.hours168
#当内容文件达到这个配置的字节数大小时消息存储的内容文件就会分隔新增一个内容文件(.log .index .timeindex)来存储内容
log.segment.bytes1073741824
#清理器检查日志符合被删除条件的轮询时间
log.retention.check.interval.ms300000
