青岛市建设监理协会网站,字画网站模板,上传户型图生成效果图,体育新闻最新消息乒乓球本节重点介绍 :
prometheus存储磁盘数据结构介绍 indexchunkshead chunksTombstoneswal prometheus对block进行定时压实 compactprometheus 查看支持的存储参数
prometheus存储示意图 内存和disk之间的纽带 wal
WAL目录中包含了多个连续编号的且大小为128M的文件#xff0c…本节重点介绍 :
prometheus存储磁盘数据结构介绍 indexchunkshead chunksTombstoneswal prometheus对block进行定时压实 compactprometheus 查看支持的存储参数
prometheus存储示意图 内存和disk之间的纽带 wal
WAL目录中包含了多个连续编号的且大小为128M的文件Prometheus称这样的文件为Segment其中存放的就是对内存中series以及sample数据的备份。另外还包含一个以checkpoint为前缀的子目录由于内存中的时序数据经常会做持久化处理WAL中的数据也将因此出现冗余所以每次在对内存数据进行持久化之后Prometheus都会对部分编号靠后的Segment进行清理。但是我们并没有办法做到恰好将已经持久化的数据从Segment中剔除也就是说被删除的Segment中部分的数据依然可能是有用的。所以在清理Segment时我们会将肯定无效的数据删除剩下的数据就存放在checkpoint中。而在Prometheus重启时应该首先加载checkpoint中的内容再按序加载各个Segment的内容。最后series和samples以Record的形式被批量写入Segment文件中默认当Segment超过128M时会创建新的Segment文件。若Prometheus因为各种原因崩溃了WAL里的各个Segment以及checkpoint里的内容就是在崩溃时刻Prometheus内存的映像。Prometheus在重启时只要加载WAL中的内容就能完全恢复现场。
磁盘数据结构
promethues 磁盘数据结构 Index Disk Format
文档地址 https://github.com/prometheus/prometheus/blob/release-2.26/tsdb/docs/format/index.md
Chunks
下面介绍块文件的格式该文件在chunks/块目录中创建。每个段文件的最大大小为512MiB。文档地址 https://github.com/prometheus/prometheus/blob/release-2.26/tsdb/docs/format/chunks.md
head chunks
文档地址 https://github.com/prometheus/prometheus/blob/release-2.26/tsdb/docs/format/head_chunks.md
Tombstones
prometheus 删除数据/admin/tsdb/delete_seriestombstones用于存储对于series的删除记录。如果删除了某个时间序列Prometheus并不会立即对它进行清理而是会在tombstones做一次记录等到下一次Block压缩合并的时候统一清理。文档地址 https://github.com/prometheus/prometheus/blob/release-2.26/tsdb/docs/format/tombstones.md
wal
文档地址 https://github.com/prometheus/prometheus/blob/release-2.26/tsdb/docs/format/wal.md该预写日志在编号和顺序如段工作000000000001000002等在默认情况下被限制为128MB段写入到32KB的页面中。仅最近段的最后一页可能是不完整的WAL记录是一个不透明的字节片如果超过当前页面的剩余空间它将被分成子记录。记录永远不会跨段边界拆分如果单个记录超过了默认的段大小则将创建一个更大的段。页面的编码很大程度上是从LevelDB / RocksDB的预写日志中借用的。
prometheus对block进行定时压实 compact 压实的作用 标记删除Compaction主要操作包括合并block、删除过期数据、重构chunk数据其中合并多个block成为更大的block可以有效减少block个数当查询覆盖的时间范围较长时避免需要合并很多block的查询结果。为提高删除效率删除时序数据时会记录删除的位置只有block所有数据都需要删除时才将block整个目录删除因此block合并的大小也需要进行限制
访问prometheus flags api 查看支持的存储参数
参数名含义默认值说明storage.remote.flush-deadline在关闭或配置重新加载时等待存储刷盘的时间1分钟可以依据数据量调整storage.remote.read-concurrent-limit远程读取调用的并发qps 0表示没有限制。10保护后端存储避免被高并发打垮storage.remote.read-max-bytes-in-frame远程读取流中在解码数据前单个帧中的最大字节数。请注意客户端也可能会限制帧大小。默认为protobuf建议的1MB。1M保护后端存储避免被高并发打垮storage.remote.read-sample-limit在单个查询中要通过远程读取接口返回的最大样本总数。 0表示没有限制。对于流式响应类型将忽略此限制。10保护后端存储避免被高并发打垮storage.tsdb.allow-overlapping-blocks允许重叠的块从而启用垂直压缩和垂直查询合并falsestorage.tsdb.max-block-duration压实块的时间范围上限 用于测试。默认为保留期的10。storage.tsdb.min-block-duration数据块在保留之前的最小持续时间。用于测试。storage.tsdb.no-lockfile不要在数据目录中创建锁文件。falsestorage.tsdb.path数据目录path默认为进程运行目录的datastorage.tsdb.retention.time保存样品的时间。当设置此标志时它将覆盖“storage.tsdb.retention”。如果既没有这个标志也没有“storage.tsdb”。保留”也不“storage.tsdb.retention。设置大小保留时间默 认为15d。支持单位:y, w, d, h, m, s, ms。保留时间默 认为15dstorage.tsdb.retention.size大小[实验]块可以存储的最大字节数。需要一个单位支持单位:B, KB, MB, GB, TB, PB, EB。例:“512 mb”。这个标志是实验性的可以在以后的版本中更改storage.tsdb.wal-compression开启wal snappy压缩truestorage.tsdb.wal-segment-sizewal文件大小默认128M
本节重点总结 :
prometheus存储磁盘数据结构介绍 indexchunkshead chunksTombstoneswal prometheus对block进行定时压实 compactprometheus 查看支持的存储参数
