建立网站的软件,wordpress 随机页面,网页怎么制作视频,超市设计1、问题背景#xff1a; 数据写入后#xff0c;refresh耗时过长#xff0c;能达到1s-5s。 想通过测试#xff0c;探索确认影响refresh的因素#xff0c;比如#xff1a;写入操作是新增还是更新#xff0c;deleted文档占比是否有影响#xff0c;是否有其他索引配置… 1、问题背景 数据写入后refresh耗时过长能达到1s-5s。 想通过测试探索确认影响refresh的因素比如写入操作是新增还是更新deleted文档占比是否有影响是否有其他索引配置等等。 2、测试过程全记录 旧索引24主分片1副本经过长期forcemerge最大segmeng 33gb镜像后deleted占比 8%左右。 noforcemerge 索引24主分片1副本reindex后最大segmeng 5gbdeleted占比0%。 nosoftedelete 索引关闭softdelete策略24主分片0副本reindex后最大segmeng 5gbdeleted占比0%。 旧索引更新旧索引新增旧索引forcemerge后新增(带少量更新)noforcemerge索引更新旧索引低更新noforcemerge索引低更新nosoftedelete索引更新时间段2023-10-12 21:30:00至2023-10-13 15:00:002023-10-13 15:55:00至2023-10-13 16:10:002023-10-13 20:40:00至2023-10-13 22:00:002023-10-16 10:40:00至2023-10-17 11:00:002023-10-17 16:20:00至2023-10-17 17:15:002023-10-17 17:20:00至2023-10-17 18:30:002023-10-19 11:00:00至今写入速度2k/s2k/s2k/s2k/s2k/s2k/s2k/sdeleted占比增长最大 32%最小 8%22%左右0%-2%0%-9%1.5%-2%7%-6%0%-8%refresh耗时最大12s最低3s200ms-400ms300ms-800ms1s-3s50ms-250ms500ms-1.5s200ms-300msrefresh_external耗时最大12s最低3s200ms-400ms300ms-800ms1s-3s50ms-250ms500ms-1.5s基本无cpu使用50%-100%50%-100%50%-100%50%-100%30%-60%30%-60%10%-40%查询条件优化 3、查询测试 旧索引查询noforcemerge索引查询时间段10-17 15:06:00 - 10-17 15:42:00查询qps100/s查询耗时平均45ms左右cpu使用10%-30% 4、观测到的现象 1. 纯更新操作会导致明显的 refresh 高耗时。 2. 降低索引中 deleted文档的占比也能降低refresh的高耗时。 3. noforcemerge 索引的更新测试中通过es热线程的抓取refresh 的出现降低了但依旧是100%merge线程出现增多了不少。 4. soft delete 关闭的索引refresh 耗时明显下降了并且与 deleted 文档占比明显无关联。 5、测试初步结论 5.1 结论1. large segment 策略对索引日常使用无明显变化。 large segment 策略的修改对索引日常的查询和写入没有额外的资源占用。 同时也达到了预期自动清理deleted文档的效果。 5.2 结论2. refresh 影响因素。 1.soft deletesoft delete模式是否开始直接影响refresh的耗时。关闭soft delete可降低refresh耗时但不推荐。2.写入操作类型开启 soft delete后数据更新操作会明显增加 refresh耗时而单纯的新增数据则没有太多的refresh耗时。3.deleted 占比deleted 文档占比越高refresh耗时越大。 6、扩展关于soft delete 6.1 soft delete 用途 用于分片间数据同步和恢复属于 ES 分布式基础实现。 具体内容详见 https://www.elastic.co/guide/en/elasticsearch/reference/7.10/index-modules-history-retention.html soft delete详解默认为开启只能在索引创建时设定不可通过开关索引操作修改。官方后期准备把这个参数去掉这也是不建议修改soft_delete参数的一个原因。 6.2 soft delete对 refresh 的影响 在测试过程以及社区文档中均发现了soft_delete索引下 update 操作增加了refresh耗时的现象。 https://mp.weixin.qq.com/s/_l8JAtqK_NOSP8b7OqSVDg 作者介绍 金多安Elastic 认证专家Elastic资深运维工程师死磕Elasticsearch知识星球嘉宾星球Top活跃技术专家搜索客社区日报责任编辑 铭毅天下审稿并做了部分微调。 推荐阅读 全网首发从 0 到 1 Elasticsearch 8.X 通关视频重磅 | 死磕 Elasticsearch 8.X 方法论认知清单如何系统的学习 Elasticsearch 2023做点事 更短时间更快习得更多干货 和全球 近2000 Elastic 爱好者一起精进 比同事抢先一步学习进阶干货
