整站优化价格,附近网站建设公司哪家好,获客牛全网营销,赣州章贡区人口hbase优化 一.读优化 1.客户端#xff1a; scan。cache 设置是否合理#xff1a;大scan场景下将scan缓存从100增大到500或者1000#xff0c;用以减少RPC次数使用批量get进行读取请求离线批量读取请求设置禁用缓存#xff0c;scan.setBlockCache(false)以指定列族或者列进行…hbase优化 一.读优化 1.客户端 scan。cache 设置是否合理大scan场景下将scan缓存从100增大到500或者1000用以减少RPC次数使用批量get进行读取请求离线批量读取请求设置禁用缓存scan.setBlockCache(false)以指定列族或者列进行精确查找的尽量指定查找2.服务器 读请求是否均衡RowKey必须进行散列化处理比如MD5散列同时建表必须进行预分区处理BlockCache是否设置合理VM内存配置量 20GBlockCache策略选择LRUBlockCache否则选择BucketCache策略的offheap模式HFile文件是否太多hbase.hstore.compactionThreshold设置不能太大默认是3个设置需要根据Region大小确定通常可以简单的认为hbase.hstore.compaction.max.size RegionSize / hbase.hstore.compactionThresholdCompaction是否消耗系统资源过多1Minor Compaction设置hbase.hstore.compactionThreshold设置不能太小又不能设置太大因此建议设置为56hbase.hstore.compaction.max.size RegionSize / hbase.hstore.compactionThreshold2Major Compaction设置大Region读延迟敏感业务 100G以上通常不建议开启自动Major Compaction手动低峰期触发。小Region或者延迟不敏感业务可以开启Major Compaction但建议限制流量3.列簇是否过多、 是否使用布隆过滤器任何业务都应该设置Bloomfilter通常设置为row就可以除非确认业务随机查询类型为rowcf可以设置为rowcol 是否设置ttl
4.hdfs优化 启Short Circuit Local Read功能开启Hedged Read功能. 数据本地率是否太低避免Region无故迁移比如关闭自动balance、RS宕机及时拉起并迁回飘走的Region等在业务低峰期执行major_compact提升数据本地率二、写优化 是否需要写WALWAL是否需要同步写入 用批量put进行写入请求 在业务可以接受的情况下开启异步批量提交使用方式setAutoFlush(false) 在Num(Region of Table) Num(RegionServer)的场景下切分部分请求负载高的Region并迁移到其他RegionServer 检查RowKey设计以及预分区策略保证写入请求均衡 写入KeyValue数据是否太大
