铁岭网站建设,建网站比较好,南昌集团制作网站设计,成营销型网站制作Hive是工作中常用的数据仓库工具#xff0c;提供存储在HDFS文件系统#xff0c;将结构化数据映射为一张张表以及提供查询和分析功能。 Hive可以存储大规模数据#xff0c;但是在运行效率上不如传统数据库#xff0c;这时需要懂得常见场景下提升存储或查询效率的方法#x…Hive是工作中常用的数据仓库工具提供存储在HDFS文件系统将结构化数据映射为一张张表以及提供查询和分析功能。 Hive可以存储大规模数据但是在运行效率上不如传统数据库这时需要懂得常见场景下提升存储或查询效率的方法本文记录工作中常见的情形。
map阶段优化
map阶段主要是把文件拆分成一个个文件块。正常情况下一个map任务的启动和初始化时间远远大于逻辑处理时间所以可以增大max参数值减少map数但在计算逻辑较为复杂字段少记录过多时可以减少max参数值增大map数控制map数来协调启动和逻辑处理时间。
-- 减少map数
set hive.hadoop.supports.splittable.combineinputformattrue;
set hive.input.formatorg.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- 执行前进行小文件合并进而减少map数目
-- 文件小于1M的会单独产生一个map文件在1M-256M之间大小的会合并文件大于256M的拆分为多个
set mapred.min.split.size1000000;
set mapred.max.split.size256000000;
set mapred.min.split.size.per.node256000000;
set mapred.min.split.size.per.rack256000000;
-- set hive.exec.reducers.bytes.per.reducer1073741824; -- 控制reduce个数超过文件大小会产生多个reduce任务-- 增大map数
-- 一般使用情况是文件不是特别大但是计算逻辑复杂计算比较耗时那么可以强制指定一个map任务个数提高执行效率
set mapred.reduce.tasks10;reduce阶段优化
reduce个数决定了最终输出文件的个数。增大reduce的个数会增加输出文件数量减小reduce个数会减少输出文件数量。reduce个数过多会产生很多小文件影响以后计算效率reduce个数过少会造成单个reduce处理数据量过大影响效率。
-- 1、Hive自动计算reduce个数
set hive.exec.reducers.bytes.per.reducer500000000; -- 每个reduce任务最多处理500M的数据
set hive.exec.reducers.max1009; -- 每个任务的最大reduce个数-- 2、认为指定reduce个数
set mapred.reduce.tasks10; -- 人为指定10个reduce会产生10个文件注意会产生只有一个reduce的情况
查询时使用了order by 全局排序表关联join时产生笛卡尔积情况
源头建表优化
建表时可以指定文件压缩格式不要使用textfile一般可以使用parquetsnappy格式
-- 为了提高计算和存储效率
ROW FORMAT SERDE
org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
STORED AS INPUTFORMAT
org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
OUTPUTFORMAT
org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat
TBLPROPERTIES(parquet.compressionSNAPPY)
