推进网站集约化建设,wordpress 不能更换主题,广州手机网站案例,福州做网站企业文章目录1. hive 概述2. hive 与传统关系型数据库的对比3. hive 数据类型4. hive 数据模型5. hive 实战5.1 创建表5.2 修改表5.3 清空表、删除表5.4 其他命令项目地址
https://github.com/datawhalechina/juicy-bigdata#xff0c;感谢项目团队的付出。本次主要学习 hive 相关…
文章目录1. hive 概述2. hive 与传统关系型数据库的对比3. hive 数据类型4. hive 数据模型5. hive 实战5.1 创建表5.2 修改表5.3 清空表、删除表5.4 其他命令项目地址
https://github.com/datawhalechina/juicy-bigdata感谢项目团队的付出。本次主要学习 hive 相关内容。1. hive 概述
hive 是建立在 hadoop 之上的数仓工具。它将 hadoop 上存储的结构化、半结构化数据文件映射为表使得可以通过 HiveQLHQL对存储于 hadoop 上的大型数据文件进行访问与分析。
hive 本身并不存储数据它只是提供了用户与 hadoop 系统文件之前的连接通道。其核心是将 HQL 翻译成 MapReduce 任务然后提交至 hadoop 集群中进行执行并给用户返回处理结果。
hive 大幅降低了普通业务人员或者说数据开发不了解 java 编程进行大数据分析的门槛。
hive 适合对海量数据进行离线分析不适合对数据进行实时处理。前边学过的 HBase 适合数据的实时处理。
2. hive 与传统关系型数据库的对比
在使用方面hive 和传统关系型数据库基本相同由于其文件系统为 HDFShive 与传统关系型数据库还是由不少区别详见下表对比情况。
对比内容Hive传统关系型数据库数据存储HDFS本地文件系统索引基本不支持支持复杂索引分区支持支持执行引擎MapReduce、Tez、Spark自身的执行引擎执行延迟高(T1)低扩展性好有限数据规模大小
3. hive 数据类型
hive 支持以下几种数据类型
大类类型Integers整型TINYINT1字节的有符号整数SMALLINT2字节的有符号整数INT4字节的有符号整数BIGINT8字节的有符号整数Boolean布尔型BOOLEANTRUE/FALSEFloating point numbers浮点型FLOAT单精度浮点型DOUBLE双精度浮点型Fixed point numbers定点数DECIMAL用户自定义精度定点数比如 DECIMAL(7,2)String types字符串STRING指定字符集的字符序列VARCHAR具有最大长度限制的字符序列CHAR固定长度的字符序列Date and time types日期时间类型TIMESTAMP时间戳TIMESTAMP WITH LOCAL TIME ZONE本地时区时间戳纳秒精度DATE日期类型Binary types二进制类型BINARY字节序列
4. hive 数据模型
自上而下hive 分为库、表、分区、分桶 4种数据模型。 库 hive 数据库中默认的 database 是 default实际应用中一般不适用 default 数据库而是新建 database。 表 hive 本身并不存储数据hive 表对应的数据都是存储在 HDFS 上hive 表相关的元数据存储于 hive 内置的 Derby (仅支持一个实例极少使用或者第三方的 MySQL 运行多个实例同时访问。 hive 表分为内部表和外部表。 内部表的表创建过程和数据加载过程是分离的加载数据过程中数据会被移动至相应的数仓目录下HDFS 上的 A 位置移动至 HDFS 上的 B 位置对于 hive 内部表数据的访问都是对数仓目录进行操作。删除 hive 内部表也是真正的删除数据要慎重哦~ 外部表的表创建过程和数据加载过程是同一个过程hive 外部表的创建只是在元数据里添加了映射记录对于 hive 外部表的访问还是读取 HDFS 上的内容。删除 hive 外部表时也只是删除了该表的元数据而并未真正删除数据。 hive 内部表和外部表的差异总结如下
对比内容内部表外部表数据存储位置内部表数据存储的位置由 hive-site.xml 中的hive.Metastore.warehouse.dir参数指定默认情况下表的数据存储在HDFS的/user/hive/warehouse/数据库名.db/表名/目录下外部表数据的存储位置创建表时由Location参数指定导入数据在导入数据到内部表内部表将数据移动到自己的数据仓库目录下数据的生命周期由Hive来进行管理外部表不会将数据移动到自己的数据仓库目录下只是在元数据中存储了数据的位置删除表删除元数据metadata和 HDFS 数据文件只删除元数据metadata安全性低容易误删数据高
分区 hive 分区就是将数据存放于不同的目录查询时命中分区能避免全表扫描提高查询效率。分桶 可以在分区的基础上继续进行分桶所谓分桶就是将分区内数据以某个字段的 hash 值进行分组将数据文件拆分为若干个小文件。优点是优化 join 查询和方便抽样查询缺点是会生成很多小文件。
5. hive 实战
由于我的 hive 运行环境之前已经部署好了这里不再赘述详情可以参考 hive安装部署和管理
好久不用了试了下居然报错了 FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 报错的意思是说无法实例化 hive 元数据客户端重新初始化之后也是不行。最终通过如下命令解决
cd /opt/module/hive/bin
./hive --service metastore ./hive该命令的含义是在后台启动了 hive 元数据服务。
5.1 创建表
hive 创建表的语法如下实际操作时按需选择操作符即可
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- 表名[(col_name data_type [COMMENT col_comment],... [constraint_specification])] -- 列名 列数据类型[COMMENT table_comment] -- 表描述[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] -- 分区表分区规则[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] -- 分桶表分桶规则[SKEWED BY (col_name, col_name, ...) ON ((col_value, col_value, ...), (col_value, col_value, ...), ...) [STORED AS DIRECTORIES] ] -- 指定倾斜列和值[[ROW FORMAT row_format] [STORED AS file_format]| STORED BY storage.handler.class.name [WITH SERDEPROPERTIES (...)] ] -- 指定行分隔符、存储文件格式或采用自定义存储格式[LOCATION hdfs_path] -- 指定表的存储位置[TBLPROPERTIES (property_nameproperty_value, ...)] -- 指定表的属性[AS select_statement]; -- 从查询结果创建表使用 create like 语句可以复制一张表的表结构
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- 创建表的表名LIKE existing_table_or_view_name -- 被复制表的表名[LOCATION hdfs_path]; -- 存储位置加载 HDFS 路径数据文件到表的命令如下
-- 加载数据到 emp 表中
load data local inpath /home/omc/emp.txt into table emp;5.2 修改表
修改表名
ALTER TABLE table_name RENAME TO new_table_name;ALTER TABLE whaleMart_copy RENAME TO whaleMart_tmp;
修改列
ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type[COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];修改 whaleMart 表中的字段属性命令如下
-- 修改字段名和类型
ALTER TABLE whaleMart CHANGE goods_id goods_code STRING;-- 修改字段 goods_code 的名称并将其放置到 goods_name 字段后
ALTER TABLE whaleMart CHANGE goods_code goods_id STRING AFTER goods_name;-- 为字段增加注释
ALTER TABLE whaleMart CHANGE goods_id goods_id STRING COMMENT 商品编号;可以看到添加的中文注释并未正常显示。这是因为 hive 元数据库创建默认编码是 lanin1需要登录当前 hive 运行环境的 mysql 数据库执行如下命令
//修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;//修改表注释字符集alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;//修改分区注释字符集alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
5.3 清空表、删除表
清空表
-- 清空整个表或表指定分区中的数据
TRUNCATE TABLE table_name [PARTITION (partition_column partition_col_value, ...)];需要注意的是只有内部表才支持 TRUNCATE 命令对外部表执行 TRUNCATE 操作时会报错。 删除表
DROP TABLE [IF EXISTS] table_name [PURGE]; 5.4 其他命令
describe 命令
DESCRIBE|Desc DATABASE [EXTENDED] db_name; -- EXTENDED 是否显示额外属性DESCRIBE|Desc [EXTENDED|FORMATTED] table_name; -- FORMATTED 以友好的展现方式查看表详情 show 不太常用的命令如下
-- 查看视图列表
SHOW VIEWS-- 查看表的分区列表
SHOW PARTITIONS table_name;-- 查看表或者视图的创建语句
SHOW CREATE TABLE ([db_name.]table_name|view_name);
