玄武建设局网站,外链在线生成,云开发网站,网站开发工程师累不累前言
Phoenix 是一个开源的分布式关系型数据库查询引擎#xff0c;它基于 Apache HBase构建。它提供了在 Hadoop 生态系统中使用 SQL查询和事务处理的能力。本节内容我们主要介绍一下Hbase如何集成部署安装Phoenix服务工具#xff0c;并集成hive框架#xff0c;能够快速、灵…前言
Phoenix 是一个开源的分布式关系型数据库查询引擎它基于 Apache HBase构建。它提供了在 Hadoop 生态系统中使用 SQL查询和事务处理的能力。本节内容我们主要介绍一下Hbase如何集成部署安装Phoenix服务工具并集成hive框架能够快速、灵活和可扩展的方式来在Hadoop生态系统中进行 SQL 查询和事务处理。
正文
①上传Phoenix部署安装包到hadoop101服务器/opt/software目录下 ②将Phoenix安装包解压到/opt/module目录
tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module ③进入/opt/module/phoenix-hbase-2.4-5.1.2-bin安装包目录将phoenix-server-hbase-2.4-5.1.2.jar拷贝到hbase的lib目录下 ④分发hbase的lib目录下phoenix-server-hbase-2.4-5.1.2.jar到hadoop102、hadoop103节点 ⑤配置phoenix系统环境变量 ⑥使环境变量配置生效
source /etc/profile.d/my_env.sh ⑦重启hbase服务使phoenix服务生效 ⑧连接phoenix客户端访问hbase
/opt/module/phoenix-hbase-2.4-5.1.2-bin/bin/sqlline.py hadoop101,hadoop102,hadoop103:2181 ⑨操作phoenix客户端完成一些基本操作案例 - 创建表student CREATE TABLE IF NOT EXISTS student(
id VARCHAR primary key,
name VARCHAR,
age BIGINT,
addr VARCHAR); - 插入数据 upsert into student values(1001,zhangsan, 10, beijing); - 查询student表数据 select * from student; *phoenix客户端查询 *hbase客户端查询 - 删除记录 delete from student where id1001;- 删除表 drop table student;⑩ phoenix通过视图映射或者表映射连接hbase中创建的表 - 在hbase中创建一个test表 - 创建视图映射只能查看不能写操作 create view test(id varchar primary key,info1.name varchar, info2.address varchar); - 创建表映射可读写 create table
test(id varchar primary key,info1.name varchar,
info2.address varchar) column_encoded_bytes0; ⑪hbase集成hive,在 hive-site.xml中添加zookeeper的配置用于读取metabase数据 - 配置文件 propertynamehive.zookeeper.quorum/namevaluehadoop101,hadoop102,hadoop103/value
/property
propertynamehive.zookeeper.client.port/namevalue2181/value
/property ⑫ 在hive中创建一张表并关联hbase CREATE TABLE hive_hbase_emp_table(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double,deptno int
)
STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler
WITH SERDEPROPERTIES (hbase.columns.mapping :key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno)
TBLPROPERTIES (hbase.table.name hbase_emp_table);⑬ 在hbase中生成了hbase_emp_table表这样在操作hive表数据时可将hive的数据同步到hbase中 结语
关于HBase集成部署安装Phoenix的内容以及使用Phoenix客户端操作hbase数据库和集成hive的内容到这里就结束了我们下期见。。。。。。
