小学门户网站建设情况汇报,做算法题网站,11个免费网站空间,高端网站建设方案模板范文Centos7环境下Hive的安装 前言一、安装Hive1.1 下载并解压1.2 配置环境变量1.3 修改配置1. hive-env.sh2. hive-site.xml 1.4 拷贝数据库驱动1.5 初始化元数据库报错 1.6 安装MySQL1.7 启动 二、HiveServer2/beeline2.1 修改Hadoop配置2.2 修改Hive配置2.2 启动hiveserver22.3 … Centos7环境下Hive的安装 前言一、安装Hive1.1 下载并解压1.2 配置环境变量1.3 修改配置1. hive-env.sh2. hive-site.xml 1.4 拷贝数据库驱动1.5 初始化元数据库报错 1.6 安装MySQL1.7 启动 二、HiveServer2/beeline2.1 修改Hadoop配置2.2 修改Hive配置2.2 启动hiveserver22.3 使用beeline 参考文章 前言 对于hive的安装和使用需要先完成如下配置 Hadoop集群(Hadoop搭建集群)安装HBase数据库(HBase数据库搭建) 一、安装Hive
1.1 下载并解压
下载所需版本的 Hive这里我下载版本为 apache-hive-3.1.2-bin.tar.gz 下载地址https://archive.apache.org/dist/hive/hive-3.1.2/
# 使用wget命令下载
wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz下载后进行解压
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/hive-3.1.21.2 配置环境变量
# 这里修改自己的环境变量文件
vim /etc/profile.d/my_env.sh添加环境变量
#HIVE_HOME
export HIVE_HOME/opt/module/hive-3.1.2
export PATH$PATH:$HIVE_HOME/bin让环境变量生效
source /etc/profile.d/my_env.sh1.3 修改配置
1. hive-env.sh
进入安装目录下的 conf/ 目录拷贝 Hive 的环境配置模板 flume-env.sh.template
cd /opt/module/hive-3.1.2/conf/
cp hive-env.sh.template hive-env.sh修改 hive-env.sh指定 Hadoop 的安装路径
HADOOP_HOME/opt/module/hadoop-3.1.32. hive-site.xml
新建 hive-site.xml 文件内容如下主要是配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息
vim hive-site.xml?xml version1.0?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configurationpropertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://hadoop101:3306/hadoop_hive?createDatabaseIfNotExisttrue/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value/propertypropertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevalue111111/value/property
/configuration1.4 拷贝数据库驱动
将 MySQL 驱动包拷贝到 Hive 安装目录的 lib 目录下, MySQL 驱动的下载地址为https://dev.mysql.com/downloads/connector/j/ 解压后上传jar包到服务器
1.5 初始化元数据库 当使用的 hive 是 1.x 版本时可以不进行初始化操作Hive 会在第一次启动的时候会自动进行初始化但不会生成所有的元数据信息表只会初始化必要的一部分在之后的使用中用到其余表时会自动创建 当使用的 hive 是 2.x及以上版本时必须手动初始化元数据库。初始化命令
# schematool 命令在安装目录的 bin 目录下由于上面已经配置过环境变量在任意位置执行即可
schematool -dbType mysql -initSchema这里我使用的是hive-3.1.2-bin.tar.gz需要手动初始化元数据库。
报错
这里执行后会出现如下报错
Exception in thread main java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V原因是hadoop和hive的两个guava.jar版本不一致两个jar位置分别位于下面两个目录
find -name guava*解决办法是删除低版本的那个将高版本的复制到低版本目录下
cd /opt/module/hive-3.1.2/lib/
rm -rf guava-19.0.jar
cp /opt/module/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar .hive默认是derby数据库但是前面已经配置了mysql如果没有安装mysql的话会报如下错误 可以先把前面配置的hive-site.xml文件删掉再执行schematool -dbType derby -initSchema命令(后面改用mysql数据库时记得重新创建)即可成功初始化元数据库。
1.6 安装MySQL
由于之前已经写过安装mysql的文章这里就不在赘述直接放连接云服务器上配置Mysql 连接https://blog.csdn.net/m0_70405779/article/details/140735557 安装好mysql后可以执行如下命令初始化元数据库
schematool -dbType mysql -initSchema可以进到mysql中查看已经创建了前面xml文件中设置的hadoop_hive数据库
1.7 启动
启动hive之前先确保hadoop集群是否启动没有就启动一下
# 配置了hadoop环境路径的话可以直接执行
start-all.sh由于已经将 Hive 的 bin 目录配置到环境变量直接使用以下命令启动成功进入交互式命令行后执行 show databases 命令无异常则代表搭建成功。
hive使用hive
hive show databases;
hive show tables;
hive create table stu(id int, name string);
hive insert into stu values(1,chen);
hive select * from stu;问题记录 这里再hive中执行insert语句时可能会卡住 可以先退出来重新进入hive执行如下命令 set hive.exec.mode.local.autotrue; set hive.exec.mode.local.auto.inputbytes.max50000000; set hive.exec.mode.local.auto.input.files.max5; 然后再次执行插入语句 二、HiveServer2/beeline
Hive 内置了 HiveServer 和 HiveServer2 服务两者都允许客户端使用多种编程语言进行连接但是 HiveServer 不能处理多个客户端的并发请求因此产生了 HiveServer2。HiveServer2HS2允许远程客户端可以使用各种编程语言向 Hive 提交请求并检索结果支持多客户端并发访问和身份验证。HS2 是由多个服务组成的单个进程其包括基于 Thrift 的 Hive 服务TCP 或 HTTP和用于 Web UI 的 Jetty Web 服务。
HiveServer2 拥有自己的 CLI 工具——Beeline。Beeline 是一个基于 SQLLine 的 JDBC 客户端。由于目前 HiveServer2 是 Hive 开发维护的重点所以官方更加推荐使用 Beeline 而不是 Hive CLI。以下主要讲解 Beeline 的配置方式。
2.1 修改Hadoop配置
修改 hadoop 集群的 core-site.xml 配置文件增加如下配置指定 hadoop 的 root 用户可以代理本机上所有的用户。
propertynamehadoop.proxyuser.root.hosts/namevalue*/value
/property
propertynamehadoop.proxyuser.root.groups/namevalue*/value
/property之所以要配置这一步是因为 hadoop 2.0 以后引入了安全伪装机制使得 hadoop 不允许上层系统如 hive直接将实际用户传递到 hadoop 层而应该将实际用户传递给一个超级代理由该代理在 hadoop 上执行操作以避免任意客户端随意操作 hadoop。如果不配置这一步在之后的连接中可能会抛出 AuthorizationException 异常。 关于 Hadoop 的用户代理机制可以参考hadoop 的用户代理机制 或 Superusers Acting On Behalf Of Other Users 2.2 修改Hive配置
在hive-site.xml文件中添加如下配置信息:
!-- 指定hiveserver2连接的host --
propertynamehive.server2.thrift.bind.host/namevaluehadoop001/value
/property!-- 指定hiveserver2连接的端口号 --
propertynamehive.server2.thrift.port/namevalue10000/value
/property
2.2 启动hiveserver2
由于上面已经配置过环境变量这里直接启动即可
hive --service hiveserver2
# 或者
# nohup hiveserver2 2.3 使用beeline
可以使用以下命令进入 beeline 交互式命令行出现 Connected 则代表连接成功。
bin/beeline -u jdbc:hive2://hadoop101:10000 -n root参考文章
Linux环境下Hive的安装HIve安装配置超详细
