网站前端代码有哪些问题,网站建设及管理制度文章,wordpress能开发商城网站吗,汕尾住房和建设局网站首页你需要掌握#xff1a;
1.Hive的基本安装#xff1b; 2.Mysql的安装与设置#xff1b; 3.Hive 的配置。
注意#xff1a;Hive的安装与配置建立在Hadoop已安装配置好的情况下。
hadopp安装与配置
Hive 的基本安装
从 官网 下载Hive二进制包#xff0c;下载好放在/op…你需要掌握
1.Hive的基本安装 2.Mysql的安装与设置 3.Hive 的配置。
注意Hive的安装与配置建立在Hadoop已安装配置好的情况下。
hadopp安装与配置
Hive 的基本安装
从 官网 下载Hive二进制包下载好放在/opt目录下。
进入/opt目录解压apache-hive-3.1.0-bin.tar.gz到该目录下并将解压的文件重命名为hive cd /opt
tar -zxvf apache-hive-3.1.0-bin.tar.gz
mv apache-hive-3.1.0-bin hive
设置环境变量编辑vi /etc/profile在末尾添加以下两行代码 export HIVE_HOME/opt/hive
export PATH$HIVE_HOME/bin:$PATH source /etc/profile 使环境生效
查看hive是否安装成功hive --version。 出现hive版本就说明安装成功但是可以看到其中有一些警告信息是由于包的冲突引起的。我们只需删除掉引起冲突的包即可rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar。 Mysql 的安装与设置
已安装MySQL数据库在本地没有安装可以采用以下命令进行安装 sudo apt-get install mysql-server #安装mysql服务
apt-get install mysql-client #安装mysql客户端
sudo apt-get install libmysqlclient-dev #安装相关依赖环境
注意安装过程中会提示设置密码什么的不要忘了设置。
安装完成之后可以使用如下命令来检查是否安装成功。
sudo netstat -tap | grep mysql
通过上述命令检查之后如果看到有MySQL的socket处于listen 状态则表示安装成功。
Hive需要数据库来存储metastore的内容因此我们需要配置一下MySQL数据库。
下载mysql驱动
我已经帮你下载好放在/opt目录下进入该目录并进行以下操作 tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
接下来介绍MySQL为Hive做的设置。
使用root用户登录MySQL数据库
mysql -uroot -p123123 -h127.0.0.1 创建数据库实例hiveDB create database hiveDB; 创建用户bee密码为123123 create user bee% identified by 123123; 授权用户bee拥有数据库实例hiveDB的所有权限
grant all privileges on hiveDB.* to bee% identified by 123123;
刷新系统权限表。
flush privileges;
Hive 的配置
在/opt/hive/conf目录下修改hive-site.xml和hive-env.sh两个文件。
hive-site.xml
hive-site.xml保存Hive运行时所需要的相关配置信息。
如果目录下没有该文件我们直接创建一个vi hive-site.xml将以下内容复制到其中按i进入编辑模式后再进行粘贴。 ?xml version1.0 encodingUTF-8 standaloneno?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration
!-- WARNING!!! This file is auto generated for documentation purposes ONLY! --
!-- WARNING!!! Any changes you make to this file will be ignored by Hive. --
!-- WARNING!!! You must make your changes in hive-site.xml instead. --
!-- Hive Execution Parameters --
property
namehive.metastore.warehouse.dir/name
value/opt/hive/warehouse/value
/property
property
namehive.exec.scratchdir/name
value/opt/hive/tmp/value
/property
property
namehive.querylog.location/name
value/opt/hive/logs/value
/property
property
namehive.server2.thrift.port/name
value10000/value
/property
property
namehive.server2.thrift.bind.host/name
valuelocalhost/value
/property
property
namehive.server2.enable.doAs/name
valuetrue/value
/propertyproperty
namehive.session.id/name
valuefalse/value
/property
property
namehive.session.silent/name
valuefalse/value
/propertyproperty
namejavax.jdo.option.ConnectionURL/name
valuejdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExisttrue/value
/property
property
namejavax.jdo.option.ConnectionDriverName/name
valuecom.mysql.jdbc.Driver/value
/property
property
namejavax.jdo.option.ConnectionUserName/name
valuebee/value
!-- 这里是之前设置的数据库 --
/property
property
namejavax.jdo.option.ConnectionPassword/name
!-- 这里是数据库密码 --
value123123/value
/property
/configuration
完成后在命令行模式按 Esc输入:wq!保存退出。
hive-env.sh
由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构主要运行在 Hadoop分布式环境下因此需要在文件hive-env.sh中指定Hadoop相关配置文件的路径用于Hive访问HDFS读取fs.defaultFS属性值和 MapReduce读取mapreduce.jobhistory.address属性值等Hadoop 相关组件。
如果目录下没有该文件我们就以模板复制一个cp hive-env.sh.template hive-env.sh。vi hive-env.sh打开文件在文件末尾添加变量指向 Hadoop 的安装路径 HADOOP_HOME/usr/local/hadoop #在本地环境安装要根据自己hadoop的路径来确定 至此Hive配置完成。 第一次启动Hive前还需要执行初始化命令schematool -dbType mysql -initSchema。start-dfs.sh
