电机东莞网站建设,WordPress内网外网访问,个人公众号怎么赚钱,网页设计 费用Linux基础环境搭建#xff08;CentOS7#xff09;- 安装Mysql和Hive
大家注意以下的环境搭建版本号#xff0c;如果版本不匹配有可能出现问题#xff01; 一、Mysql下载及安装
MySQL是一个关系型数据库管理系统#xff0c;由瑞典MySQL AB 公司开发#xff0c;属于 Orac…Linux基础环境搭建CentOS7- 安装Mysql和Hive
大家注意以下的环境搭建版本号如果版本不匹配有可能出现问题 一、Mysql下载及安装
MySQL是一个关系型数据库管理系统由瑞典MySQL AB 公司开发属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System关系数据库管理系统) 应用软件之一。
MySQL是一种关系型数据库管理系统关系数据库将数据保存在不同的表中而不是将所有数据放在一个大仓库内这样就增加了速度并提高了灵活性。
MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策分为社区版和商业版由于其体积小、速度快、总体拥有成本低尤其是开放源码这一特点一般中小型网站的开发都选择 MySQL 作为网站数据库。 Mysql的下载slave2
Mysql下载链接https://pan.baidu.com/s/1Hh2dnzXEiiHaL7vxwQMtpg
提取码5l4o
将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中
Mysql的安装
yum remove mysql-libs #删除本机的mysql 一路按y
cd /opt/software/
tar -xvf mysql-5.7.20-1.el6.x86_64.rpm-bundle.tarrpm -ivh mysql-community-common-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-5.7.20-1.el6.x86_64.rpm
rpm -ivh mysql-community-server-5.7.20-1.el6.x86_64.rpm --force --nodeps
Mysql启动服务
systemctl daemon-reload #重载所有修改过的配置文件
systemctl start mysqld #开启服务
systemctl enable mysqld #开机自启 若不成功也不影响
登录MySQL数据库
grep temporary password /var/log/mysqld.log #获取初密码
mysql -uroot -p #登陆MySQL注意中英文 MySQL密码安全策略设置
set global validate_password_policy0; #设置密码强度为低级
set global validate_password_length4; #设置密码长度
alter user rootlocalhost identified by 123456; #修改用户密码
\q #退出
设置远程登录
mysql -uroot -p123456 #以新密码登陆MySQL
create user root% identified by 123456; #创建用户
grant all privileges on *.* to root% with grant option; #允许远程连接
flush privileges; #刷新权限
create database if not exists test; #创建数据库test
二、Hive下载及安装
hive是基于Hadoop的一个数据仓库工具用来进行数据提取、转化、加载这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表并提供SQL查询功能能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低可以通过类似SQL语句实现快速MapReduce统计使MapReduce变得更加简单而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
Hive的下载master操作
Hive下载链接https://pan.baidu.com/s/1Dxq9Hh-zu0RjuM_R3yNgfw
提取码96io
将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中
HIve的安装master操作
mkdir -p /usr/hive
cd /opt/software/
tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
配置profile
vim /etc/profile
添加内容如下
#set hive
export HIVE_HOME/usr/hive/apache-hive-2.1.1-bin
export PATH$PATH:$HIVE_HOME/bin 刷新profile文件
source /etc/profile
将Hive和profile文件传到slave1
scp -r /usr/hive/ rootslave1:/usr/
scp -r /etc/profile rootslave1:/etc/profile
解决版本冲突
cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
修改hive-site.xml文件
cd /usr/hive/apache-hive-2.1.1-bin/conf/
vim hive-site.xml
修改内容如下
lt;configurationgt;
lt;!-- Hive产生的元数据存放位置--gt;
lt;propertygt;
lt;namegt;hive.metastore.warehouse.dirlt;/namegt;
lt;valuegt;/user/hive_remote/warehouselt;/valuegt;
lt;/propertygt;
lt;!--- 使用本地服务连接Hive,默认为true--gt;
lt;propertygt;
lt;namegt;hive.metastore.locallt;/namegt;
lt;valuegt;falselt;/valuegt;
lt;/propertygt;
lt;!-- 连接服务器--gt;
lt;propertygt;
lt;namegt;hive.metastore.urislt;/namegt;
lt;valuegt;thrift://slave1:9083lt;/valuegt;
lt;/propertygt;
lt;/configurationgt; 修改hive-env.sh中HADOOP_HOME环境变量
cd /usr/hive/apache-hive-2.1.1-bin/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
修改内容如下
HADOOP_HOME/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR/usr/hive/apache-hive-2.1.1-bin/conf 三、Hive的配置slave1操作
mysql依赖包下载
mysql依赖包下载链接https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw
提取码a4l3
将mysql依赖包放入slave1 Hive中
cd /usr/hive/apache-hive-2.1.1-bin/lib
cp /opt/software/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib/
修改hive-env.sh文件
cd /usr/hive/apache-hive-2.1.1-bin/conf/
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
修改内容如下
HADOOP_HOME/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR/usr/hive/apache-hive-2.1.1-bin/conf 修改hive-site.xml文件
vim /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
添加内容如下
lt;configurationgt;
lt;!-- Hive产生的元数据存放位置--gt;
lt;propertygt;
lt;namegt;hive.metastore.warehouse.dirlt;/namegt;
lt;valuegt;/user/hive_remote/warehouselt;/valuegt;
lt;/propertygt;
lt;!-- 数据库连接JDBC的URL地址--gt;
lt;propertygt;
lt;namegt;javax.jdo.option.ConnectionURLlt;/namegt;
lt;valuegt;jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExisttrueamp;amp;useSSLfalselt;/valuegt;
lt;/propertygt;
lt;!-- 数据库连接driver即MySQL驱动--gt;
lt;propertygt;
lt;namegt;javax.jdo.option.ConnectionDriverNamelt;/namegt;
lt;valuegt;com.mysql.jdbc.Driverlt;/valuegt;
lt;/propertygt;
lt;!-- MySQL数据库用户名--gt;
lt;propertygt;
lt;namegt;javax.jdo.option.ConnectionUserNamelt;/namegt;
lt;valuegt;rootlt;/valuegt;
lt;/propertygt;
lt;!-- MySQL数据库密码--gt;
lt;propertygt;
lt;namegt;javax.jdo.option.ConnectionPasswordlt;/namegt;
lt;valuegt;123456lt;/valuegt;
lt;/propertygt;
lt;propertygt;
lt;namegt;hive.metastore.schema.verificationlt;/namegt;
lt;valuegt;falselt;/valuegt;
lt;/propertygt;
lt;propertygt;
lt;namegt;datanucleus.schema.autoCreateAlllt;/namegt;
lt;valuegt;truelt;/valuegt;
lt;/propertygt;
lt;/configurationgt;
检查profile文件
vim /etc/profile 如果没有错误的话source一下profile文件
source /etc/profile
四、Mysql和Hive启动
启动hadoop集群master上
cd /usr/hadoop/hadoop-2.7.3/sbin/
start-all.sh
启动hive server服务slave1上
cd /usr/hive/apache-hive-2.1.1-bin/
bin/hive --service metastore 启动hive client(master上)
cd /usr/hive/apache-hive-2.1.1-bin/
bin/hive
成功就会跳到hive的输入界面
五、测试hive是否启动成功
查看数据库
hivegt;show databases; 创建数据库
hivegt;create database testbase; 复制一个master会话查看一下master进程 如果可以查看以及建立数据库进程中有RunJar进程则代表Mysql和Hive安装成功啦~
