外贸网站建设维护,wordpress怎么调用文章列表,房地产最新信息,分类信息网站平台有哪些Windows下安装Sqoop 一、Sqoop简介二、Sqoop安装2.1、Sqoop官网下载2.2、Sqoop网盘下载2.3、Sqoop安装#xff08;以version#xff1a;1.4.7为例#xff09;2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录2.3.2、新增环境变量 SQOOP_HOME2.3.3、环境变量 Path 添加 %SQO… Windows下安装Sqoop 一、Sqoop简介二、Sqoop安装2.1、Sqoop官网下载2.2、Sqoop网盘下载2.3、Sqoop安装以version1.4.7为例2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录2.3.2、新增环境变量 SQOOP_HOME2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin2.3.4、验证 Sqoop 是否安装成功sqoop version2.3.5、问题处理找不到或无法加载主类 org.apache.sqoop.Sqoop2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.3.5.1.1.1、官网下载2.3.5.1.1.2、网盘下载 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中 2.3.6、重新验证 Sqoop 是否安装成功sqoop version 一、Sqoop简介
1.1、Sqoop是什么 Sqoop是一个用于Hadoop和结构化数据存储如关系型数据库之间进行高效传输大批量数据的工具。 它包括以下两个方面 1.1.1、可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。 1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。 1.2、底层实现原理 Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task只有map的MapReduce作业实现的。所以它是一种批处理方式进行数据传输难以实现实时的数据进行导入和导出。 1.3、特点 优点它可以将跨平台的数据进行整合。 缺点它不是很灵活。 1.4、Sqoop的重要的几个关键词 import 从关系型数据库到Hadoop export 从Hadoop到关系型数据库。 1.5、主要执行操作
Mysql--HDFS:import
Mysql--Hive:import
Mysql--HBase:import
HDFS--Mysql:export
Hive--Mysql:export二、Sqoop安装
本篇以 version1.4.7 为例来演示Sqoop的安装步骤。
2.1、Sqoop官网下载
官网下载地址http://archive.apache.org/dist/sqoop/ 下载sqoop-1.4.7.tar.gz 这个文件
2.2、Sqoop网盘下载
或者网盘下载https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwdyyds 下载sqoop-1.4.7.tar.gz 这个文件
2.3、Sqoop安装以version1.4.7为例
2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
解压 sqoop-1.4.7.tar.gz 到 D:\bigdata\sqoop\1.4.7
2.3.2、新增环境变量 SQOOP_HOME 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin 2.3.4、验证 Sqoop 是否安装成功sqoop version
管理员权限打开cmd命令窗口。输入
sqoop version发现报错找不到或无法加载主类 org.apache.sqoop.Sqoop
2.3.5、问题处理找不到或无法加载主类 org.apache.sqoop.Sqoop
2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
解决办法下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.2、网盘下载
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwdyyds
2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 可以看到解压目录中有sqoop-1.4.6.jar 这个文件
2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
2.3.6、重新验证 Sqoop 是否安装成功sqoop version 至此Windows下安装Sqoop安装成功
