营销型网站如何建设,郑州新一网站建设,做个兼职网站设计,百度采购网目录 idea/dg远程连接导入数据建表数据导入 idea/dg远程连接
hive的详细安装不多展示#xff0c;自行搜索即可。 依次启动zookeeper#xff0c;hadoop 在zookeeper的节点上启动如下指令#xff08;我的是1个主节点和2个备用节点#xff09; 启动Hive的metastore#xff0… 目录 idea/dg远程连接导入数据建表数据导入 idea/dg远程连接
hive的详细安装不多展示自行搜索即可。 依次启动zookeeperhadoop 在zookeeper的节点上启动如下指令我的是1个主节点和2个备用节点 启动Hive的metastore存储和管理元数据的服务和hiveserver2远程连接服务
nohup hive --service metastore /root/training/apache-hive-3.1.3-bin/logs/metastore.log 21
nohup hive --service hiveserver2 /root/training/apache-hive-3.1.3-bin/logs/hiveserver2.log 21 远程连接方面以idea为例datagrip在idea有集成 注意下端口和用户即可其他的没什么特别需要注意的地方。
报错 [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: useranonymous, accessWRITE, inode“/user/hive/warehouse”:root:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:506) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:346) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermissionWithContext(FSPermissionChecker.java:3 … 连接完成后敲代码遇到这样的错误表明当前用户操作的hdfs目录hdfs中的hive目录权限不够 我这里是匿名用户没有写的权限因此需要修改
解决 在虚拟机上修改hadoop中的warehouse目录下的权限这也是hive的目录 这个目录修改为你自己的即可具体看报错内容
hdfs dfs -chmod 777 /user/hive/warehouse导入数据
自己建立一个csv文件数据描述 由于虚拟机大小限制自己重新做了个。 关于csv文件自行编写即可
建表
创建表user_log和user_info。
create table user_info(id int comment 唯一表示id,age_range int comment 年龄范围,gender int comment 性别 0女 1男 2保密
)
row format delimited
fields terminated by ,
lines terminated by \n;create table user_log(user_id int comment 买家id,item_id int comment 产品id,cat_id int comment 分类id,seller_id int comment 卖家id,brand_id int comment 品牌id,time_stamp bigint comment 时间戳,action_type int
)
row format delimited
fields terminated by ,
lines terminated by \n;数据导入
值得说明的是csv文件首行列名描述应当删去不然导入数据时会出现首行因数据类型不一致而出现空的情况 上传数据至hive中用hive的客户端
load data local inpath /root/tools/user_log.csv into table user_log;
load data local inpath /root/tools/user_info.csv into table user_info;
