十堰为企业做网站的单位,电脑零基础培训学校,成都seo技术,门户型网站特点此篇博客仅记录在使用sqoop时遇到的各种问题。持续更新#xff0c;有问题评论区一起探讨#xff0c;写得有不足之处见谅。
Oracle_to_hive
1. main ERROR Could not register mbeans java.security.AccessControlException: access denied (javax.management.MBeanTr… 此篇博客仅记录在使用sqoop时遇到的各种问题。持续更新有问题评论区一起探讨写得有不足之处见谅。
Oracle_to_hive
1. main ERROR Could not register mbeans java.security.AccessControlException: access denied (javax.management.MBeanTrustPermission register)
日期20241031
原因分析Sqoop 在执行导入时依赖了 HiveHive 启用了 Log4j 的 JMX 功能在没有足够权限的情况下尝试注册 MBeans 时被阻止从而引发该错误
解决方法
修改jdk的文件找到jdk安装目录/jre/lib/security/java.policy
具体配置如下在文件中添加如下内容 permission javax.management.MBeanTrustPermission register; 2. org.apache.atlas.AtlasException: Failed to load application yaml当集群配置了atlas时可能会遇到此问题
日期20241031
原因分析无法在classpath提及的目录中找到application-atlas.yml文件 将找到的配置文件拷贝到classpath起止一个地址中 3. cannot recognize input near , gcrq_month , in column type 24/10/31 17:05:16 ERROR ql.Driver: FAILED: ParseException line 1:895 cannot recognize input near , gcrq_month , in column type org.apache.hadoop.hive.ql.parse.ParseException: line 1:895 cannot recognize input near , gcrq_month , in column type。sqoop只支持单分区问题
日期20241031
原因分析导入数据到hive表时使用了多个分区字段 源码级别解析可以看Sqoop 数据导入多分区Hive解决方法_sqoop import 多个分区-CSDN博客
换种简单的解决方式通过HCatalog解决先查看是否安装HCatalog 然后参数使用HCatalog:
--split-by MINUTE \ --hive-import \ --hive-table ods_pre_dat_dcsj_time \ --target-dir /user/sqoop/hive/oracle_to_hive/ods_pre_dat_dcsj_time \ --delete-target-dir \ -- --hive-drop-import-delims \--hcatalog-database dw \ --hcatalog-table ods_pre_dat_dcsj_time \ --hcatalog-storage-stanza stored as orc \ --hcatalog-partition-keys gcrq_year,gcrq_month,gcrq_day \ --hcatalog-partition-values ${gcrq_year},${gcrq_month},${gcrq_day} \ --num-mappers 3
4. FAILED: HiveAuthzPluginException Error getting permissions for hdfs://udh/user/sqoop/hive/oracle_to_hive/ods_pre_dat_dcsj_time : Unauthorized connection for super-user: hive from IP /xxx.xxx.xxx.xxx
日期20241101
原因分析猜测权限问题其中xxx.xxx.xxx.xxx为我提交sqoop命令所在的服务器“hive ”为我在服务器上以hive用户身份提交sqoop。我在sqoop命令中指定存放数据的临时目录为--target-dir /user/sqoop/hive/oracle_to_hive/ods_pre_dat_dcsj_time查看一下此目录的权限 发现存放临时数据目录下是有数据文件的再看看它的父目录 尝试用hdfs dfs -chown修改其父目录权限改为拥有者为hive。再次执行还是报错。 转换下思路难道是hive的权限限制问题Unauthorized connection for super-user: hive from IP /10.81.35.162大白话翻译超级用户的未经授权的连接。而在 Hive 中hive 用户通常是一个默认的超级用户具备访问和操作 Hive 的所有权限 在hdfs的core-site文件中配置
property namehadoop.proxyuser.hive.groups/name value*/value !-- 允许所有用户组访问 -- /property property namehadoop.proxyuser.hive.hosts/name valuexxx.xxx.xxx.xxx/value !-- 允许特定 IP 地址访问 多ip逗号分隔-- /property
ambari修改的话一般在HDFS的自定义core-site中改为以上配置后需要先重启HDFS再重启HIve
