行业查询网站,网站建设需求建议书,长春网站关键词排名,如何生成链接文章目录 配置多队列的容量调度器多队列查看 配置多队列的容量调度器
首先#xff0c;我们进入 Hadoop 的配置文件目录中#xff08;$HADOOP_HOME/etc/hadoop#xff09;#xff1b;
然后通过编辑容量调度器配置文件 capacity-scheduler.xml 来配置多队列的形式。
默认只… 文章目录 配置多队列的容量调度器多队列查看 配置多队列的容量调度器
首先我们进入 Hadoop 的配置文件目录中$HADOOP_HOME/etc/hadoop
然后通过编辑容量调度器配置文件 capacity-scheduler.xml 来配置多队列的形式。
默认只有 default 队列显然一个队列不符合集群的生产环境会造成队列阻塞资源分配不合理的情况等等所以这时候就需要配置多队列了。
需求 default 队列占总内存的 40%最大资源容量占总资源 60% hive 队列占总内存的 60%最大资源容量占总资源 80%。 不管配置多少个队列总内存的和值最大不超过100%超过会直接报错。 最大资源容量单个不超过100%同时在配置队列的情况下也不要配置为100%那样就失去了配置队列的意义并发情况下和单队列一样了。 修改相关配置
!-- 新增hive队列默认只有default --
propertynameyarn.scheduler.capacity.root.queues/namevaluedefault,hive/value
/property!-- 降低default队列资源额定容量为40%默认100% --
propertynameyarn.scheduler.capacity.root.default.capacity/namevalue40/value
/property!-- 降低default队列资源最大容量为60%默认100% --
propertynameyarn.scheduler.capacity.root.default.maximum-capacity/namevalue60/value
/property为新队列添加相关配置
!-- 指定hive队列的资源额定容量 --
propertynameyarn.scheduler.capacity.root.hive.capacity/namevalue60/value
/property!-- 用户最多可以使用队列多少资源1表示使用所有资源也就是百分之百 --
propertynameyarn.scheduler.capacity.root.hive.user-limit-factor/namevalue1/value
/property!-- 指定hive队列的资源最大容量 --
propertynameyarn.scheduler.capacity.root.hive.maximum-capacity/namevalue80/value
/property!-- 启动hive队列 --
propertynameyarn.scheduler.capacity.root.hive.state/namevalueRUNNING/value
/property!-- 哪些用户有权向队列提交作业 --
propertynameyarn.scheduler.capacity.root.hive.acl_submit_applications/namevalue*/value
/property!-- 哪些用户有权操作队列管理员权限查看/杀死 --
propertynameyarn.scheduler.capacity.root.hive.acl_administer_queue/namevalue*/value
/property!-- 哪些用户有权配置提交任务优先级 --
propertynameyarn.scheduler.capacity.root.hive.acl_application_max_priority/namevalue*/value
/property!-- 指定了Hive作业的最大应用程序生存时间将参数设置为 -1 意味着不设置应用程序生存时间的限制即Hive作业的应用程序可以一直保持运行状态直到它们自己完成或被终止。--
propertynameyarn.scheduler.capacity.root.hive.maximum-application-lifetime/namevalue-1/value
/property!-- 指定了Hive作业的默认应用程序生存时间--
propertynameyarn.scheduler.capacity.root.hive.default-application-lifetime/namevalue-1/value
/property配置添加完成后分发配置到集群其它机器。
该配置设置完成后无需重启集群使用下列命令进行队列刷新即可
yarn rmadmin -refreshQueues当然不嫌麻烦可以去重启集群。
多队列查看
进入 Yarn 的 WEB 界面就可以看到我们配置好的队列了。 点开可以看到更为详细的配置信息
