外贸企业邮箱哪家好,seogw,led wordpress,品牌推广网站策划设计文章目录 引言工具介绍CDHAmbariDataSophon 对比分析 引言 大数据集群管理方式分为手工方式和工具方式#xff0c;手工方式一般指的是手动维护平台各个组件#xff0c;工具方式是靠大数据集群管理软件对集群进行管理维护。本文针对于常见的方法和工具进行比较#xff0c;帮助… 文章目录 引言工具介绍CDHAmbariDataSophon 对比分析 引言 大数据集群管理方式分为手工方式和工具方式手工方式一般指的是手动维护平台各个组件工具方式是靠大数据集群管理软件对集群进行管理维护。本文针对于常见的方法和工具进行比较帮助找到合适的工具提升效率。
工具介绍
CDH CDH 是 Cloudera 公司提供的一种大数据平台解决方案。 CDH 的全称是 Cloudera’s Distribution including Apache Hadoop它是一个开放源代码的大数据平台基于 Apache Hadoop 和其他相关的开源技术构建包括 HDFS、MapReduce、HBase、ZooKeeper、Hue、Oozie、Flume、Sqoop 等等。 CDH 提供了一个完整的大数据解决方案包括数据管理、数据处理、数据分析和数据可视化等方面可以帮助用户快速搭建和部署大数据平台支持多种数据源的处理和集成同时提供了强大的安全性和可扩展性。值得一提的是 CDH 从6.3版本之后开始收费 。
官网地址https://www.cloudera.com/
Ambari Apache Ambari 跟 Hadoop 等开源软件一样也是 Apache Software Foundation 中的一个项目并且是顶级项目。目前最新的发布版本是 2.7.8。就 Ambari 的作用来说就是创建、管理、监视 Hadoop 的集群但是这里的 Hadoop 是广义指的是 Hadoop 整个生态圈例如 HiveHbaseSqoopZookeeper 等而并不仅是特指 Hadoop。用一句话来说Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。Ambari 目前已支持大多数 Hadoop 组件包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等并且是完全开源的平台。
官网地址https://ambari.apache.org/
DataSophon DataSophon 是致力于自动化监控、运维、管理大数据基础组件和节点的帮助您快速构建起稳定高效的大数据集群服务国产开源平台支持完全离线部署能支撑
官网地址https://datasophon.github.io/datasophon-website/docs/current/%E6%A6%82%E8%A7%88 还支持 Kyuubi统一多租户JDBC网关、Iceberg适用于庞大数据集分析的开放式数据表格式、Kerberos计算机网络认证协议
对比分析
试想下面几个问题
如果有100台服务器的集群至少要花费多长时间搭建好 Hadoop集群包括 Hive、Hbase、Spark、Zookeeper、Kafka、Flink 等对于以上集群进行 Hadoop 版本升级怎么选择升级方案至少要花费多长时间新版本的 Hadoop 与 Hvie、Hbase、Kafka、Flink 等是否兼容如何对上述集群中已经运行中的主机和组件健康状态进行监控
手工部署需配置太多参数但是好理解其原理建议初学这样做能学到很多。该方式啊均得由用户执行细节太多切当设计多个组件时用户须自己解决组件间版本兼容问题。
工具部署使用工具可以说是一键操作难点都在工具本身的部署上但是工具也存在升级组件不受自己控制的弊端。
比较项手工方式工具方式难易度难几乎不可能成功简单易行兼容性自己解决组件兼容性问题自动安装兼容组件组件支持数支持全部组件支持常用组件监控运维无需要自建支持常见组件的监控优点对组件和集群管理深刻简单、容易、可行缺点太复杂几乎不可能成功屏蔽太多细节妨碍对组件理解
组件之间对比
工具项所属机构开源性社区支持性易用性监控指标可扩展性原生支持组件服务版本CDHCloudera商用不支持易多无中较老AmbariApache开源支持较易较多较强较少较新DataSophon国产开源支持易多强多非常新
