商城网站的psd模板免费下载,2网站建设总结,东莞网站建设三合一,做房产的网站排名文章目录 一、实验目的二、实验要求三、实验原理四、实验环境五、实验内容和步骤#xff08;一#xff09;验证Hadoop和ZooKeeper已启动#xff08;二#xff09;修改HBase配置文件#xff08;三#xff09;启动并验证HBase 六、实验结果七、实验心得 一、实验目的
掌握… 文章目录 一、实验目的二、实验要求三、实验原理四、实验环境五、实验内容和步骤一验证Hadoop和ZooKeeper已启动二修改HBase配置文件三启动并验证HBase 六、实验结果七、实验心得 一、实验目的
掌握HBase基础简介及体系架构掌握HBase集群安装部署及HBase Shell的一些常用命令的使用了解HBase和HDFS及Zookeeper之间的关系。
二、实验要求
巩固学习下【大数据技术基础 | 实验一】配置SSH免密登录、【大数据技术基础 | 实验三】HDFS实验部署HDFS、【大数据技术基础 | 实验五】ZooKeeper实验部署ZooKeeper部署一个主节点三个子节点的HBase集群并引用外部Zookeeper进入HBase Shell通过命令练习创建表、插入数据及查询等命令。
三、实验原理
简介HBase是基于Hadoop的开源分布式数据库它以Google的BigTable为原型设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统它是基于列而不是基于行的模式适合存储非结构化数据。
体系结构HBase是一个分布式的数据库使用Zookeeper管理集群使用HDFS作为底层存储它由HMaster和HRegionServer组成遵从主从服务器架构。HBase将逻辑上的表划分成多个数据块即HRegion存储在HRegionServer中。HMaster负责管理所有的HRegionServer它本身并不存储任何数据而只是存储数据到HRegionServer的映射关系(元数据)。HBase的基本架构如图所示 四、实验环境
云创大数据实验平台 Java 版本jdk1.7.0_79Hadoop 版本hadoop-2.7.1ZooKeeper 版本zookeeper-3.4.6HBase 版本hbase-1.1.2
五、实验内容和步骤
本实验主要演示HBase的安装部署过程因HBase依赖于HDFS和Zookeeper所以该实验需要分为四个步骤。
首先配置SSH无密钥登录参考【大数据技术基础 | 实验一】配置SSH免密登录。
其次安装Hadoop集群参考【大数据技术基础 | 实验三】HDFS实验部署HDFS。
然后安装Zookeeper集群参考【大数据技术基础 | 实验五】ZooKeeper实验部署ZooKeeper。
最后修改HBase配置文件具体内容如下
一验证Hadoop和ZooKeeper已启动
通过jps命令验证Hadoop和ZooKeeper已启动
jps二修改HBase配置文件
将HBase安装包hbase.1.1.2.tar.gz解压到/usr/cstor目录并将hbase.1.1.2目录改名为hbase且所属用户改成root:root。
tar -zxvf hbase.1.1.2.tar.gz -c /usr/cstor/hbase
mv /usr/cstor/hbase.1.1.2 /usr/cstor/hbase
chown -R root:root /usr/cstor/hbase以上操作实验平台已经事先做好了。我们直接进入到hbase目录下
cd /usr/cstor/hbase
ls1. 配置hbase-env.sh文件
进入解压目录下配置conf目录下的/usr/cstor/hbase/conf/hbase-env.sh文件设置如下
vim /usr/cstor/hbase/conf/hbase-env.shJava安装路径 (需根据实际情况指定)
export JAVA_HOME/usr/local/jdk1.7.0_79不使用HBase自带的Zookeeper
export HBASE_MANAGES_ZKfalse2. 配置hbase-site.xml文件
配置conf目录下的hbase-site.xml文件设置如下
vim /usr/cstor/hbase/conf/hbase-site.xmlconfigurationpropertynamehbase.rootdir/namevaluehdfs://master:8020/hbase/value/propertypropertynamehbase.cluster.distributed/namevaluetrue/value/propertypropertynamehbase.zookeeper.quorum/namevalueslave1,slave2,master/value/propertypropertynamehbase.tmp.dir/namevalue/usr/cstor/hbase/data/tmp/value/property
/configuration3. 配置regionservers文件
配置conf目录下的regionservers文件设置如下
vim /usr/cstor/hbase/conf/regionserversslave1
slave2配置完成后将hbase目录传输到集群的其它节点
scp -r /usr/cstor/hbase rootslave1:/usr/cstor
scp -r /usr/cstor/hbase rootslave2:/usr/cstor三启动并验证HBase
接着启动HBase并简单验证HBase如下 在主节点master进入hbase解压目录的bin目录启动HBase服务进程(已启动Zookeeper)
cd /usr/cstor/hbase/bin
./start-hbase.sh启动完HBase后使用jps命令查看进程 在master服务器上可以看到HMaster进程在slave1~2上可以看到HRegionServer进程。这样HBase就启动成功了。
通过以下命令进入HBase shell界面
./hbase shell在shell里创建表
create testhbase , f1查询所有表名
list查看表结构信息
describe testhbase在shell里插入数据
put testhbase, 001, f1:name, aaa在shell里查询
scan testhbase删除表先disable再drop
disable testhbase
drop testhbase退出shell
quit六、实验结果
HBase启动成功后进入shell界面用shell命令简单操作HBase数据库验证HBase成功安装验证结果如图所示。 HBase安装成功后可以通过访问HBase WEB页面http://master:16010来查看HBase集群的一些基本情况如图所示。这里的master要替换为对应的IP地址 七、实验心得 在进行HBase实验的过程中我深刻体会到了HBase作为一个分布式、可扩展的NoSQL数据库的独特优势。HBase的设计理念强调高吞吐量和低延迟这使得它非常适合处理大规模数据存储和实时数据访问。 首先我在实验中学习了HBase的基本架构。HBase是建立在Hadoop之上的它利用Hadoop的HDFS作为底层存储。通过理解RegionServer、HMaster和Zookeeper的协作机制我认识到HBase是如何实现高可用性和容错性的。尤其是Zookeeper在HBase中起到了关键的协调作用确保了系统的一致性和稳定性。 在实际操作中我体验到了HBase的表设计与传统关系型数据库的显著不同。在HBase中表的设计更为灵活允许动态列族的添加和删除。这种灵活性使得我们可以更方便地进行数据建模尤其是在处理多样化和不断变化的数据时。此外实验中我还实践了HBase的CRUD操作通过Java API进行数据的插入、查询、更新和删除。尽管最初遇到了一些API使用上的困惑但在查阅文档和反复试验后我逐渐掌握了如何高效地进行数据操作。HBase的Scan和Get操作让我能够快速检索所需数据极大提高了数据处理效率。 同时我也注意到HBase在处理海量数据时的性能优势。在对大规模数据集进行测试时HBase表现出色能够迅速响应查询请求显示出其高效的性能。这使我意识到HBase非常适合大数据分析和实时数据处理的场景。在实验的最后阶段我尝试对HBase进行一些基本的性能调优了解了如预分区、缓存等优化策略。这些措施能够有效提升HBase的读写性能为后续的应用提供了更好的支持。 总的来说这次HBase实验让我对分布式数据库的架构和操作有了更加深入的理解。通过实践我不仅学会了如何使用HBase还认识到了在实际应用中如何根据需求进行设计和优化。这将对我未来的数据处理和分析工作产生积极的影响。 附以上文中的数据文件及相关资源下载地址 链接https://pan.quark.cn/s/356a503ecf3e 提取码khqu
