上海网站开发的公司,wordpress commerce,做招聘的h5用哪个网站,线下推广有哪几种渠道在使用的时候hbase就是一个普通的表#xff0c;但是hbase是一个列式存储的表结构#xff0c;与我们常用的mysql等关系型数据库的存储方式不同#xff0c;mysql中的所有列的数据是按照行级别进行存储的#xff0c;查询数据要整个一行查询出来#xff0c;不想要的字段也需要…在使用的时候hbase就是一个普通的表但是hbase是一个列式存储的表结构与我们常用的mysql等关系型数据库的存储方式不同mysql中的所有列的数据是按照行级别进行存储的查询数据要整个一行查询出来不想要的字段也需要查询出来hbase是列式存储的方式实现的它的一个列的所有行都是存储为一份文件在大数据场景中我们一般一个表的字段都会比较多那么我们业务很多情况下是不需要查询出来所有的列的所以列式存储会大大的减少数据查询带来的消耗问题为我们的查询增加效率。 我们已经知道了hbase是列级别存储的那么我们看具体的存储结构
a
表中的数据结构rowkey是hbase表自带的主键每个表中都会存在这样一个主键它的格式为存储为Byte数组什么样的数据都可以充当为rowkey进行存储但是在存储的时候要转换为byte数组进行存储并且数据是按照rowkey的字典顺序进行排序的。
表中是存在列的但是这个列以列族进行分类比如info列族中存在三个列id,name,age 相应的列的存储数据类型也可以是任意的类型但是都会以byte数组形式存储在hbase中。
我们在使用hbase的表的时候我们就按照上图的表格显示进行使用就可以了但是实际的底层存储却不是我们所看到的样子
首先我们先要知道hbase的表的数据操作分为两个类型一个是put一个是deleteput是更新或者插入新的数据都使用这个命令它会自己覆盖数据delete是删除数据hbase的底层数据存储是hdfshdfs中的数据是不允许我们随意的进行操作和修改的那么我们的所有操作都必须要先放入到自己的内存中然后在将数据写出到hdfs中和hdfs中的数据进行合并处理所以我们在hbase中真正存储的数据并不是按照表的样子进行存储的底层是按照k-v类型存储到hbase中的并且写出到hdfs中。 我们在上面的表中可以看到数据的存储是按照表格形式存储的但是表格形式的存储在hbase的底层数据中并不是真正存在的而是kv类型存储的其中存储的数据包含以下几个部分key的组成是[rowkey主键列族列时间戳和操作类型]其中rowkey是唯一性的主键每个数据都必须和主键相关联列族和列组成了相对应的存储描述时间戳用于做数据的修改保存用于识别最新的数据是什么而不像是关系型数据库它的每个操作都会直接写出到数据上我们只能在上层操作并且操作完毕以后将数据一下写出到hdfs中进行最终保存所以时间戳是必备项同于我们识别数据的版本能够认识到数据的变化流程找出最新的数据type类型用户识别操作是什么从而最后得出数据最新值value是我们每次操作对应的值
而且因为数据在底层存储是按照kv类型进行存的那么我们会发现在不同的行的数据可能字段并不相同并不是像关系型数据库中列是固定死的从而我们发现hbase的数据存储中能够固定死的就只有列族信息。
在我们操作和使用hbase之前先要知道以下几个比较重要的关键词
namespace 命名空间相当于是关系型数据中的数据库概念。在hbase中可以根据不同的业务声明不同的命名空间一个命名空间中会存在多个表类似于数据库表的分类层级 table hbase数据库中的表和关系型数据库的表相同但是这个表中我们只需要声明列族即可不需要指定相应的列字段因为不同的行中的数据是按照kv进行存储的可以动态变化 row hbase表中的一行内容一行中会存在一个唯一的rowkey以及很多用列族和列字段标识的值hbase的表是列式存储的那么一行中的不同列族是位于多个文件中的在查询一整行内容的时候可能会需要用到多个底层存储文件才能获取到。 column family 列族表中的列的固定部分其中一个列族中会包含很多个列每个列并不是真实存在的只是存储数据时候的一个描述而已更像是kv数据中的一个简单的描述值一个列族会单独存储到一个文件中这个列族中所有的列都是存在一个文件中的。 column 列在一个列中的下一级的描述关键字。 timestamp 操作时间戳用于在数据多次操作的时候记录每一次操作的时间用于标识数据的版本。 cell 单元格一个由行和列进行定位的数据位置叫做单元格信息其中包含一个确定的值这个值其实只是kv存储的一个单独的value值会根据上面的timestamp时间戳存在多个版本。
