Every day to be a little better

Hbase

Hbase

Hbase定义

  • HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为Java。
  • 是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,因此可以容错地存储海量稀疏的数据。
  • 特性:
    • 高可靠
    • 高并发读写
    • 面向列
    • 可伸缩
    • 易构建

行存储 vs 列存储

  • 行存储:
    • 优点:写入一次性完成,保持数据完整性
    • 缺点:数据读取过程中产生冗余数据,若有少量数据可以忽略
  • 列存储
    • 优点:读取过程,不会产生冗余数据,特别适合对数据完整性要求不高的大数据领域
  • 缺点:写入效率差,保证数据完整性方面差

优势

  • 海量数据存储
  • 随机快速访问
  • 大量写操作的应用

Habase应用场景

  • 互谅网搜索引擎数据存储
  • 海量数据写入
  • 消息中心
  • 内容服务系统 (schema-free)
  • 大表负责&所谓度索引
  • 大批量数据读取

Hbase数据模型

  • RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
  • Column Family:列族,拥有一个名称(string),包含一个或者多个相关列
    • Column Family下面可以细分出多个子列
  • Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加
  • Version Number:类型为Long,默认值是系统时间戳,可由用户自定义
  • Value(Cell):Byte array

  • 三维有序

  • {rowkey=> {family => {qualifier => {version => value}}}}
  • a:cf1:bar:1368394583:7
  • a:cf1:foo:1368394261:hello

Hbase物理模型

  • Hregion
  • Hbase一张表由一个或多个Hregion组成
  • 记录之间按照Row Key的字典序排列
  • region自动分类默认分裂大小:10G,超过10G自动分割
  • Hbase region:数据分布的最小单位

  • Region按大小分割的,每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion。当table中的行不断增多,就会有越来越多的Hregion。

  • Hbase行级锁
  • 每个region会分到一个不同region server上去
  • HRegionServer:内部管理了一系列的Hregion对象
  • region是对应table的一个region,逻辑感念
  • Hregion是对region的封装,物理感念


– 表-> HTable
– 按RowKey范围分的Region-> HRegion->Region Servers
– Region逻辑感念,Region管理一个部分的rowKey,按rowKey可以分出很多逻辑region
– region背后有HRegion封装起来,并且由多个Hregion组成Region Servers
– HRegion按列族(Column Family)->多个HStore
– 一个列族(Column Family)对应一个Hstroe,就代表一个文件
– 每一个Hregion包含该多个Hstore
– HStore-> memstore+ HFiles(均为有序的KV)
– HStore数据先往内存写
– 内存区:memstore 默认128M,到达就开始往磁盘写
– 磁盘去:HFiles
– HFiles-> HDFS
– HFiles就是HDFS上存储的一个真实文件

  • HRegion是Hbase中分布式存储和负载均衡的最小单元。
  • 最小单元就表示不同的Hregion可以分布在不同的HRegionserver上。
  • 但一个Hregion是不会拆分到多个server上的。

  • HRegion虽然是分布式存储的最小单元,但并不是存储的最小单元。


– Region往memStore写,存够一定量后往StoreFile写

  • BlockCache : 读缓存

Hbase系统架构

  • Client
    • 访问Hbase的接口,并维护Cache加速Region Server的访问
  • Master
    • 负载均衡,分配Region到RegionServer
  • Region Server
    • 维护Region,负责Region的IO请求
  • Zookeeper
    • 保证集群中只有一个Master
    • 存储所有Region的入口(ROOT)地址
    • 实时监控Region Server的上下线信息,并通知Master


– HMaster:
– 负载均衡:挂历和分配HRegion
– DDL:增删改 -> table,cf,namespace
– 类似namenode,管理一些元数据,table
– ACL权限管理
– HRegionServer(从):
– 管理和存放本地的HRegion
– 读写HDFS,提供IO操作
– 本地化: HRegion的数据尽量和数据所属的DataNOde在一块,但是这个本地化不能总是满足和实现

Hbase容错

  • ZooKeeper协调集群所有节点的共享信息,在HMaster和HRegionServer连接到ZooKeeper后创建Ephemeral节点,并使用Heartbeat机制维持这个节点的存活状态,如果某个Ephemeral节点实效,则HMaster会收到通知,并做相应的处理。

  • 除了HDFS存储信息,HBase还在Zookeeper中存储信息,其中的znode信息:
    • /hbase/root-region-server ,Root region的位置
    • /hbase/table/-ROOT-,根元数据信息
    • /hbase/table/.META.,元数据信息
    • /hbase/master,当选的Mater
    • /hbase/backup-masters,备选的Master
    • /hbase/rs,Region Server的信息
    • /hbase/unassigned,未分配的Region

  • WAL(Write-Ahead-Log)预写日志
  • 是Hbase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志
  • 在每次Put、Delete等一条记录时,首先将其数据写入到RegionServer对应的HLog文件的过程

未经允许不得转载:奇葩菌博客 » Hbase

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址