数据模型:一张无限宽、极度稀疏的表
HBase 的表用 行键 RowKey、列族 Column Family、列限定符 Qualifier、时间戳 Timestamp 四要素定位一个 单元格 Cell。列族必须建表时定义,列限定符可以随时动态添加 —— 点一下任意单元格,看看它的多版本历史。
RowKey:字典序,是 HBase 一切性能的根
表里的所有行,永远按 RowKey 的字节字典序排列,而不是插入顺序。
正因为有序,Scan 才能做高效的范围查询。动手插几个 RowKey,看看它们会排到哪里。
20230015 会排在 2023002 之前!
因为字符串是逐位比较的,第 7 位 '1' < '2'。
所以 RowKey 一定要定长补齐(如 20230015 写成 202300015)。
定长设计
所有 RowKey 保持相同长度,避免字典序错乱,也便于截取前缀做 Scan。
打散热点
不要用纯自增 ID 当 RowKey,否则写入全压在同一台 RegionServer 上。可加盐/哈希前缀,如 00_20230001。
为查询而设计
RowKey 是最常用的查询条件。把「经常一起查的字段」拼进 RowKey 前缀,范围扫描就是一瞬间的事。
越短越好
RowKey 会被存进每一个 HFile 索引、每一行数据里。几十字节的冗余 × 百亿行 = 巨大的额外开销。
Region:一张表,被按 RowKey 切成很多片
HBase 把表的 RowKey 区间切成若干个 Region,每个 Region 由一个 RegionServer 负责。 当某个 Region 增长到阈值,它就会在中位 RowKey 处一分为二 —— 这就是 HBase 天然的水平扩展能力。
写入路径:先写日志,再写内存
HBase 的写是「追加」而不是「原地修改」:先顺序写 WAL 保证不丢数据,再写内存里的 MemStore,攒够了才顺序刷成 HFile 落进 HDFS。点「下一步」,一步一步跟着数据走。
读取路径:内存 → 缓存 → 磁盘
读一条数据时,HBase 会按「MemStore → BlockCache → HFile」的顺序逐层查找, 再按时间戳合并出最新的那个版本返回。所以刚写进去的数据一定是最快被读到的。
HBase 与 HDFS:不是替代,而是互补
HDFS 擅长「一次写入、多次顺序读」,HBase 补上了「随机实时读写」这块拼图,而它的数据最终仍然躺在 HDFS 上。
| 维度 | HDFS | HBase |
|---|---|---|
| 系统定位 | 分布式文件系统 | 分布式列式 NoSQL 数据库 |
| 数据访问模式 | 批量、顺序扫描、高吞吐 | 单行随机实时读写、低延迟 |
| 数据模型 | 文件 + 数据块 | 表:RowKey / 列族 / 时间戳 / 多版本 |
| 是否可修改 | 一次写入,只能追加,不能随机改 | 支持随机更新与删除,保留多版本 |
| 索引能力 | 无(只能全量扫描) | RowKey 有序索引,支持范围 Scan |
| 底层依赖 | 本地磁盘 / 集群磁盘 | 数据以 HFile 形式存储在 HDFS 上 |
| 典型场景 | 日志归档、离线批处理、数据仓库底座 | 实时查询、用户画像、消息记录、时序数据 |
小测验:检查一下你掌握了多少
4 道题,选完立刻出解析。答错也没关系,回去再点一点上面的动画就好。