当前章节 01 · 数据模型
🎓 大数据可视化课堂 · HBase 专题

HBase:跑在 HDFS 之上的
分布式列式数据库

从数据模型到 RowKey 排序,从 Region 分裂到 LSM 写入路径 —— 把抽象概念变成可以点击、可以一步一步观看的动画。

海量存储 稀疏矩阵 RowKey 字典序 强一致随机读写 LSM-Tree Region 自动分裂
01

数据模型:一张无限宽、极度稀疏的表

HBase 的表用 行键 RowKey、列族 Column Family、列限定符 Qualifier、时间戳 Timestamp 四要素定位一个 单元格 Cell。列族必须建表时定义,列限定符可以随时动态添加 —— 点一下任意单元格,看看它的多版本历史。

表:students
👈 表格可左右滑动查看全部列
列族 info 列族 score 无数据(不占存储)
💡 HBase 不存储 null。某一行没有某个列,就只是「没有这个 Cell」,而不是存一个空值。
02

RowKey:字典序,是 HBase 一切性能的根

表里的所有行,永远按 RowKey 的字节字典序排列,而不是插入顺序。 正因为有序,Scan 才能做高效的范围查询。动手插几个 RowKey,看看它们会排到哪里。

⚠️ 注意:20230015 会排在 2023002 之前! 因为字符串是逐位比较的,第 7 位 '1' < '2'。 所以 RowKey 一定要定长补齐(如 20230015 写成 202300015)。
📏

定长设计

所有 RowKey 保持相同长度,避免字典序错乱,也便于截取前缀做 Scan。

🔀

打散热点

不要用纯自增 ID 当 RowKey,否则写入全压在同一台 RegionServer 上。可加盐/哈希前缀,如 00_20230001。

🔍

为查询而设计

RowKey 是最常用的查询条件。把「经常一起查的字段」拼进 RowKey 前缀,范围扫描就是一瞬间的事。

📦

越短越好

RowKey 会被存进每一个 HFile 索引、每一行数据里。几十字节的冗余 × 百亿行 = 巨大的额外开销。

03

Region:一张表,被按 RowKey 切成很多片

HBase 把表的 RowKey 区间切成若干个 Region,每个 Region 由一个 RegionServer 负责。 当某个 Region 增长到阈值,它就会在中位 RowKey 处一分为二 —— 这就是 HBase 天然的水平扩展能力。

💡 观察:Region 越大越「热」,到 100% 就被自动切开。表被切得越细,理论上并行读写的吞吐就越高。
04

写入路径:先写日志,再写内存

HBase 的写是「追加」而不是「原地修改」:先顺序写 WAL 保证不丢数据,再写内存里的 MemStore,攒够了才顺序刷成 HFile 落进 HDFS。点「下一步」,一步一步跟着数据走。

未开始
05

读取路径:内存 → 缓存 → 磁盘

读一条数据时,HBase 会按「MemStore → BlockCache → HFile」的顺序逐层查找, 再按时间戳合并出最新的那个版本返回。所以刚写进去的数据一定是最快被读到的。

未开始
06

HBase 与 HDFS:不是替代,而是互补

HDFS 擅长「一次写入、多次顺序读」,HBase 补上了「随机实时读写」这块拼图,而它的数据最终仍然躺在 HDFS 上。

👈 表格可左右滑动
维度 HDFS HBase
系统定位 分布式文件系统 分布式列式 NoSQL 数据库
数据访问模式 批量、顺序扫描、高吞吐 单行随机实时读写、低延迟
数据模型 文件 + 数据块 表:RowKey / 列族 / 时间戳 / 多版本
是否可修改 一次写入,只能追加,不能随机改 支持随机更新与删除,保留多版本
索引能力 无(只能全量扫描) RowKey 有序索引,支持范围 Scan
底层依赖 本地磁盘 / 集群磁盘 数据以 HFile 形式存储在 HDFS 上
典型场景 日志归档、离线批处理、数据仓库底座 实时查询、用户画像、消息记录、时序数据
07

小测验:检查一下你掌握了多少

4 道题,选完立刻出解析。答错也没关系,回去再点一点上面的动画就好。

你的得分 0 / 4