📊 MapReduce 原理可视化 · 教学

🎯 词频统计 📚 自测
⚙️ 分步演示 词频统计 · 中英文均可
✅ 分词库已就绪 (本地 segmentit.js)

点击下方按钮快速填充示例文本,或自行输入。点击「分步执行」观察 MapReduce 完整流程。

① 分片→ ② RR→ ③ Map→ ④ Map端Shuffle→ ⑤ Reduce端Shuffle→ ⑥ Reduce
📏 每分片段数
步骤 0 / 6
📖 MapReduce 工作流程 核心七步详解
文件InputFormat
→
Split
Split
Split
→
RR
RR
RR
→
Map
Map
Map
→
Shuffle
Shuffle
→
Reduce
Reduce
→
文件OutputFormat
数据从左至右流转
① InputFormat

数据入口

目的:定义如何读取输入数据,将其切分为逻辑分片(Split)。
输入:原始文件(HDFS 或本地文件系统)。
输出:多个 Split(每个 Split 包含一部分数据)。
作用:决定数据如何切分与读取(如 TextInputFormat 按行读取,KeyValueInputFormat 按分隔符等)。
关键点:InputFormat 是 MapReduce 的数据入口,它决定了并行度基础(分片数量)。

HDFS分片并行度
② Split(分片)

并行计算基础

目的:将输入数据切分成多个逻辑分片,每个分片独立处理。
输入:InputFormat 切分后的数据块。
输出:多个 Split,每个 Split 对应一个 Map 任务。
作用:决定并行度,分片越多并行度越高,但调度开销也越大。通常与 HDFS Block 对齐以实现数据本地性。
关键点:分片是物理块上的逻辑划分,一个 Split 可以跨多个 Block,但生产环境中一般对齐。

并行度数据本地性Block
③ Record Reader(RR)

适配为键值对

目的:将原始数据适配为 Map 函数能处理的 <k1, v1> 格式。
输入:Split 数据。
输出:<k1, v1>(在文本场景中,k1 为字节偏移量,v1 为行文本)。
作用:连接存储层与计算层,将不同格式的数据(文本、二进制、序列化等)统一转换为键值对,Map 函数通常只使用 v1(值部分)。
关键点:RR 是 Map 函数的直接输入,决定了数据如何被“切碎”成记录。

键值对格式适配偏移量
④ Map

映射转换

目的:对每个 <k1, v1> 执行用户定义的映射逻辑,将输入数据转换成中间结果 <k2, v2>。
输入:<k1, v1>(来自 RR)。
输出:<k2, v2>(中间结果,由用户逻辑决定)。
作用:提取、过滤、转换数据。在词频统计中,Map 将每一行拆分为多个 <单词, 1>。
关键点:Map 的输出会写入本地磁盘,等待 Shuffle 拉取。每个 Map 任务独立处理自己的分片。

用户逻辑中间结果本地磁盘
⑤ Shuffle

核心枢纽(Map端 + Reduce端)

目的:将 Map 的输出按照 key 进行分区、排序、合并(Combiner),并传输到对应的 Reduce 任务。
输入:所有 Map 任务输出的 <k2, v2>。
Map 端过程:写入缓存 → 溢写(分区+排序+合并) → 多次溢写 → 归并(合并溢写文件) → 生成最终有序文件。
Reduce 端过程:从各 Map 拉取属于本分区的数据 → 归并排序 → 分组(相同 key 的 value 聚合成列表)。
输出:<k2, [v2,...]>(分组后的数据,每个 key 对应一个 value 列表)。
作用:Shuffle 是网络 IO 密集型阶段,是性能优化的关键。Combiner 可减少传输量,但不可改变最终结果。
关键点:Map 端 Shuffle 在 Map 节点本地完成,Reduce 端 Shuffle 涉及跨节点数据传输。

缓存溢写归并分区排序Combiner
⑥ Reduce

聚合输出

目的:对每个 key 的 value 列表执行用户定义的聚合逻辑,输出最终结果。
输入:<k2, [v2,...]>(来自 Shuffle 分组)。
输出:<k2, 结果>(最终输出)。
作用:负责数据的最终聚合,如求和、求最大值、连接等。
关键点:Reduce 的输出会通过 OutputFormat 写入文件系统。

聚合最终输出
⑦ OutputFormat

数据出口

目的:定义输出数据的格式,将 Reduce 结果写入文件系统。
输入:Reduce 输出的 <k2, 结果>。
输出:最终文件(如文本文件、序列文件等)。
作用:决定结果以什么格式存储(如 TextOutputFormat 每行输出 key 和 value)。
关键点:OutputFormat 是 MapReduce 的数据出口,决定了最终文件的格式和存储位置。

输出格式持久化HDFS

💡 完整数据流: 文件 → 分片 → RR → Map → Shuffle(Map端缓存/溢写/归并 + Reduce端拉取/归并/分组) → Reduce → 文件。
每一步都是数据转换的关键环节,共同构成了 MapReduce 分布式计算的基础框架。其中 Shuffle 是网络和磁盘 IO 最密集的阶段,理解其对性能优化至关重要。

📝 自测题库