点击下方按钮快速填充示例文本,或自行输入。点击「分步执行」观察 MapReduce 完整流程。
数据入口
目的:定义如何读取输入数据,将其切分为逻辑分片(Split)。
输入:原始文件(HDFS 或本地文件系统)。
输出:多个 Split(每个 Split 包含一部分数据)。
作用:决定数据如何切分与读取(如 TextInputFormat 按行读取,KeyValueInputFormat 按分隔符等)。
关键点:InputFormat 是 MapReduce 的数据入口,它决定了并行度基础(分片数量)。
并行计算基础
目的:将输入数据切分成多个逻辑分片,每个分片独立处理。
输入:InputFormat 切分后的数据块。
输出:多个 Split,每个 Split 对应一个 Map 任务。
作用:决定并行度,分片越多并行度越高,但调度开销也越大。通常与 HDFS Block 对齐以实现数据本地性。
关键点:分片是物理块上的逻辑划分,一个 Split 可以跨多个 Block,但生产环境中一般对齐。
适配为键值对
目的:将原始数据适配为 Map 函数能处理的 <k1, v1> 格式。
输入:Split 数据。
输出:<k1, v1>(在文本场景中,k1 为字节偏移量,v1 为行文本)。
作用:连接存储层与计算层,将不同格式的数据(文本、二进制、序列化等)统一转换为键值对,Map 函数通常只使用 v1(值部分)。
关键点:RR 是 Map 函数的直接输入,决定了数据如何被“切碎”成记录。
映射转换
目的:对每个 <k1, v1> 执行用户定义的映射逻辑,将输入数据转换成中间结果 <k2, v2>。
输入:<k1, v1>(来自 RR)。
输出:<k2, v2>(中间结果,由用户逻辑决定)。
作用:提取、过滤、转换数据。在词频统计中,Map 将每一行拆分为多个 <单词, 1>。
关键点:Map 的输出会写入本地磁盘,等待 Shuffle 拉取。每个 Map 任务独立处理自己的分片。
核心枢纽(Map端 + Reduce端)
目的:将 Map 的输出按照 key 进行分区、排序、合并(Combiner),并传输到对应的 Reduce 任务。
输入:所有 Map 任务输出的 <k2, v2>。
Map 端过程:写入缓存 → 溢写(分区+排序+合并) → 多次溢写 → 归并(合并溢写文件) → 生成最终有序文件。
Reduce 端过程:从各 Map 拉取属于本分区的数据 → 归并排序 → 分组(相同 key 的 value 聚合成列表)。
输出:<k2, [v2,...]>(分组后的数据,每个 key 对应一个 value 列表)。
作用:Shuffle 是网络 IO 密集型阶段,是性能优化的关键。Combiner 可减少传输量,但不可改变最终结果。
关键点:Map 端 Shuffle 在 Map 节点本地完成,Reduce 端 Shuffle 涉及跨节点数据传输。
聚合输出
目的:对每个 key 的 value 列表执行用户定义的聚合逻辑,输出最终结果。
输入:<k2, [v2,...]>(来自 Shuffle 分组)。
输出:<k2, 结果>(最终输出)。
作用:负责数据的最终聚合,如求和、求最大值、连接等。
关键点:Reduce 的输出会通过 OutputFormat 写入文件系统。
数据出口
目的:定义输出数据的格式,将 Reduce 结果写入文件系统。
输入:Reduce 输出的 <k2, 结果>。
输出:最终文件(如文本文件、序列文件等)。
作用:决定结果以什么格式存储(如 TextOutputFormat 每行输出 key 和 value)。
关键点:OutputFormat 是 MapReduce 的数据出口,决定了最终文件的格式和存储位置。
💡 完整数据流: 文件 → 分片 → RR → Map → Shuffle(Map端缓存/溢写/归并 + Reduce端拉取/归并/分组) → Reduce → 文件。
每一步都是数据转换的关键环节,共同构成了 MapReduce 分布式计算的基础框架。其中 Shuffle 是网络和磁盘 IO 最密集的阶段,理解其对性能优化至关重要。