大数据处理 - Map & Reduce

arcstack2023年5月26日约 345 字大约 1 分钟

大数据处理 - Map & Reduce

MapReduce是一种计算模型, 本质上是分治/hash_map/归并排序这种方式在分布式下的延伸。@pdai

Map & Reduce简介

MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。这样做的好处是可以在任务被分解后,可以通过大量机器进行并行计算,减少整个操作的时间。但如果你要我再通俗点介绍,那么,说白了,Mapreduce的原理就是一个归并排序。

相关题目

参考文章