Map-ReduceTree:一种改进的MapReduce编程模型实现

摘要：

　　MapReduce的执行过程分为map 阶段和reduce 阶段,在两个阶段之间还隐含一个中间数据处理阶段,如果map 输出的中 间数据较大,中间数据处理阶段和reduce 阶段都会遭遇严重的性能问题,限制了MapReduce 计算的可扩展性。本文提出了一种MapReduce的改进实现——Map-ReduceTree,使用“归约树”替代了MapReduce 编程模型中“扁平”的数据归约方式,解决 原模型在规约较大中间数据时出现的性能问题,该编程模型没有改变MapReduce的语义,而且还保留了MapReduce的易编程、自动并行、自动容错等优点。介绍了一种基于Map-ReduceTree的Kirchhoff 叠前时间偏移并行算法,实验表明,Map-ReduceTree 规约较大中间数据时具备很好的性能。

关键词： MapReduce 规约树 中间数据 性能瓶颈 Kirchhoff 叠前时间偏移

作者: 赵长海 晏海华 史晓华 王雷

作者单位: 北京航空航天大学计算机学院,北京 100191

会议类型: 国内会议

会议名称: 2010年全国高性能计算学术年会(HPC china2010)

会议地点: 北京

会议语种:中文

页码: 522-532

在线出版日期: 2010-10-27（万方平台首次上网日期，不代表论文的发表时间）