MapReduce本地优先作业调度策略研究与实现

摘要：

　　现在MapReduce并行计算模型在不同场景下得到了广泛使用。由于网络IO传输速度通常远小于磁盘读取速度,所以Map任务的本地执行可以提高系统的吞吐率,减少作业执行时间。但是在多作业情况下,由于作业数据分布的随机性,Map任务的本地执行可能会产生负载不均衡的问题。本文提出了一种基于本地优先的作业调度策略,实现Map任务的完全本地化的同时通过优化作业调度,最大限度地实现了节点间的负载均衡。

关键词： 并行计算模型 作业调度 负载均衡 仿真实验

作者: HUA Zhong-Jie 华中杰 XU Xi-Shan 徐锡山 YANG Shu-Qiang 杨树强 TIAN Sheng-Li 田胜利

作者单位: School of Computer, National University of Defense Technology, Changsha 410073, China 国防科学技术大学 计算机学院,湖南 长沙 410073

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-7

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）