MapReduce本地优先作业调度策略研究与实现

摘要：

　　现在MapReduce并行计算模型在不同场景下得到了广泛使用。由于网络I/O传输速度通常远小于磁盘读取速度,所以Map任务的本地执行可以提高系统的吞吐率,减少作业执行时间。但是在多作业情况下,由于作业数据分布的随机性,Map任务的本地执行可能会产生负载不均衡的问题。本文提出了一种基于本地优先的作业调度策略,实现Map任务的完全本地化的同时通过优化作业调度,最大限度地实现了节点间的负载均衡。

关键词： MapReduce并行计算模型 作业调度 本地优先 负载均衡

作者: HUA Zhong-jie 华中杰 XU Xi-shan 徐锡山 YANG Shu-qiang 杨树强 TIAN Sheng-li 田胜利

作者单位: National Defense University of Science and Technology,Changsha 410073,China 国防科学技术大学,长沙 410073

会议类型: 国内会议

会议名称: 第九届中国通信学会学术年会

会议地点: 北京

会议语种:中文

页码: 264-268

在线出版日期: 2012-08-17（万方平台首次上网日期，不代表论文的发表时间）