面向MapReduce的自适应延迟调度算法

摘要：

　　MapReduce已经成为主流的海量数据处理模式，调度作为其中的关键环节已受到业界的广泛关注。但是已有的调度算法难以达到公平性和数据本地性之间的平衡，在此本文提出了一种动态自适应的延迟调度算法，针对公平延迟调度算法静态设置延迟时间的不足，根据节点的释放速度动态调整作业的延迟等待时间，避免了节点释放速度快时，作业因静态延迟时间而进行的无效等待，从而减少了完成整个作业的响应时间。通过对基于Hadoop平台实现的原型系统的文本排序实验测试，实验结果表明，自适应的延迟调度算法相比已有的延迟调度算法在作业响应时间方面提升5％-8％。

关键词： 公平调度器 自适应 延迟调度 数据本地性

作者: 宁文瑜 吴庆波 谭郁松

作者单位: 国防科学技术大学 计算机学院 湖南长沙 中国 410073

会议类型: 国内会议

会议名称: 第十一届全国软件与应用学术会议(NASAC2012)

会议地点: 南京

会议语种:中文

页码: 1-7

在线出版日期: 2012-10-20（万方平台首次上网日期，不代表论文的发表时间）