可扩展Hadoop任务分配模块的研究与实现
MapReduce是一种应用广泛的并行编程模型,Hadoop是MapReduce的开源实现。为了满足不同类型的MapReduce作业对任务分配策略的特殊需求,在深入分析Hadoop固有任务分配机制的基础上,设计并实现了一种可扩展的任务分配模块,用户可以根据作业的特性实现并加载自定义的任务分配器。在可扩展的任务分配模块的基础上实现了两个典型的任务分配器,实验结果表明使用可扩展任务分配模块并加载适用于特定作业的任务分配器能够显著地缩短作业的执行时间,提高Hadoop的处理性能。
计算机系统 任务分配模块 优化设计 数据管理
Zhao Baoxue 赵保学 Li Zhanhuai 李战怀 Chen Qun 陈群 Jiang Tao 姜涛 Pan Wei 潘巍 Jin Jian 金健
School of Computer Science, Northwestern Polytechnical University, Xi”an 710002 西北工业大学计算机学院 西安 710072
国内会议
合肥
中文
120-126
2012-10-01（万方平台首次上网日期，不代表论文的发表时间）