一种周期性MapReduce作业的负载均衡策略

摘要：

　　MapReduce任务负载均衡主要是通过分区函数来实现的,Hadoop默认的分区函数并不能很好保证reducer的负载均衡。本文针对周期性的业务处理提出了一种基于权重计算的负载均衡策略,周期性任务的数据分布与历史数据相比具有相似性,本策略根据历史数据运行的信息运算出数据权重信息——文中用权重表示每条记录的处理复杂度,再通过Map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况,从而指导Reduce分区以保证其负载均衡。文章通过简单的例子仿真了整个策略的运作过程,并且对比了与TeraSort思路的不同点。最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能要提高了接近1倍。

关键词： 计算机网络 数据处理 负载均衡策略 周期性

作者: Fu Jie 傅杰 Du Zhihui 都志辉

作者单位: Department of Computer Science and Technology, Tsinghua University, Beijing 100084. China 清华大学计算机科学与技术系,北京 100084

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-4

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）