一种面向数据偏移的云计算系统运行时负载均衡机制
在科学计算和数据分析中，存在着许多重要的迭代式应用，这类应用的输入数据和中间数据常存在一定的数据偏移现象，在类MapReduce系统上运行时，往往会因负载不均衡而产生Straggler，即执行时间显著地长于其它同类节点的节点（Map节点或Reduce节点）。例如，在PageRank”6”应用中，是以Web站点名作为Key的，如果某个站点的超链接数远远大于其它站点，那么对这个站点进行计算的节点的计算量也会远远高于其它节点，因而其执行时间也会远高于其它同类节点。鉴于Hadoop”4”和HaLoop”5”都无法较好地解决上述问题，本文以该问题为出发点，以HaLoop作为原型系统展开研究。
数据偏移 云计算系统 负载均衡机制 原型系统
陈易欣 李东升 蔡璐
国防科技大学 计算机学院并行与分布处理国家重点实验室,湖南 长沙 410073 长安大学 经济管理系,陕西 西安 710064
国内会议
2011年全国高性能计算学术年会(HPC china2011)
济南
中文
1-3
2011-10-26（万方平台首次上网日期，不代表论文的发表时间）