Map-Reduce-Combine:集群上一种面向空间连接聚集的并行计算模型

摘要：

　　单机运行环境难以满足海量空间数据的连接聚集操作对时空开销的需求，集群上的并行计算是高效处理海量空间数据的连接聚集操作的关键。Map-Reduce是云计算中—种应用于大规模集群进行大规模数据处理的分布式并行编程模型，作者分析发现Map-Reduce并不直接支持以既高效又自然的方式来处理具有二次归约特征的并行空间连接聚集操作.因此，提出了—种新的并行计算模型—Map-Reduce-Combine(MRC)来有效地处理大规模空间数据的连接聚集操作.MRC在Map-Reduce模型上增加一个Combine阶段，有效地合并分散在各个Reducer的部分聚集结果针对并行任务划分中空间对象的单分配问题，提出了过滤优化算法，更进—步提高了MRC下处理空间连接聚集查询的效率。实验验证本文提出的并行计算模型在处理空间连接聚集查询时具有良好的效率、有效性、可扩展性和简单性.

关键词： 云计算 空间数据 链接聚集 并行计算模型

作者: Liu Yi 刘义 Jing Ning 景宁 Chen Luo 陈荦 Wei Xiong 熊伟

作者单位: College of Electronic Science and Engineering National University of Defense Technology, Changsha 41 国防科技大学电子科学与工程学院 长沙 410073

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-11

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）