混合MapReduce环境下大数据划分的查询优化

摘要：

　　在MapReduce与数据库的混合架构中，数据划分是影响查询性能的重要因素。对于开销最大的连接和聚集操作，采用混合MapReduce的方式实现，需要大规模数据的跨结点传输，网络传输和I/O开销巨大。为了减少传输的数据量，并提高连接操作的查询效率，提出了划分建议器模型。实现了MapReduce和数据库混合架构上的划分建议器，并计算划分代价，生成最优的数据划分方案，提高了系统效率。为了减少查询时间，依据划分建议器模型，提出了基于代价优先的生成策略和空间搜索算法，减少了划分建议器生成最优方案的时间。通过实验验证了划分建议器的有效性，使系统的整体查询代价最小，显著提高了系统性能。

关键词： 数据库技术 系统架构 查询性能 划分建议器 优化算法

作者: LI Fu 李伏 ZHU Qing 朱青

作者单位: Department of Computer Science, School of Information, Renmin University of China, Beijing 100872, C 中国人民大学信息学院计算机系,北京100872

会议类型: 国内会议

会议名称: 第29届中国数据库学术会议

会议地点: 合肥

会议语种:中文

页码: 877-887

在线出版日期: 2012-10-01（万方平台首次上网日期，不代表论文的发表时间）