针对HBase的MapReduce访问接口的优化

摘要：

　　现有的HBase提供的MapReduce访问接口存在数据读取速度较慢的问题。针对此问题本文提出了一种改进方法，该方法不以原来的逻辑存储单元Region作为任务分配的基本单位，而是以HBase的物理存储单元Block作为任务分配的基本单位，并通过适当的调度策略，使得Map计算能够在数据所在节点执行。实验结果表明：该方法克服了原有接口无法保证数据本地性的问题，减少了网络开销，提高了访问速率。

关键词： 分布式数据库 MapReduce访问接口 性能优化 改进方法

作者: TIAN Sheng-li 田胜利 XU Xi-shan 徐锡山 YANG Shu-qiang 杨树强 HUA Zhong-jie 华中杰

作者单位: School of Computer,National University of Defense Technology,Changsha 410073,China 国防科学技术大学计算机学院,长沙410073

会议类型: 国内会议

会议名称: 第九届中国通信学会学术年会

会议地点: 北京

会议语种:中文

页码: 314-320

在线出版日期: 2012-08-17（万方平台首次上网日期，不代表论文的发表时间）