Hadoop平台数据访问监控机制研究

摘要：

　　本文针对Hadoop平台数据本地化处理的新特征，探索Haoop平台中Map任务数据访问监控机制。提出Hadoop平台数据访问监控机制不仅应服务于数据请求响应时间或吞吐率等传统数据访问效率优化目标，还应服务于保障并行执行的多Map任务数据访问开销均衡度。针对新的服务目标，本文提出包含物理数据块层、逻辑文件块层和文件层的层次化数据访问监控信息视图模型：依托Hadoop平台现有结构，设计了基于master-slave的监控体系结构：给出了监控主要功能模块的具体实现技术。

关键词： 开源数据处理平台 数据访问 监控体系 功能模块

作者: WANG Yu-Feng 王玉凤 LIANG Yi 梁毅 LI Guang-Rui 李光瑞

作者单位: College of Computer Science, Beijing University of Technology, Beijing 100124, China 北京工业大学 计算机学院,北京 100124

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-4

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）