基于Hadoop的高性能海量数据处理平台研究

摘要：

　　海量数据高性能计算蕴藏着巨大的应用价值，但是目前云计算体系只具有海量数据处理能力，不具有足够的高性能计算能力。本研究将具有超强并行计算能力的GPU与云计算进行融合，提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础，采用注释码的形式，对MapReduce函数中需要并行的部分进行标记。通过定制GPU类加载器将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中可高效处理海量数据。

关键词： 高性能计算 数据处理平台 协同计算

作者: ZHAI Yan-Long 翟岩龙 LUO Zhuang 罗壮 YAN Kai 杨凯 XU Sheng-Chen 徐晟晨

作者单位: School Of Computer Science,Beijing Institute Of Technology,Beijing 100081,China 北京理工大学计算机学院,北京100081 Beijing Simulation Center,Beijing 100081,China 北京仿真中心,北京100854

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-4

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）