面向数据密集型计算Hadoop 及其应用研究

摘要：

当前的数据密集型计算需要处理PB级数据集和GB级数据流，面临着大规模数据管理、复杂计算环境管理、可扩展计算平台等方面的难题。Hadoop是一种易扩展的分布式计算架构，能将廉价PC节点联合起来提供大型计算服务—其HDFS提供大规模存储管理，其Map-Reduce并行框架为用户提供容易使用的并行编程模式。本文研究了Hadoop架构并探讨了在数据密集型计算中的应用。

关键词： 高性能计算 分布式计算 数据管理 数据存贮

作者: 孙兆玉 袁志平 黄宇光

作者单位: 江南计算技术研究所 无锡 214083

会议类型: 国内会议

会议名称: 2008年全国高性能计算机学术年会

会议地点: 无锡

会议语种:中文

页码: 486

在线出版日期: 2008-10-30（万方平台首次上网日期，不代表论文的发表时间）