面向高性能计算机的海量数据处理平台实现与评测
高性能计算机主要应用于传统的科学计算领域，而在云计算时代，数据密集型应用成为一大类新型应用，已经变得越来越重要。主要探索如何在高性能计算机上高效地进行海量数据处理，使高性能计算机在进行科学计算的同时，能够非常好地支持数据密集型应用，拓展高性能计算机的应用领域。分析了高性能计算机上MapReduce模型实现和部署的可行性之后，在高性能计算环境中进行了实验。实验结果表明，存储系统的并行I/0能力不能充分发挥，是造成系统无法高效运行的主要瓶颈。而导致这个性能瓶颈的原因，是高并发带来的对集群文件系统资源的竞争和冲突。最后，提出了几种解决集群文件系统资源冲突的方案，这是今后的研究方向。
高性能计算机 海量数据 数据处理 数据密集型 MapReduce模型
黄稣 易晓东 李姗姗 廖湘科
国防科学技术大学计算机学院长沙 410073
国内会议
济南
中文
357-361
2011-11-18（万方平台首次上网日期，不代表论文的发表时间）