Hadoop集群在高性能计算平台上的构建及部署方法

摘要：

　　本文以大连理工大学高性能计算平台为基础，研究在高性能计算平台上构建Hadoop集群及其部署的方法。在Hadoop集群构建方面，本文对SAGA-Hadoop工具进行二次开发，使其满足与高性能计算平台的作业调度系统、计费系统以及多用户使用模式兼容的要求。在部署方面，本文采用Ansible作为工具，在高性能计算平台不能访问外网的情况下，高效地在本地控制节点上实现在远程高性能计算平台节点上进行Hadoop集群部署。

关键词： 高性能计算平台 Hadoop SAGA-Hadoop Ansible

作者: 宋超 于广辉 郑维

作者单位: 大连理工大学网络与信息化中心,大连市116023

会议类型: 国内会议

会议名称: 中国高等教育学会教育信息化分会第十三次学术年会

会议地点: 成都

会议语种:中文

页码: 281-284

在线出版日期: 2018-10-01（万方平台首次上网日期，不代表论文的发表时间）