基于YARN集群的计算加速部件扩展支持

摘要：

以GPU和Intel MIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用,其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架,其对计算资源的分配调度主要针对CPU,缺少对计算加速部件的支持.针对这一问题,本文基于YARN架构提出并实现了对计算加速部件的支持,通过添加动态节点捆绑,以及流水线式的计算加速部件任务调度等策略,实现了YARN分布式处理系统对于计算加速部件的支持.

关键词： 计算加速部件 动态节点捆绑 分布式处理系统 软件框架集群

作者: 李钦 朱延超 刘轶 钱德沛

作者单位: 北京航空航天大学 计算机学院,北京 100191;网络技术北京市重点实验室,北京 100191

会议类型: 国内会议

会议名称: 2014全国高性能计算学术年会

会议地点: 广州

会议语种:中文

页码: 504-511

在线出版日期: 2014-11-06（万方平台首次上网日期，不代表论文的发表时间）