基于拓扑感知的MPI Alltoall通信优化
Alltoall通信是对网络性能要求最高、扩展性最差的MPI集合操作之一,同时又作为核心通信模式广泛应用于诸多计算领域.而随着高性能计算机系统规模的急剧增大,能够降低成本并提高利用率的过载网络(oversubscribed network)设计成为大规模计算系统网络设计的趋势.过载网络给Alltoall通信带来更严峻的挑战,网络的过载特性不仅会导致链路的竞争,还易引发消息顺序错乱从而严重降低通信性能.为此,本文提出一种针对过载网络的拓扑感知Alltoall优化方法.该方法以针对小规模系统的优化算法为基础算法,使用层次化通信结合粗粒度同步缓解大规模环境下由消息序错乱引起的通信低效问题,并使用“分批-节流(batch-throttling)”思想解决高网络过载率带来的过度竞争问题.在SMP集群和神威蓝光系统的上的测试结果表明,本文优化方法可以显著提升Alltoall通信性能.
集合通信 过载网络 优化设计 拓扑感知
王涛 何王全 漆锋滨
江南计算技术研究所,江苏 无锡 214083 国家并行计算机工程技术研究中心,北京 100080
国内会议
广州
中文
638-649
2014-11-06（万方平台首次上网日期，不代表论文的发表时间）