支持多集群数据并行的On-demand文件传输算法

摘要：

　　数据密集型应用通常需要在广域网分布式共享计算环境中高效地传输海量数据。并行处理中，大量的数据需要在生成集群、存储集群、处理集群间进行传输。本文针对该传输问题提出了一个支持多集群数据并行传输的按需文件传输算法(On-demand File Transfer)，该算法以批量传输请求的整体完成时间最小为目的。算法根据集群内部快速传输的特点，实现目的端并行，分散单个节点的传输负载；在传输路径上，采用多重路径和多跳路径分割方法实现并行传输。对于批量传输请求，依据每个请求的传输负载，全局按需分配带宽，解决传输路径的带宽冲突，从而充分利用当前网络带宽，快速传输批量传输请求。

关键词： 文件传输程序 多集群数据 并行处理 网络模型

作者: WEI Xiaohui 魏晓辉 ZHOU Qinqin 周芹芹 LI Hongliang 李洪亮

作者单位: College of Computer Science and Technology,Jilin University,Changchun 130012,China 吉林大学 计算机科学与技术学院,长春 130012

会议类型: 国内会议

会议名称: 2012全国高性能计算学术年会

会议地点: 张家界

会议语种:中文

页码: 1-10

在线出版日期: 2012-10-29（万方平台首次上网日期，不代表论文的发表时间）