会议专题

高强度I/O的应用对并行存储系统的挑战和解决方法研究

  具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高。以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征。在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素。针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求。通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率。

并行存储系统 性能分析 密集特性 磁盘阵列

董文睿 刘光明 刘欣

国防科学技术大学计算机学院 长沙 410073

国内会议

2011年第17届全国信息存储技术大会(IST 2011)

济南

中文

47-52

2011-11-18(万方平台首次上网日期,不代表论文的发表时间)