并行文件系统的研究与应用
本文通过利用开源软件,使用廉价的直联存储实现了存储文件系统的并行化,既节约了设备成本,又提高了I/O的存储性能,为大规模资料处理中心的存储使用提供了一种新的使用方法.通过对Gluster并行文件系统的研究与优化以及实际应用,基本上达到了目前国内同行业存储应有的性能,希望能够给大家在存储方面的应用提供一些借鉴.集群存储一般分为直联存储( DAS)、网络存储(NAS)和存储区域网络(SAN)存储3类。GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。GlusterFS文件系统也是一种C/S（客户端／服务器）结构。因此，其安装同样需要分服务器和客户端两方面。目前，GeoEast应用主要是Infortrend直联存储（使用NFS方式）和云存存储(NAS+并行)，所以主要把GlusterFS（主要也是使用Infortrend直联盘作存储池）与上述两种存储性能进行比较。GlusterFS并行文件系统底层还是依赖于目前的直联存储系统。因此，提高直联存储的性能，也就可以相对提高GlusterFS的性能，基于该特点，GlusterFS并行文件系统调优策略可以从底层文件系统、操作系统内核、机头组合、配置文件的优化4点考虑。通过对GlusterFS并行文件系统的研究，利用廉价的直联存储实现了存储的并行化，并在实际生产中得以应用与实践。一方面提高了直联存储的性能，基本上达到国内同行业存储的性能，探索出了直联存储并行化的应用模式；另一方面也可以节省大量的购买品牌并行存储的设备成本。当然，对于GulsterFS并行文件系统的研究还有待于进一步深入探讨，比如，安全性的问题和使用过程可能出现的各种问题等，都需要我们在今后的应用过程不断完善和改进，使得GlusterFS并行文件系统能够广泛地应用于资料处理过程。
并行文件系统 软件安装 软件测试 存储性能
陈兵 贺跃军 张武斌
中国石油集团东方地球物理勘探有限责任公司研究院
国内会议
中国计算机用户协会并行处理分会2013-2014年度石油行业计算机新技术交流会
长沙
中文
133-139
2014-09-01（万方平台首次上网日期，不代表论文的发表时间）