地震资料海量数据的分布式并行存储研究
本文讨论了开源代码的分布式并行存储在地震资料海量数据的应用,论述了300km2和1000km2两个”两宽一高”数据体所对应的存储模式.小型分布式并行存储系统磁盘阵列、存储服务器和高性能交换机构成了并行存储硬件的基本组成部分,其中,磁盘阵列是数据存储的基础,使用FC接口的磁盘阵列;存储服务器就是普通的服务器,安装HBA卡连接磁盘阵列,并安装并行软件,把磁盘阵列的数据通过网络分发出去;高性能交换机提供网络通道,连接集群的每个节点和存储服务器,可以使用集群自带的交换机。开源并行软件分为带元数据服务器和不带元数据服务器。元数据服务器很重要,一般使用主备机两台服务器模式。Gluster文件系统不使用元数据服务器,在磁盘阵列服务器上安装软件,并把几个服务器所连接的磁盘阵列配置成一个文件系统。集群节点上安装客户端软件,就可以使用了。4根万兆光纤连接到集群核心交换机上,实际测试速度可以达到2GB/s以上,足以满足地震资料处理的要求。共需要4套服务器和磁盘阵列,其中一套配置成热备。通过使用开源并行文件系统,可以自己规划和安装分布式并行存储,在满足地震资料要求的同时,购置费用也降低一半。
地震资料 数据处理 开源代码 分布式并行存储 硬件配置
贺跃军 陈兵
中国石油集团东方地球物理勘探有限责任公司研究院
国内会议
中国计算机用户协会并行处理分会2013-2014年度石油行业计算机新技术交流会
长沙
中文
143-145
2014-09-01(万方平台首次上网日期,不代表论文的发表时间)