一种跨HDFS集群的文件资源调度机制

摘要：

集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.文章针对HDFS集群部署主要局限于同一数据中心内部的问题,提出一种跨集群的文件资源调度机制,支持多个HDFS集群动态组网,实现集群的协同工作;同时通过引入文件资源池,屏蔽了不同集群之间的差异性,能够面向客户端应用提供透明服务.实践证明,跨HDFS集群的文件资源调度机制不但解决了HDFS集群异地灾备以及跨数据中心高可用的问题,还解决了集群之间的动态负载均衡,文件跨数据中心的分布以及PB级文件跨数据中心迁移等关键难题,实现了就近存储服务,支持客户端应用程序将文件存储在邻近数据中心,提高了客户端应用程序文件存储的效率.

关键词： 计算机网络 集群文件系统 文件资源 调度机制 数据传输

作者: 胡博 陈桓 张良杰 罗利辉 牟建伟 龙斯哲

作者单位: 金蝶软件(中国)有限公司大数据云平台部,深圳中国518057;金蝶软件(中国)有限公司国家企业互联网服务支撑软件工程技术研究中心,深圳中国518057 金蝶软件(中国)有限公司金蝶研究院,深圳中国518057;金蝶软件(中国)有限公司国家企业互联网服务支撑软件工程技术研究中心,深圳中国518057 金蝶软件(中国)有限公司大数据云平台部,深圳中国518057

会议类型: 国内会议

会议名称: 第六届中国计算机学会服务计算学术会议

会议地点: 咸宁

会议语种:中文

页码: 122-133

在线出版日期: 2015-11-07（万方平台首次上网日期，不代表论文的发表时间）