CH-MMS:一种面向大数据存储系统的高效元数据集群管理方案
高效的去、中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起到了至关重要的作用。针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问题,提出一种基于一致性哈希结构的MDS(MetaData Server)集群化方案—CH-MMS.CH-MMS在一致性MDS集群上引入虚拟MDS,有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量。阐述了CH-MMS的体系结构,介绍了核心数据结构LayoutTable、虚拟MDS结构、延迟更新机制以及相关算法,并对CH-MMS扩展性、容错性作了定性分析。最后通过原型系统和模拟试验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求。
元数据管理 大数据存储 一致性哈希结构 分布式系统
肖中正 陈宁江 魏峻 张文博
广西大学计算机与电子信息学院 南宁 530004 中国科学院软件研究所软件工程技术中心 北京 100190
国内会议
天津
中文
1-14
2013-11-08（万方平台首次上网日期，不代表论文的发表时间）