基于数据通道的非结构化数据多存储系统
面对大数据大容量、高速率和多样性的特点,传统关系型数据库不再能满足处理海量非结构化数据的需求,越来越多的数据中心开始使用以NoSQL数据库为主,多个数据存储组件相互协同的多存储系统.为了发挥多存储系统中各个存储组件的功能,数据需要在多个存储组件之间进行同步,以ETL和客户端多路写为代表的传统数据同步方式不能满足以NoSQL为存储核心的多存储系统.本文提出的非结构化数据多存储系统以HBase为主数据库,使用Coprocessor索引信息记录和WAL日志文件解析两种方式捕获HBase中的数据变更,并将以此方法实现的变更捕获组件接入DataBus实现数据通道,构建以数据库变更为同步手段的非结构化数据多存储系统.实验结果表明,该系统具有较高的数据变更捕获性能和良好的可扩展能力,为非结构化数据多存储架构提供了一种可行的解决方案.
多存储系统 非结构化数据 数据变更 捕获性能 可扩展能力
蒋静远 鲁伟明 王耀光 楼仁杰
浙江大学计算机科学与技术学院杭州310027
国内会议
北京
中文
1-10
2014-12-01（万方平台首次上网日期，不代表论文的发表时间）