海量结构化数据存储检索系统
Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用。目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询。设计并实现分布式海量结构化数据存储检索系统(MDSS)。系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率。在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能。实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合。
海量数据 数据存储 检索系统 No-SQL数据库
吴广君 王树鹏 陈明 李超
中国科学院计算技术研究所北京 100190 北京邮电大学北京 100876 国家计算机网络应急技术处理协调中心北京 100029
国内会议
济南
中文
1-5
2011-11-18(万方平台首次上网日期,不代表论文的发表时间)