会议专题

基于Hadoop的封闭直方图立方

  封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.

封闭数据立方 直方图数据立方 Hadoop MapReduce

冷芳玲 鲍玉斌 于戈 李炳梁

东北大学信息科学与工程学院,沈阳110819

国内会议

2012中国计算机大会

大连

中文

2127-2132

2012-10-01(万方平台首次上网日期,不代表论文的发表时间)