一种海量多维文件集合的存储模型
多维文件集合是指某些维度具有偏序关系的数据文件集合,这种数据在以气象数据为代表的应用中广泛存在,然而却缺少有效的存储模型,无法满足在大规模数据文件上的实时读取和快速按维遍历操作.针对数据文件多维和有序的特点,提出一种支持海量数据文件的多维数据空间存储模型,并定义了在这种模型上的数据分区方法和数据读取、按维遍历等基本操作.同时,设计了这种存储模型在分布式Key Value存储系统Cassandra上的实现方法.实验证明,基于Cassandra实现的多维数据文件集合存储模型能有效满足大规模存储和应用需求,在功能和性能上优于分布式文件系统HDFS和网络文件系统.
分布式文件系统 多维数据 存储模型
黄向东 王建民 葛斯函 翁健夫
清华大学软件学院 北京 100084
国内会议
太原
中文
48-56
2014-09-19（万方平台首次上网日期，不代表论文的发表时间）