基于指纹前缀分派数据块的并行重复删除
在大数据时代,现代企业需要存储的数据越来越多,然而研究表明,各种应用系统中存储的电子数据存在平均约60％的重复数据,并且随着时间的推移不断增长.重复数据删除技术应运而生,并且已经在业界得到了较好的应用.然而在实现数据块级别的重复数据删除过程中,索引的查找匹配是影响整体存储系统性能的瓶颈问题.基于此,提出了一种并行的重复数据删除系统模型,采用流水线的方式来部署整个重复数据删除系统,根据指纹前缀区分不同的数据块,将数据块部署到相应的存储节点,提高了系统的可扩展性,实验表明系统的吞吐率得到了提高.
重复数据 删除技术 数据块级别 指纹前缀
范启鸿 王永利
南京理工大学计算机科学与工程学院,南京,210094
国内会议
2015中国计算机应用大会暨2015年大数据与物联网在工业中的应用会议
广东茂名
中文
1-5
2015-09-25（万方平台首次上网日期，不代表论文的发表时间）