会议专题

基于云存储的重复数据删除架构的研究与设计

  随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力。另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中。这两种技术结合将会给IT存储业带来实际效益。本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级重复数据删除操作后再将数据存入云中的方案。在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中。

云存储 重复数据删除技术 系统设计 性能优化

宋雨 易璐 王凤霞

华北电力大学(保定)控制与计算机工程学院,河北保定071003

国内会议

第18届全国信息存储技术学术会议

无锡

中文

274-278

2012-07-12(万方平台首次上网日期,不代表论文的发表时间)