基于HDFS的小文件管理研究与探索

摘要：

本文探讨了HDFS文件管理模式及其特点,对其小文件管理的缺陷作了分析.针对海量小文件的解决方法就是把众多小文件合并成为一个大文件存储在HDFS中,这样可以大量减少元数据,节省内存空间.要把小文件合并成大文件存储,就需要在HDFS上建立一层小文件管理架构.本文对这种方式进行了探索,发现使用小文件架构是一种用读写性能来换取NameNode内存空间，即时间换空间。在本设计中，使用了设计的架构明显可以减少NameNode的内存消耗。但是在读和写时，时间的消耗也变多，当处理海量小文件时，所消耗的时间就会变得很大。但是，通过设计中的小文件的Cache机制，对小文件的访问效率有了一定的提高。

关键词： 小文件管理 Hadoop分布式文件系统 设计理念 访问效率

作者: 冼鸿业 杨学君

作者单位: 宁波工程学院电信学院

会议类型: 国内会议

会议名称: 宁波市第八届学术大会

会议地点: 宁波

会议语种:中文

页码: 522-528

在线出版日期: 2014-11-01（万方平台首次上网日期，不代表论文的发表时间）