深度学习中的自编码器的表达能力研究
深度学习框架和非监督学习方法近年来越来越流行,吸引了很多机器学习和人工智能领域研究者们的兴趣.最近的研究结果也证明了深度学习方法确实能够取得非常好的结果,无论是在图像、语音或是自然语言处理领域.虽然深度学习方法取得了很好的结果,被广泛应用,但实际上它有点像是一个“黑箱子”,没有非常充分并且严格的理论体系来支撑,我们不知道为什么它可以取得这样好的结果.在深度学习方向,人们往往是通过采用越来越深的模型和越来越复杂的非监督学习算法,来取得进步.本文从深度学习中的“构造模块”入手,主要研究自编码器的表达能力,重点为自编码器在数据降维方面的能力以及自编码器表达能力的稳定性.第一,自编码器和限制玻尔兹曼机是深度学习方法中的两种“构造模块”,它们都可以用作表达转换的途径,也可以看作相对较新的非线性的降维方法.本文试图更好地理解单层自编码器和单层限制玻尔兹曼机,我们期望能够从深度学习的基础方法入手,来更好地理解深度学习.由于这两种方法大体思路是一致的,主要在训练过程不同,在实验部分,我们着重在自编码器的部分.第二,本文重点探究了对于视觉特征的理解,自编码器是否是一个好的表达转换途径.我们评估了单层自编码器的表达能力,与传统方法主成分分析法进行比较.基于原始像素和基于局部描述子的实验验证了自编码器的降维作用,自编码器表达能力的稳定性,和提出的基于自编码器的转换策略的有效性.最后,我们讨论了下一步的研究方向.
深度学习 自编码器 表达能力 数据降维
王雅思 姚鸿勋 孙晓帅 许鹏飞 赵思成
哈尔滨工业大学计算机科学与技术学院 哈尔滨 中国 150001
国内会议
北京
中文
1-8
2014-09-13（万方平台首次上网日期，不代表论文的发表时间）