改进反向传播算法及其应用
反向传播算法(BP,Back-Propagation)算法是训练多层感知器最有效的方法之一,其主要思想是从后向前(反向)逐层传播输出层的误差,以间接计算出隐层误差.算法分为两个阶段:第一阶段(正向过程)输入信息从输入层经隐层逐层计算各单元的输出值;第二阶段(反向传播过程)内输出误差逐层向前计算出隐层各单元的误差,并用次误差修正前层权值.传统BP算法虽然解决了隐层权值修正问题,但收敛速度较慢.自适应变学习率及惯性项系数算法”2”(BPALM,Back-Propagation with Adaptive Learning rate and Momentum term)可以有效提高收敛速度,其基本思想是以连续两次观测的训练误差值为标准,若误差下降则增大学习率,加速收敛;若误差反弹则减小学习率,抑制振荡.本文在BPALM算法基础上,针对训练样本非均匀分布问题,提出了应根据训练样本权重选择不同学习率的方法,可以有效提高BP算法的收敛速度、泛化能力及稳定性. 本文第二节介绍了BPALM改进算法;第三节对该改进算法进行了测试;最后,在第四节中得出结论.
反向传播算法 收敛速度 泛化能力
刘壮明 鲍明 管鲁阳 李晓东
中国科学院声学研究所,北京,100080
国内会议
厦门
中文
527-528
2006-10-01（万方平台首次上网日期，不代表论文的发表时间）