正则化的最小二乘估计及其应用

摘要：

考虑在实际应用中经常使用的线性回归模型(样本回归方程): yk=β0+β1xk1+β2xk2+…+βpxkp+εk;k=0,1,2,…,m. (1) 或它的矩阵形式: Y=Xβ+ε,X∈R(m+1)×(p+1),Y,ε∈Rm+1 (2) 其中,X为诸解释变量”xi”pi=0的观测矩阵,Y为响应向量的观测值,β=(β0,β1,…,βp)T为待估参数.熟知,问题(2)的广义解(即:具有最小模的最小二乘解)可写作: β=X+Y(=(XTX)-1XTY,当XTX非奇异时) (3) 其中,X+表示X的Moore-Penrose广义逆. 由于许多技术、经济和社会指标都存在同步增长的趋势,故回归模型的解释变量之间会出现多重相关的情况,使矩阵XTX接近奇异或十分病态,从而导致参数估计严重失真.更有甚者,当样本容量小于p时,最小二乘法就完全失效了.为解决上述困难,人们已先后提出了逐步回归、主成份回归和岭回归等处理方法.前两种方法的目的在于减少解释变量的个数,即:将相对不那末重要的解释变量去掉,但这样就必然要导致信息的损失.本文研究正则化的最小二乘估计及其应用，包括， 1 关于参数估计方法的评述， 2 Tikhonov正则化方法简介， 3 正则化的最小二乘估计， 4 对构建飞机机体研制费用分析模型的应用。

关键词： 最小二乘估计 正则化 参数估计 线性回归模型

作者: 肖庭延 张培培 阎金华

作者单位: 河北工业大学数学系,天津,300130

会议类型: 国内会议

会议名称: 2005年全国高等学校计算数学年会暨第八届全国青年计算数学研讨会

会议地点: 辽宁大连

会议语种:中文

页码: 345-349

在线出版日期: 2005-10-17（万方平台首次上网日期，不代表论文的发表时间）