首页 > 其他 > 详细

MIT线性代数公开课学习笔记第16~20课

时间:2018-05-18 00:09:23      阅读:126      评论:0      收藏:0      [点我收藏+]

十六、投影矩阵和最小二乘

给出\(n\)\(m-1\)个自变量的数据点(用\(n\times m\)大小的矩阵\(A\)表示,其中第一列均为1,代表常数项),以及它们的真实取值(用n维列向量\(b\)表示),现在需要用一个\(m-1\)元未知数的线性方程来拟合这组数据点。可以用非齐次线性方程组\(AX=b\)表示。

一般来说这个方程组是无解的,即\(b\notin C(A)\),我们需要找到一个近似的\(\hat b,\hat X\),使得\(A\hat X=\hat b\)。其中\(b_i\)是第\(i\)个数据点的真实取值,\(\hat b_i\)是第\(i\)个数据点通过拟合直线的近似取值,如下图所示:

技术分享图片

在第十五课已经讲过,最小二乘法的损失函数是均方差函数,即:

\[\mathrm{minimize}\ \ \sum_{i=1}^m(b_i-\hat b_i)^2\]

换言之:

\[\mathrm{minimize}\ \ \|b-\hat b\|^2\]

技术分享图片

为直观起见,这里的\(\mathrm{dim}C(A)=2\),则\(b\)投影到\(C(A)\)上的向量\(\hat b\)如图所示,显然\(e=b-\hat b,e\perp C(A)\),因此此时\(\|e\|=\|b-\hat b\|\)是最小的。

根据第十五节的知识,我们可以令投影矩阵\(P=A(A^TA)^{-1}A^T\),则:

\[\hat b=Pb=A(A^TA)^{-1}A^Tb\]

\[A\hat X=\hat b\]

上式左右同时左乘\(A^T\)

\[A^TA\hat X=A^TA(A^TA)^{-1}A^Tb=A^Tb\]

根据这个非齐次线性方程组便可以解出\(\hat X\),也就能得到这个拟合的直线方程了。

十七、正交矩阵和Gram-Schmidt正交化

正交矩阵和Gram-Schmidt正交化在国内的各类线代教材中都有出现,这里不做过多赘述。

这里值得一提的是,前\(t-1\)个线性无关向量\(\alpha_1\cdots \alpha_{t-1}\)已正交化为\(\beta_1\cdots \beta_{t-1}\),正交化第\(t\)个向量\(\alpha t\)的过程,就是将其投射到\(C(\beta_1\cdots \beta_{t-1})\)这个空间中,然后获得误差向量的过程。

技术分享图片

如上图,若已获得两个正交化的向量\(\beta_1,\beta_2\),则首先将\(\alpha_3\)投射到\(C(\beta_1,\beta_2)\)得到\(\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

\(\beta_3=\alpha_3-\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

MIT线性代数公开课学习笔记第16~20课

原文:https://www.cnblogs.com/qpswwww/p/9053980.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!