十，专著研读（线性回归）
- 分类问题输出离散型变量，回归输出连续型变量。
- 线性回归
- 简单线性回归
一元线性回归及其一元线性方程
\(y=b+\omega x\)
写成矩阵形式
\(y=X^{T}\omega\)
- 多元线性回归
多元线性方程
$ y=\omega {0}+\omega {1}x_{1}+\omega {2}x{2}+...+\omega {n}x{n}$
矩阵形式
$ y=X^{T}\omega$
- 线性回归的损失函数
平方误差作为线性回归的损失函数
\(SSE=\sum_{i=1}^{m}(y_{i}- \hat{y_{i}})^{2}=\sum_{i=1}^{m}(y_{i}- x_{i}^{T}\omega )^{2}\)
用平方对于后续求导比较方便，用矩阵可以表示为
\((y-X\omega )^{T}(y-X\omega )\)
求导之后
\(\hat{\omega }=(X^{T}X)^{-1}X^{T}y\)
- 局部加权线性回归(LWLR)
给待预测点附近的每个点赋予一定的权重，然后按照简单线性回归求解方法求解。
解出回归系数w形式
\(\hat{\omega }=(X^{T}WX)^{-1}X^{T}Wy\)
十，专著研读（线性回归）
原文：https://www.cnblogs.com/zaw-315/p/11285419.html
