一、一维线性回归
一维线性回归最好的解法是：最小二乘法
问题描述：给定数据集$D=\left \{ \left ( x_{1},y_{1} \right ),\left ( x_{2},y_{2} \right ),\cdots ,\left ( x_{m},y_{m} \right ) \right \}$，一维线性回归希望能找到一个函数$f\left ( x_{i} \right )$，使得$f\left ( x_{i} \right )=wx_{i}+b$能够与$y_{i}$尽可能接近。
损失函数：$$L\left ( w,b \right )=\sum_{i=1}^{m}\left [ f\left ( x_{i} \right )- y_{i} \right ]^{2}$$
目标：$$\left ( w^{*},b^{*} \right )=\underset{w,b}{argmin}\sum_{i=1}^{m}\left [ f\left ( x_{i} \right )- y_{i} \right ]^{2}=\underset{w,b}{argmin}\sum_{i=1}^{m}\left (y_{i}- wx_{i}-b \right )^{2} $$
求解损失函数的方法很直观，令损失函数的偏导数为零，即：$$\frac{\partial L\left ( w,b \right ) }{\partial w}=2\sum_{i=1}^{m}\left (y_{i}- wx_{i}-b \right )\left ( - x_{i}\right )\\=2\sum_{i=1}^{m}\left [ wx_{i}^{2} -\left ( y_{i}-b \right )x_{i}\right ]=2\left ( w\sum_{i=1}^{m}x_{i}^{2}- \sum_{i=1}^{m}\left ( y_{i}-b \right )x_{i}\right )=0$$
原文：https://www.cnblogs.com/xiazhenbin/p/13229233.html