吴恩达机器学习笔记1——线性回归

问题描述：

给定一个训练集：{x_i, y_i}，i=1,..,m，拟合y(x)，从而预测：y(x_test)。

线性模型：

假设训练集{x_i, y_i}满足线性方程y = a x + b，则对于某一个x_i，y_{i, pred} = a x_i + b（y_{i, pred} 为预测值）。(y_i - y_{i, pred} )²越小则拟合效果越好。

对于训练集中的m个样本，定义J(a,b) = 1/(2*m) * sum_i [(y_i - y_{i, pred} )²]。

 则问题可以转化为 min_a,bJ，即寻找a，b的值使J最小。

梯度下降法求min_a,bJ

基本思想：1. random initialize a, b

　　　　　2. repeat {

　　　　　　　　　　　calculate J(a, b), da, db  （da, db = dJ/da, dJ/db）

　　　　　　　　　　　　　J(a, b) = 1/(2*m) * sum_i [(y_i - y_{i, pred} )²] = 1/(2*m) * sum_i [(y_i - a * x_i  - b )²]

　　　　　　　　　　　　　da = 1/m * ( a * x_i  + b - y_i ) * a

　　　　　　　　　　　a <= a - alpha * da

　　　　　　　　　　    b <= b - alpha * db

　　　　　　　　　}

 向量化

吴恩达机器学习笔记1——线性回归

原文：https://www.cnblogs.com/douglas-penaldo-shaw/p/11332829.html