线性回归 及 正则化 公式推导

• 基础公式：

?BA/?A = B^T

?A^TB/?A = B

?A^TBA/?A = 2BA

• 模型函数：

h_θ(x) = xθ

• 无正则化损失函数：

J(θ) = 1/2(Xθ-Y)²

令偏导?J(θ)/?θ等于0，得：

θ = (X^TX)^-1X^TY

• 正则化损失函数：

J(θ) = 1/2(Xθ-Y)²+1/2λθ²

令偏导?J(θ)/?θ等于0，得：

θ = (X^TX+λI)^-1X^TY

参考文献：

https://blog.csdn.net/fleurdalis/article/details/54931721

https://blog.csdn.net/u013363719/article/details/22752893

线性回归 及 正则化 公式推导

原文：https://www.cnblogs.com/jhc888007/p/9501258.html