首页 > 其他 > 详细

机器学习——逻辑回归中代价函数对参数的偏导详细推导

时间:2020-11-06 22:42:50      阅读:59      评论:0      收藏:0      [点我收藏+]

sigmoid函数

\[\begin{equation} \begin{split} g\left(z\right)=\frac{1}{1+e^{-z}} \end{split} \end{equation} \]

逻辑回归的假设函数

\[\begin{equation} \begin{split} h_{\theta}\left(x\right)=g\left(\theta^{T}x\right)=\frac{1}{1+e^{-\theta^{T}x}} \end{split} \end{equation} \]

代价函数

\[\begin{equation} \begin{split} J\left(\theta\right)=-\frac{1}{m}\sum^{m}_{i=1}\left[y^{(i)}\log\left(h_{\theta}\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log\left(1-h_{\theta}\left(x^{(i)}\right)\right)\right] \end{split} \end{equation} \]

代价函数对参数的导数推到过程

\[\begin{equation} \begin{split} \frac{\partial J\left(\theta\right)}{\partial \theta_{j}} & =-\frac{1}{m}\sum^{m}_{i=1}\left[y^{(i)}\left(1+e^{-\theta^{T}x^{(i)}}\right) \left(- \frac{1}{ \left(1+e^{-\theta^{T}x^{(i)}}\right)^{2} } \right) e^{-\theta^{T}x^{(i)}} \left(-x^{(i)}_{j}\right) + \left( 1-y^{(i)} \right) \cdot \frac{1+e^{-\theta^{T}x^{(i)}}}{e^{-\theta^{T}x^{(i)}}} \cdot \frac{1}{\left(1+e^{-\theta^{T}x^{(i)}}\right)^2} \cdot e^{-\theta^{T}x^{(i)}} \cdot \left(-x^{(i)}_{j}\right) \right] \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[ y^{(i)}\frac{e^{-\theta^{T}x^{(i)}}x^{(i)}_{j}}{1+e^{-\theta^{T}x^{(i)}}} - \left(1-y^{(i)}\right)\frac{x^{(i)}_{j}}{1+e^{-\theta^{T}x^{(i)}}} \right] \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[\frac{y^{(i)}e^{-\theta^{T}x^{(i)}}}{1+e^{-\theta^{T}x^{(i)}}}-\frac{1-y^{(i)}}{1+e^{-\theta^{T}x^{(i)}}}\right]x^{(i)}_{j} \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[\frac{\left(1+e^{-\theta^{T}x^{(i)}}\right)y^{(i)}-1}{1+e^{-\theta^{T}x^{(i)}}}\right]x^{(i)}_{j} \ & =\frac{1}{m}\sum^{m}_{i=1}\left[\frac{1}{1+e^{-\theta^{T}x^{(i)}}}-y^{(i)}\right]x^{(i)}_{j} \end{split} \end{equation} \]

我自己本人在最初的时候求解这个偏导数没有求出来,但是最近回过头来看,其实就是高中的数学,复合函数求导的过程。

机器学习——逻辑回归中代价函数对参数的偏导详细推导

原文:https://www.cnblogs.com/lewki/p/13939044.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!