sigmoid函数
\[\begin{equation}
\begin{split}
g\left(z\right)=\frac{1}{1+e^{-z}}
\end{split}
\end{equation}
\]
逻辑回归的假设函数
\[\begin{equation}
\begin{split}
h_{\theta}\left(x\right)=g\left(\theta^{T}x\right)=\frac{1}{1+e^{-\theta^{T}x}}
\end{split}
\end{equation}
\]
代价函数
\[\begin{equation}
\begin{split}
J\left(\theta\right)=-\frac{1}{m}\sum^{m}_{i=1}\left[y^{(i)}\log\left(h_{\theta}\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log\left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]
\end{split}
\end{equation}
\]
代价函数对参数的导数推到过程
\[\begin{equation}
\begin{split}
\frac{\partial J\left(\theta\right)}{\partial \theta_{j}} & =-\frac{1}{m}\sum^{m}_{i=1}\left[y^{(i)}\left(1+e^{-\theta^{T}x^{(i)}}\right) \left(- \frac{1}{ \left(1+e^{-\theta^{T}x^{(i)}}\right)^{2} } \right) e^{-\theta^{T}x^{(i)}} \left(-x^{(i)}_{j}\right) + \left( 1-y^{(i)} \right) \cdot \frac{1+e^{-\theta^{T}x^{(i)}}}{e^{-\theta^{T}x^{(i)}}} \cdot \frac{1}{\left(1+e^{-\theta^{T}x^{(i)}}\right)^2} \cdot e^{-\theta^{T}x^{(i)}} \cdot \left(-x^{(i)}_{j}\right) \right] \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[ y^{(i)}\frac{e^{-\theta^{T}x^{(i)}}x^{(i)}_{j}}{1+e^{-\theta^{T}x^{(i)}}} - \left(1-y^{(i)}\right)\frac{x^{(i)}_{j}}{1+e^{-\theta^{T}x^{(i)}}} \right] \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[\frac{y^{(i)}e^{-\theta^{T}x^{(i)}}}{1+e^{-\theta^{T}x^{(i)}}}-\frac{1-y^{(i)}}{1+e^{-\theta^{T}x^{(i)}}}\right]x^{(i)}_{j} \ & =-\frac{1}{m}\sum^{m}_{i=1}\left[\frac{\left(1+e^{-\theta^{T}x^{(i)}}\right)y^{(i)}-1}{1+e^{-\theta^{T}x^{(i)}}}\right]x^{(i)}_{j} \ & =\frac{1}{m}\sum^{m}_{i=1}\left[\frac{1}{1+e^{-\theta^{T}x^{(i)}}}-y^{(i)}\right]x^{(i)}_{j}
\end{split}
\end{equation}
\]
我自己本人在最初的时候求解这个偏导数没有求出来，但是最近回过头来看，其实就是高中的数学，复合函数求导的过程。
机器学习——逻辑回归中代价函数对参数的偏导详细推导
原文：https://www.cnblogs.com/lewki/p/13939044.html
