一般在神经网络中， softmax可以作为分类任务的输出层。
输出n个类别选取的概率，并且概率和为1。
i?代表的是第i个神经元的输出，zi是下面
loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的
yi?表示真实的分类结果。
求导。首先，我们要明确一下我们要求什么，我们要求的是我们的loss对于神经元输出的梯度。
Softmax函数与交叉熵
原文：https://www.cnblogs.com/pocahontas/p/11830840.html
