Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 
可以取两个以上的值。Softmax模型可以用来给不同的对象分配概率。即使在之后，我们训练更加精细的模型时，最后一步也需要用softmax来分配概率。本质上其实是一种多种类型的线性分割，当类标签 取 2 时，就相当于是logistic回归模型。
在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 可以取 
个不同的值（而不是 2 个）。因此，对于训练集 
，我们有 
。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 
个不同的类别。
对于给定的测试输入 
，我们想用假设函数针对每一个类别j估算出概率值 
。也就是说，我们想估计 的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 维的向量（向量元素的和为1）来表示这 个估计的概率值。 具体地说，我们的假设函数 
形式如下：
原文：http://www.cnblogs.com/xiaobaituyun/p/7892729.html