转：https://blog.csdn.net/oldmao_2001/article/details/90699046?from=groupmessage&isappinstalled=0
损失函数
计算网络预测值与真实值不一致程度的函数，以此评价当前模型的好坏。
正则化
防止网络过拟合在损失函数后添加的一个惩罚项，使网络模型尽量简单
softmax分类
将类别得分exp再归一化，得到每种类别可能性（0，1），利用-log（）求损失函数Li
优化
两种方式：
1.随机优化，再根据loss的值选择权重w
2.梯度下降
1
原文：https://www.cnblogs.com/Manuel/p/10955146.html