title: why batch norm work
没太理解
title: softmax regression
多分类问题，输出层变成一个n维向量，有几个类就几维，每一个元素对应属于这个类的概率
softmax激活函数，挺简单的啊
softmax这一层，本身是划分线性边界的
title: deep learning frameworks
选择框架的标准，编程的简洁性，运行的速度，真正的开源
tensorflow里面，只需要显式的指明正向传播，反向传播是框架会帮我算的
第三系列课程：structing machine learning projects
title: why ML strategy
因为网络中，可以调整的东西太多了，激活函数，层数，节点数，数据集，学习率等等
如果瞎试的话，效率很低
title:orthogonalization
正交化，代表一种思想，对于每一个参数的调整，刚好对应系统某一方面的表现的变化，这样的话我们才好做tuning
title: single number evaluation metric
选一个最关注的指标，以此为标准训练模型
title: satisficing and optimizing metric
满足指标，比如运行时间，低于某一个阈值就可以了，
优化指标，比如准确率，越高越好，
原文：https://www.cnblogs.com/zherlock/p/10974734.html