积累--一些问题积累

1. Batch Normalization应该放在ReLU非线性激活层的前面还是后面？ 当卷积层后跟batch normalization层时为什么不要偏置b

https://mp.weixin.qq.com/s/kqLpa_TsWcyjRly_ZJvENw

一般是conv-bn-relu
群里大佬说：
因为bn的作用就是归一化，归一化的话，这样每次输入就都能保证梯度都有一个范围，能一定程度减少ill defined的问题，以及环节梯度爆炸或者梯度消失的问题
然后又有一个大佬提问：
bn前的conv需要加bias吗？
后面他回答：
在bn归一化的时候偏置b就被减掉了，所以bn之前的卷积所带的b最终是没有用的。正在发挥作用的偏置项是bn自己的偏置。
果真，我百度了一下：
当卷积层后跟batch normalization层时为什么不要偏置b
https://blog.csdn.net/u010698086/article/details/78046671

积累--一些问题积累

原文：https://www.cnblogs.com/yanghailin/p/13972798.html