1：激活函数
(1.1)Tanh和Sigmoid函数
[注]sigmoid函数的取值区间为[0,1],适合概率和RGB值的重建。Tanh函数的取值区间为[-1,1]，多用于循环神经网络。
sigmoid和Tanh函数存在的问题：当w的取值无穷大或者无穷小的时候会出现梯度弥散的现象。
(1.2)ReLU，softplus,Leaky ReLU，SELU函数
[注]ReLU函数解决了自变量>0时梯度消失的问题，Leaky ReLU通过设置α来解决自变量<0时梯度消失的问题
2:GPU加速
原文：https://www.cnblogs.com/jiafeng1996/p/15089122.html