relu
sigmoid
tanh
激励函数。
可以创立自己的激励函数解决自己的问题，只要保证这些激励函数是可以微分的。
只有两三层的神经网络，随便使用哪个激励函数都可以。
多层的不能随便选择，涉及梯度爆炸，梯度消失的问题。
卷积神经网络推荐relu
循环神经网络推荐tanh或者relu
什么是激励函数 (Activation Function)
原文：http://www.cnblogs.com/CATHY-MU/p/7801030.html
