首页 > 其他 > 详细

TensorFLow_LSTM_RNN

时间:2018-07-21 20:18:49      阅读:228      评论:0      收藏:0      [点我收藏+]

深度学习(DL)有三大模型:CNN,RNN,DBN(深度信念网络)

RNN:Recurrent Neural Network

技术分享图片

RNN可以与记忆做类比,经验的累积。 读书破万卷下笔如有神!

RNN 当前产生的结果 是 <以前记忆> 和 <当前状态的叠加>

RNN每一个输出与前面的输出建立起关联,以前面的序列化对象为基础生成新的对象

RNN的局限性:步数增多导致 梯度消失Vanshing (or Exploding)  0.9 ** 100 梯度消失 ; 1.04 ** 100 梯度爆炸

技术分享图片

Gradient Clipping(梯度裁剪)有效解决梯度爆炸

在这里介绍LSTM_RNN:

LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件

技术分享图片

 

技术分享图片

 

TensorFLow_LSTM_RNN

原文:https://www.cnblogs.com/AlexHaiY/p/9347781.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!