首页 > 其他 > 详细

第四周:卷积神经网络 part3

时间:2020-08-22 10:53:49      阅读:54      评论:0      收藏:0      [点我收藏+]

一、视频学习

循环神经网络

应用:语音问答、股票预测、作词机、模仿写论文、模仿写代码。

循环神经网络与卷积神经网络对比:

卷积神经网络主要用于分类和检索。

两者之间的不同:传统的输入输出是相互独立的,而RNN可以考虑上下文的时序关系,不仅依赖于输入,还依赖于记忆

循环神经网络的基本结构:

 技术分享图片展开 以后是:技术分享图片

三块参数:U从输入到隐藏状态,W从前一隐藏层状态到下一个隐藏状态,V从隐藏状态到输出。Xt是时间t处的输入,ht是时间t处的记忆。

深度RNN:

 技术分享图片

双向RNN:双向RNN结合时间上从序列起点开始移动的RNN和另一个时间上从序列末尾开始移动的RNN。

 技术分享图片

传统RNN的问题:

当循环神经网络在时间维度上非常深的时候,会导致梯度消失或者梯度消失。导致模型训练不稳定,梯度为无效数字或者无穷大 的值。

改进:

梯度爆炸:权重衰减(权重加上一个值);梯度截断(梯度高于或者低于阈值时,使梯度等于该阈值)

梯度消失:改进模型;LSTM;GRU

LSTM:长短时记忆

技术分享图片

拥有三个门:遗忘门,输入门,输出门。

遗忘门:决定丢弃信息,就是一个sigmoid函数,输出在0-1之间,根据ft的值决定是否通过。

输入门:首先经过sigmoid层决定什么信息需要更新,然后通过tanh层输出备选的需要更新的内容,然后加入新的状态中。

输出门:首先通过sigmoid来确定细胞状态的哪个部分将输出出去。然后通过tanh进行处理并将结果与sigmoid输出的结果相乘,然后根据结果决定是否输出。初始值一般为1或5

如何解决梯度消失的:

 技术分享图片

GRU来简化了LSTM的计算:

 技术分享图片

只有两个门:重置门,更新门

第四周:卷积神经网络 part3

原文:https://www.cnblogs.com/jiangym1998/p/13542438.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!