一、双向循环神经网络BRNN

采用BRNN原因：

双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息。为什么要获取未来的信息呢？

判断下面句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。

至于网络单元到底是标准的RNN还是GRU或者是LSTM是没有关系的，都可以使用。

（2）BRNN如下图所示，每一个输出都是综合考虑两个方向获得的结果再输出：

 （3）LSTM有一个缺点就是在使用时需要完整的数据序列，你才能预测任意位置。比如用来构建语音识别系统，需要人把话说完，才能进行处理。

 二、深度循环神经网络

（1）前面提到的其是都只有RNN的一单元或者说RNN单元只有一层隐藏层,可以想象将多个RNN单元堆叠在一起,那就形成了深度循环神经网络(deep RNN)。深层循环神经网络如下图所示：

序列模型（5）-----双向神经网络（BRNN）和深层循环神经网络（Deep RNN）

原文：https://www.cnblogs.com/Lee-yl/p/10066531.html