反向求导

时间：2021-09-01 20:53:03 阅读：18 评论：0 收藏：0 [点我收藏+]

在上一节中，我们大致对神经网络的梯度更新有了了解，其中最核心的部分就是求出损失函数对权重

技术分享图片

其中，

?? ?? ?? ?? ～ (?? 3 11 ?? 2 11 + ?? 3 21 ?? 2 12) ?? 1 11 ?? 1,

用矩阵表示为：

? ?? ? ?? 1 = ????????? ? ?? ?? ?? ?? ? ?? 1 11

因此，整个反向传播的过程如下：

首先计算：

然后计算：

最后计算：

为了方便计算，反向传播通过使用计算图的形式在 Tensorflow，PyTorch 等深度学习框架中实现，将上述过程绘制成计算图如下：

技术分享图片

根据计算图，可以轻而易举地计算出损失函数对每个变量的导数。

原文：https://www.cnblogs.com/miutic/p/15207507.html

踩

(0)

评论一句话评论（0）

分享档案

更多>