丢弃法

无偏差加入噪音

对于x加入噪音得到x‘

对其计算期望得

在神经网络中可视化即

未使用dropout：

使用drop随机丢弃：

另外，drop只在训练中使用，在测试中，不使用dropout

Pytorch代码实现

例子：

net = nn.Sequential(
        nn.Linear(num_inputs, num_hiddens1),
        nn.ReLU(),
        nn.Dropout(drop_prob1),
        nn.Linear(num_hiddens1, num_hiddens2), 
        nn.ReLU(),
        nn.Dropout(drop_prob2),
        nn.Linear(num_hiddens2, 10)
        )

在net中直接加入nn.Dropout(p)，p是丢弃的概率。

丢弃法

原文：https://www.cnblogs.com/JoshuaYu/p/15059265.html