首页 > 其他 > 详细

loss explosion

时间:2021-05-23 14:45:18      阅读:37      评论:0      收藏:0      [点我收藏+]

1.遇到大坑

  笔者在最近的训练任务中,发现loss无穷大!!!

技术分享图片

   一般情况下,梯度变为nan都是出现了 技术分享图片 , 技术分享图片 等情况,导致结果变为+inf,也就成了nan。

2.寻找错误

  由于笔者做的实例分割,在对bound ing  box求loss的时候,采用的是smooth L1:

技术分享图片

 

   可以看到,loss为无穷时,是各个Zi 比较大的时候,由于其中我们在求anchors的时候是对整张图片做的归一化,所以求loss时要保证单位刻度一样。

     技术分享图片

 改成:

技术分享图片

结果:

技术分享图片

loss explosion

原文:https://www.cnblogs.com/a-runner/p/14800210.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!