首页 > 其他 > 详细

SVM 合页损失函数

时间:2019-09-12 12:19:21      阅读:160      评论:0      收藏:0      [点我收藏+]

在学习支持向量机的过程中,我们知道其损失函数为合页损失函数。至于为什么叫这个名字,李航老师的《统计学习方法》上是这么说的:由于函数形状像一个合页,故命合页损失函数。下图为合页损失函数的图像(取自《统计学习方法》):

横轴表示函数间隔,我们从两个方面来理解函数间隔:

技术分享图片

 

 

 

之前对损失函数的意义一直不是很懂。今天,在看了吴恩达老师的《机器学习》相关视频后,又读了《统计学习方法》的相关内容。对合页损失函数有了自己的理解:

横轴表示函数间隔,我们从两个方面来理解函数间隔:

1)正负

当样本被正确分类时,y(wx+b)>0;当样本被错误分类时,y(wx+b)<0。

2)大小

y(wx+b)的绝对值代表样本距离决策边界的远近程度。y(wx+b)的绝对值越大,表示样本距离决策边界越远。

因此,我们可以知道:

当y(wx+b)>0时,y(wx+b)的绝对值越大表示决策边界对样本的区分度越好

当y(wx+b)<0时,y(wx+b)的绝对值越大表示决策边界对样本的区分度越差

从图中我们可以看到,

1)0-1损失

当样本被正确分类时,损失为0;当样本被错误分类时,损失为1。

2)感知机损失函数

当样本被正确分类时,损失为0;当样本被错误分类时,损失为-y(wx+b)。

3)合页损失函数

当样本被正确分类且函数间隔大于1时,合页损失才是0,否则损失是1-y(wx+b)。

相比之下,合页损失函数不仅要正确分类,而且确信度足够高时损失才是0。也就是说,合页损失函数对学习有更高的要求。


SVM 合页损失函数推导过程《统计学习方法》:

技术分享图片

 技术分享图片

 

 

 

 

参考来源:

《统计学习方法》

https://blog.csdn.net/lz_peter/article/details/79614556

https://blog.csdn.net/qq_26598445/article/details/80901249

SVM 合页损失函数

原文:https://www.cnblogs.com/WingsDy/p/11510905.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!