首页 > 其他 > 详细

《统计学习方法》笔记二 感知机

时间:2018-10-24 13:16:50      阅读:115      评论:0      收藏:0      [点我收藏+]

感知机(perceptron)是二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取±1。感知机对应与输入空间中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。感知机算法具有简单而易于实现的优点,分为原始形式对偶形式,感知机预测是用学习得到的感知机模型对新的输入实例进行分类。

感知机模型

技术分享图片

几何解释如下:

技术分享图片

技术分享图片

感知机学习策略

首先定义了数据集的线性可分性,简单说即对一个数据集,存在某一超平面可将数据集的正、负实例点完全划分到超平面的两侧。

技术分享图片

确定学习策略即定义(经验)损失函数并将损失函数极小化。若选择误分类点的总数,这样的损失函数不是参数ω、b的连续可导函数,不易优化。因此选择误分类点到超平面S的总距离。平面上一点x0到超平面的距离为技术分享图片

技术分享图片

 

 对于误分类点有-yi(ωxi+b)>0,则误分类点到超平面的距离为

技术分享图片

感知机学习算法

原始形式

技术分享图片

对偶形式

技术分享图片

技术分享图片

Gram矩阵计算如下:

技术分享图片

 

原始形式收敛性

采用不同的初值或选取不同的误分类点,得出的解可以不同。

此外,书中证明了原始形式算法收敛,并且经过有限次迭代可得到一个将训练数据集完全划分的分离超平面及感知机模型。

定理如下

技术分享图片

 

《统计学习方法》笔记二 感知机

原文:https://www.cnblogs.com/wwf828/p/9717366.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!