首页 > 其他 > 详细

机器学习知识点查漏补缺(朴素贝叶斯分类)

时间:2018-04-12 00:00:35      阅读:324      评论:0      收藏:0      [点我收藏+]

 

一、基本模型

 朴素贝叶斯分类模型的基本思想就是贝叶斯公式,对以特征为条件的各类别的后验概率。

贝叶斯公式如下:

技术分享图片

对标朴素贝叶斯分类模型的公式如下:

技术分享图片

分子中的第二项为每个类别的概率(实际运算即频率),如下:

技术分享图片

第一项为每个类别内部(即以类别为条件)特征的联合概率,如下:

技术分享图片

但随着特征的每个维度取值增加,模型参数也会指数级增加。所以朴素贝叶斯的朴素也就在这儿体现,朴素的(简单的)假设以上每个特征维度都是条件独立的,而让其联合概率可化简为每个特征的条件概率积,如下:

技术分享图片

朴素贝叶斯分类模型也即是最大化后验概率的类别

技术分享图片

而分母对每个类别都是相同的

技术分享图片 

二、优化目标函数

朴素贝叶斯的参数也即是各类别的先验概率及各类别为条件的特征条件概率,其极大似然估计分别为:

技术分享图片

 

技术分享图片

为防止条件概率估计值为0的情况,会在其估计过程中加入拉普拉斯平滑处理

技术分享图片

常取delta为1.

 

机器学习知识点查漏补缺(朴素贝叶斯分类)

原文:https://www.cnblogs.com/hugh-tan/p/8654767.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!