贝叶斯公式

转载：http://m.blog.csdn.net/article/details?id=46865363

条件概率相关定理：

设A，B 是两个事件，且A不是不可能事件，则称 

 为在事件A发生的条件下，事件B发生的条件概率。一般地， 

 ，且它满足以下三条件：

设E 为随机试验，Ω 为样本空间，A，B 为任意两个事件，设P(A)>0，称 

 为在“事件A 发生”的条件下事件B 的条件概率。

设事件组B1，B2是样本空间Ω 的一个划分，且P（Bi）>0（i=1，2，…n），则对任一事件A，有 

贝叶斯：

假设已知先验概率P(ωj)，也知道类条件概率密度p(x|ωj)，且j=1,2.那么，处于类别ωj，并具有特征值x的模式的联合概率密度可写成两种形式：

p(ωj,x) = P(ωj|x)p(x) = p(x|ωj)P(ωj)

整理后得出贝叶斯公式（只有两种类型的情况下）

下面分别介绍一下后验概率、似然函数、先验概率以及证据因子。

1、后验概率

后验概率P(ωj|x)，即假设特征值x已知的条件下类别属于ωj的概率。

2、似然函数

p(x|ωj)为ωj关于x的似然函数，也成为类条件概率密度函数，表明类别状态为ω时的x的概率密度函数*。

3、先验概率

先验概率P(ωj)是由先验知识而获得的。

4、证据因子

证据因子的存在知识为了保证各类别的后验概率的总和为1**。

补充：

*概率密度函数：

     在数学中，一个连续型随机变量的“概率密度函数”是一个描述这个随机变量的输出值在某一个确定的取值点附近的可能性的函数。

     而随机变量的取值落在某个区域之间的概率则是概率密度函数在这个区域上的积分。当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。

**概率总和为1：

     一个函数 f(x) 要想成为密度函数，那么必须满足两个条件：

    ① f(x) >0, 这很好理解了……概率大于0嘛……比如说吃饭的概率，50%说明一半的可能我会吃饭，但是如果是-50%呢？难道是我吐了一半吗……很诡异吧

    ② ∫f(x)dx=1，概率就是某种可能性，如果把所有可能性都包括在内就可以证明这个事情一定是发生的，只是按照那种情况发生我们不知道而已，所以所有可能性的和为1.

贝叶斯公式

原文：http://www.cnblogs.com/bnuvincent/p/6383722.html