高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到。
一维高斯分布的概率密度函数(pdf)形式为:
红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。
我们可以采用以下方程从均值为 μ 标准差为 σ 的高斯分布中采样(再参数化技巧):
其中,? 从一个标准高斯分布中采样。
正态分布的概念可以扩展到一个以上的维度——k维的一般多元正态分布的概率密度函数如下:
其中,|Σ|为协方差矩阵的行列式。
在2D中,均值向量μ和对称的协方差矩阵Σ定义为:
其中ρ是两个维度x1和x2之间的相关系数。
各向同性的高斯分布(球形高斯分布)指的是各个方向方差都一样的多维高斯分布,协方差为正实数与identity matrix相乘。
因为高斯的circular symmetry,只需要让每个轴上的长度一样就能得到各向同性,也就是说分布密度值仅跟点到均值距离相关,而不和方向有关。
各向同性的高斯每个维度之间也是互相独立的,因此密度方程可以写成几个1维度高斯乘积形式。要注意的是,几个高斯分布乘在一起得到各向同性,但几个Laplace分布相乘就得不到各向同性!
此类高斯分布的参数个数随维度成线性增加,只有均值在增加,而方差是一个标量,因此对计算和存储量的要求不大,因此非常讨人喜欢~
其中, Σ = σI, I为单位阵。
一种直观的解释方式:
注意到各向同性的高斯分布的概率密度函数可以写成几个1维度高斯乘积形式,
各向同性的高斯分布的概率密度函数可以写成几个1维度高斯乘积形式,因此,最后的结果是各个维度结果的加和。
原文:https://www.cnblogs.com/jiangkejie/p/12939776.html