欢迎关注我的博客专栏“图像处理中的数学原理详解”
全文目录请见 图像处理中的数学原理详解（总纲）
http://blog.csdn.net/baimafujinji/article/details/48467225
http://blog.csdn.net/baimafujinji/article/details/48751037
（应某网友留言需求，特将PCA相关内容调前发布）阅读本文需要最基本的线性代数知识和概率论基础：）
6.4.2 主成分变换的推导
前面提到的一国经济增长与城市化水平关系的问题是典型二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，所以自然会想到使用矩阵来组织这些数据。为了帮助读者理解上面给出的协方差矩阵定义，在此举一个简单的三维的例子，假设数据集有 {x,y,z} 三个维度，则协方差矩阵为
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。下面通过一个例子来尝试演算协方差矩阵（很多数学软件都为该操作提供了支持）。需要提醒读者注意的是，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。例如有一个样本容量为 9 的三维数据，如下
根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，前面也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度，所以要按列计算均值。经过计算，不难得到上述数据对应的协方差矩阵如下
众所周知，为了描述一个点在直角坐标系中的位置，至少需要两个分量。图6-17所示是两个二维数组，其中左图显示的各个点之间相关性微乎其微，而右图所示的各个点之间则高度相关，显然数据散布在一定角度内较为集中。对于右图而言，只要知道某个点一维分量的大小就可以大致确定其位置，两个分量中任一分量的增加或者减少都能引起另一分量相应的增减。相反，左图中的情况却不是这样。
对之前给出的协方差矩阵定义式稍加改写，以使其获得计算上更为直观的便利。则有在X矢量空间（或坐标系下），协方差矩阵Σx的无偏计算公式为
表6-2给出了对于图6-17中左图所示的6个样本点的集合，以及经计算后求得的样本集协方差矩阵和相关矩阵的结果。应当注意，协方差矩阵和相关矩阵二者都是沿对角线对称的。从相关矩阵来看，各个数据分量间存在不相关关系的明显事实就是协方差矩阵（以及相关矩阵）中非对角线元素都是零。
最终计算可得
主成份变换的实现（包含一个实际的计算示例）以及它在图像处理中的应用举例，我将在下一篇文章中给出。
原文：http://blog.csdn.net/baimafujinji/article/details/50372906
