深度学习面临的问题和现在解决的办法：
简要来说，分两步使用DL：初始化时一层一层的选择权重，而后再进行训练：
那么怎么做pre-training，即怎么选择权重呢？好的权重能够不改变原有资料的信息，即编码过后信息够解码过后仍能保持
用类神经网络做如下：
这样做的原因就是，能找到一个好的特征转换：找到隐藏的资料结构，学到数据典型的表现形式
在层与层的autoencoder过程中，不需要标签信息：
下面介绍了一个regularization方法：在资料中加入artifical noise（很疯狂的想法）：
上面的autoencoder是非线性的，下面介绍一个线性的模型，实际上就是PCA算法
对Ein进行优化
继续推导，得到结论：对资料的投影方向，就应该是其最大的几个特征值对应的特征向量的方向
PCA
Coursera台大机器学习技法课程笔记13-Deep Learning
原文：http://www.cnblogs.com/573177885qq/p/4705725.html