数学基础（2节课）
微积分
极限，e，导数，微分，积分
偏导数，方向导数，梯度
极值，多元函数极值，多元函数泰勒展开
无约束优化，约束优化
拉格朗日乘子，对偶问题
线性代数
矩阵，行列式，初等变换
线性相关，线性无关
秩，特征值，特征向量
正交向量、正交矩阵
矩阵分解
概率
随机变量，概率密度函数，分布函数
条件概率，全概率公式，贝叶斯公式
期望，方差
大数定理，中心极限定理
协方差，相关系数
常见概率分布，泊松分布
指数族分布，多元高斯分布
参数估计，矩估计，极大似然估计MLE
机器学习基本概念（0.5节课）
输入空间，特征空间和输出空间
联合概率分布，假设空间
三要素：方法=模型+策略+算法
损失函数、风险函数、经验风险、结构风险
MLE和MAP
感知机Perceptron（1节课）
感知机模型、学习策略、训练方法
0-1损失函数
感知机的几何解释
感知机证明
pocket perceptron
线性回归和逻辑回归（2节课）
损失函数、训练方法、几何解释，平方损失函数
梯度下降
逻辑回归的形式，推导和训练，逻辑斯蒂损失
拟牛顿法，LBFGS
机器学习诊断和调试（1节课）
训练误差、测试误差、欠拟合、过拟合
正规化、交叉验证
树模型和boost（3节课）
熵的定义和应用，信息增益
决策树、ID3、C4.5和CART
Adaboost，指数损失函数
梯度提升树 GBDT
随机森林 Random Forest
支持向量机SVM（3-4节课）
硬间隔最大化，函数间隔，几何间隔
软间隔最大化
对偶算法
合页损失函数
核函数、核技巧
SMO算法
最大熵模型（1节课）
模型定义、约束条件和推导
重新理解逻辑回归
神经网络（1节课）
模型的定义和训练
BPA算法
无监督学习（3节课）
K-Means和高斯混合模型GMM
EM算法，推导、解释和理解
Topic Model基础，svd、lsa、plsa、lda
总结（1节课）
损失函数比较
模型的比较和选择
解决实际问题的一般步骤
原文：http://www.cnblogs.com/dudi00/p/4034230.html