这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。
主要讲了两个问题：
学习率α如何确定？
使用固定的学习率还是变化的学习率？
学习率设置为多大比较好？
下降的方向如何处理，除了梯度方向，有没有其他方向？
可行方向和梯度方向有何关系？
先上结论：
使用固定的学习率还是变化的学习率？
使用变化的学习率好。学习率的确定可以这样：在参数迭代的开始阶段，由于与最优值差距较大，可以使用较大的学习率；在迭代后期，使用较小的学习率增加稳定性和精度。
学习率设置为多大比较好？
构造一个关于α的函数，然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意：当前最优。
那如何构造学习率α？
推导...
可行方向和梯度方向有何关系？
就是拟牛顿方向，我的理解是，梯度是线性的，牛顿是非线性的。梯度线性下降或者牛顿非线性下降。
********************************************分割线**********************************************
原文：http://www.cnblogs.com/xubing-613/p/5945248.html