1.最速下降法（也叫梯度下降法）
负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，所以会产生锯齿现像，因此影响了收敛的速度，特别是当x接近于收敛点的时候。
2.牛顿法
采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异而且正定，如果不是，则无法保证目标函数值下降和收敛到极小点。如果收敛则为2级收敛，收敛速度较快。
3.阻尼牛顿法
阻尼牛顿法，加入一维搜索步长，通过最小化函数值，能够使得迭代目标函数一般有所下降。
4.拟牛顿法
上面的方法无法保证Hesse矩阵正定，因此拟牛顿法，通过构造Gk正定矩阵，保证Hesse矩阵正定，再作一维搜索，因此一定可以保证函数值下降和收敛。
原文：http://www.cnblogs.com/hitwhhw09/p/4788447.html