FOBOS由John Duchi和Yoram Singer提出，翻译为前进后退分离法。算法主要目的是要在进行在线学习实现以下目标
（1）减少在线学习方法只用一条样本的梯度计算产生的误差
（2）实现特征的稀疏性
算法原理
FOBOS将权重的更新分为两个步骤：
（1）前向标准梯度下降
（2）后向梯度微调
第二个步骤包括两个部分
（1）第一部分保证微调发生在梯度下降结果的附近
（2）第二个部分是进行正则化，产生稀疏性。
从公式可以看出W(t+1)不仅仅和迭代前的W（t）有关，而且与迭代后的W（t+1）有关，这也是FOBOS的由来。
原文：http://www.cnblogs.com/luctw/p/4757907.html