摘要：
用户反馈预估是搜素、推荐、广告的核心问题；其特征都是多域的分类和数值特征，难以利用；
常用的方法是线性模型+人工特征组合来预估；
本文通过FNN（基于FM）和SNN（基于RBM和DAE）来预估。
1、介绍
常用的ctr预估模型：
1）线性模型：LR->NB->FTRLLR->Bayesian probit regression
优点：容易实现；高效学习
缺点：不能学习特征组合，效果较差
2）非线性模型：FM,GBM
优点：自动学习组合特征
缺点：不能充分利用各种特征组合
很多模型需要人工特征，浅层模型，表达能力不强；对大量复杂数据的建模和泛化能力有限。
DNN在计算机视觉，语音识别，自然语言处理上有优势；
比如通过非监督的预训练，可以获取原始特征的高维表示，这种思路可以用在ctr上：
通过FM、RBM、DAE把分类特征表示成连续特征。
2、相关工作
部分DNN的策略，预训练+fine tune。
3、DNN for CTR
1）FM+FCNN，3hidden layers，第一二层使用tanh激活，第三层使用sigmoid激活
第一层使用FM预训练，预训练的结构和fine tune使用的结构不同，也不会出问题，原因：有识别能力信息的高度模糊，后验权重和先验差别会太大。
2）SNN：
RBM base使用DC训练，DAE使用sgd训练
3）正则化：
L2正则
4、实验
1）策略对比：FNN整体优于SNN，RBMbase SNN和DAE base SNN接近；
2）increase,decrease 差于constant; diamond架构优于所有架构
3）正则：dropout正则相当于bagging，优于L2；
FNN dropout obust;SNN dropout敏感；预计是FNN第一层部分连接，丢弃部分影响不大
原文：http://www.cnblogs.com/ai1024/p/6876350.html