lda：变分的推导

lda，latent diriclet allocation,是一个最基本的bayesian模型。本文要研究lda基于变分的推导方法。意义是重大的。

一、符号的定义

: the number of topics
?: the number of documents
?: the number of terms in vocabulary
?: index topic
?: index document
?: index word
?: denote a word

in LDA:
: model parameter
?: model parameter
?,: hidden variables.

图模型：
引入variational parameter:
?: Dirichlet parameter
?: Multinomial parameter

我们引入variational distribution，a fully factorized model

?要注意的是，?是后验分布，我们隐去了given??

二、总论

我们使用了variational EM algorithm：
在E step，我们使用variational approximation to posterior来最优化variational parameters，找到最靠谱的后验分布。
在M step，我们提升lower bound with respect to the model parameters。

具体算法：
E-step: 对于每一个文档，find optimal values of the variational parameters

?M-step：maximize the lower bound with respect to the model parameters??and?

?

?

?

?

?

lda：变分的推导

原文：http://www.cnblogs.com/zjgtan/p/3952994.html