LDA的模型結構什么是LDALDA生成過程LDA整體流程LDA學習過程導語/01什么是LDALDA（LatentDirichletAllocation）是一種文檔主題生成模型，也稱為一個三層貝葉斯概率模型，包含詞、主題和文檔三層結構。所謂生成模型，就是說，我們認為一篇文章的每個詞都是通過“以一定概率選擇了某個主題，并從這個主題中以一定概率選擇某個詞語”這樣一個過程得到。文檔到主題服從多項式分布，主題到詞服從多項式分布。什么是LDALDA是一種非監督機器學習技術，可以用來識別大規模文檔集（documentcollection）或語料庫（corpus）中潛藏的主題信息。它采用了詞袋（bagofwords）的方法，這種方法將每一篇文檔視為一個詞頻向量，從而將文本信息轉化為了易于建模的數字信息。

LDA生成過程/02

LDA生成過程

對于語料庫中的每篇文檔，LDA定義了如下生成過程（generativeprocess）：1.對每一篇文檔，從主題分布中抽取一個主題；2.從上述被抽到的主題所對應的單詞分布中抽取一個單詞；3.重復上述過程直至遍歷文檔中的每一個單詞。語料庫中的每一篇文檔與T（通過反復試驗等方法事先給定）個主題的一個多項分布（multinomialdistribution）相對應，將該多項分布記為θ。每個主題又與詞匯表（vocabulary）中的V個單詞的一個多項分布相對應，將這個多項分布記為φ。

LDA整體流程/03

LDA整體流程

先定義一些字母的含義：文檔集合D，主題（topic)集合TD中每個文檔d看作一個單詞序列<w1,w2,...,wn>，wi表示第i個單詞，設d有n個單詞。（LDA里面稱之為wordbag，實際上每個單詞的出現位置對LDA算法無影響）

LDA整體流程

·D中涉及的所有不同單詞組成一個大集合VOCABULARY（簡稱VOC），LDA以文檔集合D作為輸入，希望訓練出的兩個結果向量（設聚成k個topic，VOC中共包含m個詞）：·對每個D中的文檔d，對應到不同Topic的概率θd<pt1,...,ptk>，其中，pti表示d對應T中第i個topic的概率。計算方法是直觀的，pti=nti/n，其中nti表示d中對應第i個topic的詞的數目，n是d中所有詞的總數。·對每個T中的topict，生成不同單詞的概率φt<pw1,...,pwm>，其中，pwi表示t生成VOC中第i個單詞的概率。計算方法同樣很直觀，pwi=Nwi/N，其中Nwi表示對應到topict的VOC中第i個單詞的數目，N表示所有對應到topict的單詞總數。

LDA整體流程

LDA的核心公式如下：p(w|d)=p(w|t)*p(t|d)直觀的看這個公式，就是以Topic作為中間層，可以通過當前的θd和φt給出了文檔d中出現單詞w的概率。其中p(t|d)利用θd計算得到，p(w|t)利用φt計算得到。實際上，利用當前的θd和φt，我們可以為一個文檔中的一個單詞計算它對應任意一個Topic時的p(w|d)，然后根據這些結果來更新這個詞應該對應的topic。然后，如果這個更新改變了這個單詞所對應的Topic，就會反過來影響θd和φt。

LDA學習過程/04

LDA學習過程

LDA算法開始時，先隨機地給θd和φt賦值（對所有的d和t）。然后上述過程不斷重復，最終收斂到的結果就是LDA的輸出。再詳細說一下這個迭代的學習過程：1.針對一個特定的文檔ds中的第i單詞wi，如果令該單詞對應的topic為tj，可以把上述公式改寫為：pj(wi|ds)=p(wi|tj)*p(tj|ds)2.現在我們可以枚舉T中的topic，得到所有的pj(wi|ds)，其中j取值1~k。然后可以根據這些概率值結果為ds中的第i個單詞wi選擇一個topic。最簡單的想法是取令pj(wi|ds)最大的tj（注意，這個式子里只有j是變量），即argmax[j]pj(wi|ds)

LDA學習過程

3.然后，如果ds中的第i個單詞wi在這里選擇了一個與原先不同的topic，就會對θd和φt有影響了（根據前面提到過的這兩個向量的計算公式可以很容易知道）。它們的影響又會反過來影響對上面提到的p(w|d)的計算。對D中所有的d中的所有w進行一次p(w|d)的