6.11.4學習貝葉斯信念網6.11.5貝葉斯網的梯度上升訓練

6.11.6學習貝葉斯網的結構

6.11.6學習貝葉斯網是否可以設計出有效的算法以從訓練數據中學習到貝葉斯信念網？對于這一問題有多種可以考慮的框架：—首先網絡結構可以預先給出，或可由訓練數據中推得。—其次，所有的網絡變量可以直接從每個訓練樣例中觀察到，或某些變量不能觀察到。當網絡結構預先已知且變量可以從訓練樣例中完全獲得時，通過學習得到條件概率表就比較簡單，只需要像在樸素貝葉斯分類器中那樣估計表中的條件概率項。網絡結構已知，但只有一部分變量值能在數據中觀察到，學習就困難得多了。這一問題在某種程度上類似于在人工神經網絡中學習隱藏單元的權值，其中輸入輸出的節點值由訓練樣例給出，但隱藏單元的值未指定。針對這一問題，采用簡單的梯度上升過程以學習條件概率表中的項。這一梯度上升過程搜索一個假設空間，它對應于條件概率表中所有可能的項。在梯度上升中被最大化的指標函數是給定假設h下觀察到訓練數據D的概率P(D|h)。就相當于極大似然假設

6.11.5貝葉斯網的梯度上升訓練梯度上升的規則：通過lnP(D|h)的梯度來使P(D|h)最大化。其中代表條件概率表中的一個表項。為在給定父節點取值時,網絡變量值為

的概率。

例如:圖6-3中條件概率表中最右上方的表項，那么為變量Campfire，是其父節點的元組<Storm，BusTourGroup>，=true,并且=

<False,False>。具體的算法：對于每個，lnP(D|h)的梯度是對每個求導數得到。

（6.25）

例如：為計算對應圖6-3中表左上方的表項的導數，需要對D中的每個訓練樣例d計算P(Camfire=True，Storm=False,BusTourGroup=False|d)。當訓練樣例d中無法觀察到這些變量時，這些概率可用標準的貝葉斯網絡推理的過程中計算得到。用梯度上升來更新每一個

+其中

是一個小常量，稱為學習率。將權值

歸一化，保持有效的概率在區間[0,1]之間，還要求對所有的i,k保持1像其他基于梯度算法中的那樣，該算法只能保證尋找到局部最優解

6.11.6學習貝葉斯網的結構當網絡的結構是未知的，數據是可完全觀察，學習貝葉斯因此網絡也是很困難的。此時常采用K2的啟發式搜索算法來學習網絡結構。K2算法用于貪婪搜索(總是做出在當前看來是做好的選擇，而不是從整體出發)處理模型選擇問題：先定義一種評價網絡結構的優劣的評分函數，再從一個網絡的開始，根據事先確定的最大父節點數目和節點的次序，選擇分值最高的節點作為該節點的父節點。K2算法使用后驗概率作為評分函數：算法的偽代碼：過程描述：k2的出發點是一個包含所有節點，但卻沒有邊的無向圖。在搜索的過程中，k2按順序逐個考察中的變量，確定其父親節點，然后添加相應的邊。

對某一變量Xj,假設K2已經找到它的一些父親節點。如果||<u,即Xj的父親節點的個數還未達到上界u，那么就繼續為它尋找父節點，具體的做法是首先考慮那些在中排在Xj之前，但還不是Xj的父節點的變量，從這些變量中選出Xi,使得新的家族CH評分