1、貝葉斯網絡(基礎知識)1基本概率公理1) 命題我們已經學過用命題邏輯和一階謂詞邏輯表達命題。在概率論中我們采用另外一種新的表達能力強于命題邏輯的命題表達方式，其基本元素是隨機變量。女口： Weather=snow; Temperature=high, etc。在概率論中，每個命題賦予一個信度，即概率2) 在隨機現象中，表示事件發生可能性大小的一個實數稱為事件的概率用P(A)表示。如P(硬幣=正面)=0.5。3) 在拋硬幣這個隨機現象中，落地后硬幣的所有可能結果的集合構成樣本空間。4) P(A)具有以下性質：True0 < P(A) < 1, P( A)+P( A)=1P(true)

2、 = 1 and P(false) = 0 P(A B) = P(A) + P(B) - P(A B) (or, P(AV B)=P(A)+P(B), if AA B=，即 A,B 互斥)2隨機變量隨機變量是構成語言的基本元素：如本書提到的天氣、骰子、花粉量、產品、Mary，公共汽車，火車等等。1) 典型情況下，隨機變量根據定義域的類型分成3類：布爾隨機變量：如：牙洞Cavity的定義域是<true, false離散隨機變量：如：天氣Weather的定義域是<sunny, rainy, cloudy, snow>連續隨機變量：如：溫度Temperature的定義域是0, 10

3、0。這里我們主要側重于離散隨機變量。2) 隨機變量的性質每個隨機變量都有有限個狀態，(即狀態有限的定義域)，且定義域中的值必須互斥。如天氣變量的狀態有： <晴朗、多云、雨、雪>,并且每個狀態都同一個實數相聯系，該實數表明變量處于該狀態時的概率。如今天的天氣情況：P(天氣=晴)=0.8P(天氣=多云)=0.1P(天氣=雨)=0.1P(天氣=雪)=0。或簡單的寫作：P(Weather)=<0.8,0.1,0.1,0>變量的所有狀態的概率取值構成這些狀態的概率分布P(V) =( (Vi), (V2),(Vn)每個變量狀態的概率值為01的實數，所有狀態的概率和為1。3) 很多情

4、況下，許多隨機事件的發生，是由多個因素決定的，即由多個隨機變量確定。如:X=低乂=中乂=高Y=多云0.50.010.01丫=晴0.20.190.090.5 0.01 0.01其聯合概率分布為P(X,Y)= |，其所有項之和為1。0.2 0.19 0.09一3先驗和后驗概率1) 與命題a相關聯的無條件概率或稱為先驗概率：是在沒有任何其它信息存在的情況下關于 命題a的信度(概率)，寫做P(a)。例如：關于命題的先驗概率P(Cavity=true)=0.1 或者 P(cavity)=0.1P(Weather=su nn y)=0.8先驗概率分布P(Weather)=晴，多云，雨，雪 =0.8,0.1

5、,0.1,0以及聯合概率分布為0.5 0.01 0.01P(X,Y)= I0.2 0.19 0.09 J注意：只有在不存在其他信息的情況下，才能夠用先驗概率P(a)來表示。2) 一旦得到了關于先前未知的、組成域的隨機變量的某些證據，先驗概率將不再可用了。我們就必須使用給定新信息關于a的條件概率(后驗概率)來表示和推理用符號 P(A|B)來表示，其中A , B是任何命題，B是和A相關的條件。如：P(cavity=true|toothache = true) = 0.8即對于一個患牙疼的病人，其有牙洞的概率是0.8關于火車到達情況的概率P(火車)為先驗概率分布(P(火車=晚點)=0.1是先驗概率)

6、。而P(火車=晚點|Mary=遲到)、P(火車=晚點|Mary=遲到，公共汽車=晚點)，在Mary遲到 和公共汽車晚點的基礎上計算火車晚點的概率，是后驗概率條件概率可以根據無條件概率定義和計算：P (a | b) = P (a ,b) / P(b)而P (a ,b) = P (a | b) P (b) = P(b | a) P(a)稱為乘法規則可以理解為要使 a和b同時為真，我們需要b為真，而且我們需要在已知b的條件下a也為真。調換a, b的位置同理。對于所有變量的所有狀態取值我們可以用以下公式表示：P(X,Y)二 P(X |Y)P(Y)二 P(Y|X)P(X)如P(Cloud_cover,P

7、ollen)= P(Cloud_cover | Pollen ) P(Pollen)對不同的變量取值得到以下聯合概率分布情況x=氐X沖乂=高Y=多云0.50.010.01丫=晴0.20.190.09P (Weather,Cavity) = P(Weather | Cavity) P (Cavity)而任何一個概率查詢都能從聯合概率分布中得到解答。如：教材p93關于p86頁Mary上班遲到例子的聯合概率分布表P(Mary，公共汽車，火車)由該表我們可以計算如下情況：P(公共汽車=晚點|Mary=遲到)=P(公共汽車=晚點， Mary=遲到)/P(Mary=遲到)=(0.054 + 0.027)

8、/ (0.0063+0.063+0.054+0.027 ) =0.054同理，可以計算P(火車=晚點|Mary=遲到)=0.6P(火車=晚點|Mary=遲到，公共汽車=晚點)=P(Mary=遲到，公共汽車=晚點，火車=晚點”P(公共汽車=晚點，Mary=遲到)=(0.027)/( 0.027+0.054)=0.33根據乘法規則，得到鏈式規則P (X1,Xn) = P(Xn | X1,.,Xn-1) P(X1,.,Xn-1)=P(Xn-1 | X1,.,Xn-2) P(Xn | X1,.,Xn-1) P(X1,.,Xn-2)= * =P(Xn-1 | X1,.,Xn-2) P(Xn | X1,.

9、,Xn-1) P(X1,.,Xn-2) .P(X 2|X”P(X1)4決對獨立性P (A|B) = P (A) or P (B|A) = P(B)or P(A, B) = P (A) P (B)即一件事情的發生和另一件事情沒有關系，如下圖天氣的情況對是否有牙洞沒有關系，同樣，是否長牙洞對天氣沒有影響，所以天氣和牙洞之間是獨立的。而 toothache和catch之間則滿足條件獨立性，見65貝葉斯法則由乘法公式，我們得到P (A | B) = P (A, B) / P (B)=(P(B|A)P(A)/P(B)這就是著名的 貝葉斯公式。貝葉斯公式幾乎是所有概率推理的現代人工智能系統的基礎。這個式子

10、同樣表示一組公式，每個公式處理變量的特定取值。我們還有某些場合要在某個背景證據e上使用一個更通用版本的條件化公式:P(A|B,e) J(B|A，e)P(A|e)P(B |e)應用貝葉斯法則：一個簡單的例子貝葉斯法則是在一個條件概率和2個無條件概率的基礎上計算另一個條件概率。而在實際中，這3項很好估計，所以貝葉斯公式很有用。如在一個醫療診斷的任務中：醫生知道腦膜炎引起脖子僵硬的概率為0.5，病人患腦膜炎的先驗概率是 1/50000 ,而任何一個病人脖子僵硬的先驗概率為 1/20。令s表示病人脖子僵硬的命題， m表示病人患腦 膜炎的命題，P(s|m)=0.5P(m)=1/50000P(s)=1/2

11、0P(m|s)= (P(s|m) P(m)/ P(s)=0.0002對于知道5000個病例中有一個脖子僵硬的的人暗示著有腦膜炎，這些醫生不需要懂貝葉斯 法則。但是當某一地區，關于腦膜炎的先驗概率發生改變時(P(s|m)不受影響)P(m|s)就會隨之改變，所有貝葉斯公式為實現在現實世界中可行的概率系統提供了所需要的至關重要的 魯棒性(穩定性)。6使用貝葉斯法則：合并證據由上述可知貝葉斯法則對于回答在某一條證據的條件約束下的概率問題是非常有用的，而且我們已經討論過概率信息經常是以P (結果|原因)的形式出現的。當我們有兩條或者更多條證據時，會有什么事情發生呢？如：P(Cavity|toothach

12、 eA catch )可以通過全聯合分布找到答案。但是這種方法不適用于變量比較過的情況。我們也可以用貝葉斯法則重新對問題進行表達：P(Cavity|toothach eA catch ) = P(toothacheA catch |Cavity)P(Cavity)我們需要了解在 Cavity每個取值下toothache A catch的條件概率，同樣，不適用于多個變 量的情況。為了解決以上問題，我們利用獨立性 。如果牙齒被感染(探針)，那么牙齒可能有洞，而有洞的牙齒也能引起牙疼，但是，在了解病人是否有牙洞后，這些變量( catch和toothache )就相互獨立了。每個變量取值 都是由牙洞導

13、致的，但是他們彼此之間沒有直接影響：牙疼依賴于神經狀態，是否感染取決于牙醫的技術，這與牙疼不相關。因此根據這個性質，P(toothacheA catch |Cavity) = P(toothache |Cavity)P( catch|Cavity) 。這個公式表達了當給定Cavity時候，toothache 和catch的條件獨立性：給定第三個隨機變量Z (證據)之后，兩個隨機變量X和Y的條件獨立性的一般定義是：P(X,Y|Z)=P(X|Z)P(Y|Z)也可以用以下形式來表示P(X|Y,Z)=P(X|Z)和 P(Y|X,Z) = P(Y|Z)所以P(Cavity|toothach eA catch ) = P(toothache |Cavity)P( catch|Cavity) P(Cavity