1、.1樸素貝葉斯算法樸素貝葉斯算法Nave Bayes.2知識回顧知識回顧貝葉斯知識.312001212,1, ,1,2, ;2,.nijnnEB BBEB Bi jnBBBB BB 定義設為試驗 的樣本空間為的一組事件 若則稱為樣本空間的一個劃分1. 樣本空間的劃分樣本空間的劃分1B2B3BnB1nB.42. 全概率公式全概率公式全概率公式全概率公式1211221,()0(1,2, ),( )(|) ()(|) ()(|) ()( ) (|)ninnniiEAEB BBP BinP AP A B P BP A B P BP A BP BP B P A B定義 設為試驗 的樣本空間為 的事件為的

2、一個劃分 且則.5圖示圖示A1B2B3B1nBnB證明證明12.nABABAB化整為零化整為零各個擊破各個擊破12()nAAABBB 1122( )() (|)() (|)() (|)nnP AP B P A BP B P A BP B P A B.6說明說明 全概率公式的主要用途在于它可以將一個全概率公式的主要用途在于它可以將一個復雜事件的概率計算問題復雜事件的概率計算問題,分解為若干個簡單事件分解為若干個簡單事件的概率計算問題的概率計算問題,最后應用概率的最后應用概率的可加性可加性求出最終求出最終結果結果.A1B2B3B1nBnB.7稱此為稱此為貝葉斯公式貝葉斯公式. 3. 貝葉斯公式貝葉

3、斯公式121,( )0,()0(1,2, ),(/) ()(|),1,2, .(|) ()niiiinjjjEAEB BBP AP BinP A B P BP BAinP A BP B定義設為試驗 的樣本空間為 的事件為的一個劃分 且則.8證明證明(| ) ()()( )iiiP A B P BP B AP A., 2 , 1ni 1() (|)() (|)iinjjjP B P A BP B P A B條件概率條件概率的概念的概念( )0,()( | )( ).P BP ABP A BP BBAFFF件件概概率率 若（ ， ，P）是一個概率空間，B，且對任意的A，稱 為在事件發生的條件下，事

4、條件 發生的( )0,()() ( )() ( ).P AP ABP B A P AP A B P B設則有乘法定理：乘法定理：.9由以往的數據分析得到由以往的數據分析得到的的概率概率, 叫做叫做先驗先驗概率概率.而在得到而在得到信息之后再重新加以修正的概率信息之后再重新加以修正的概率 叫做叫做后驗概率后驗概率.先驗概率與后驗概率先驗概率與后驗概率.10.11l簡單的說，貝葉斯定理是基于假設的先驗概率簡單的說，貝葉斯定理是基于假設的先驗概率、給定假設下觀察到不同數據的概率，提供了、給定假設下觀察到不同數據的概率，提供了一種計算后驗概率的方法。一種計算后驗概率的方法。l在人工智能領域，貝葉斯方法

5、是一種非常具有在人工智能領域，貝葉斯方法是一種非常具有代表性的不確定性知識表示和推理方法。代表性的不確定性知識表示和推理方法。貝葉斯理論貝葉斯理論.12貝葉斯定理：貝葉斯定理：lP(A)是A的先驗概率或邊緣概率。之所以稱為“先驗”是因為它不考慮任何B方面的因素。lP(A|B)是已知B發生后A的條件概率，也由于得自B的取值而被稱作A的后驗概率。lP(B|A)是已知A發生后B的條件概率，也由于得自A的取值而被稱作B的后驗概率。lP(B)是B的先驗概率或邊緣概率，也作標準化常量（normalized constant）.13貝葉斯定理：貝葉斯定理：.14關于貝葉斯分類：關于貝葉斯分類：對于貝葉斯網絡

6、分類器，若某一待分類的樣本D，其分類特征值為 ，則樣本D 屬于類別yi 的概率P( C = yi | X1 = x1 , X2 = x 2 , . , Xn = x n) ，( i = 1 ,2 , . , m) 應滿足下式：而由貝葉斯公式：其中，P( C = ci) 可由領域專家的經驗得到,而P( X = x | C = ci) 和P( X = x) 的計算則較困難。(/) ()()()jjjP Xx Yy P YyP Yy XxP Xx12x=(x ,x ,.,x )n12P(Y =y) =M A X P(Y =y),P(Y =y),.,P(Y =y)jmX xX xX xX x.15樸素

7、貝葉斯算法原理：樸素貝葉斯算法原理：l .16樸素貝葉斯算法原理：樸素貝葉斯算法原理： .17樸素貝葉斯算法原理：樸素貝葉斯算法原理： .18樸素貝葉斯算法原理：樸素貝葉斯算法原理： 1(|)(|)nikikP XyP ay.19樸素貝葉斯算法原理：樸素貝葉斯算法原理： .20貝葉斯算法處理流程：貝葉斯算法處理流程：.21貝葉斯算法的處理流程：貝葉斯算法的處理流程：l第一階段第一階段準備階段：準備階段： 該階段為樸素貝葉斯分類做必要的準備。主要是依據具體情況確定特征屬性，并且對特征屬性進行適當劃分。然后就是對一部分待分類項進行人工劃分，以確定訓練樣本。 這一階段的輸入是所有的待分類項，輸出時特

8、征屬性和訓練樣本。分類器的質量很大程度上依賴于特征屬性及其劃分以及訓練樣本的質量。.22貝葉斯算法處理流程：貝葉斯算法處理流程：l第二階段第二階段分類器訓練階段：分類器訓練階段： 主要工作是計算每個類別在訓練樣本中出現頻率以及每個特征屬性劃分對每個類別的條件概率估計。輸入是特征屬性和訓練樣本，輸出是分類器。l第三階段第三階段應用階段：應用階段： 這個階段的任務是使用分類器對待分類項進行分類，其輸入是分類器和待分類項，輸出是待分類項與類別的映射關系。.23購買電腦實例：購買電腦實例：.24購買電腦實例：購買電腦實例：l .25購買電腦實例：購買電腦實例：（2）計算每個特征屬性對于每個類別的條件概

9、率：P(age=“30”|buys_computer=“yes”)=2/9=0.222P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(student=“yes”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(age=“30”|buys_computer=“no”)=3/5=0.600 P(income=“medium”|buys_computer=“no”)=2/5=0.400P(student=“yes”|buys_c

10、omputer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.400.26購買電腦實例：購買電腦實例：l .27購買電腦實例：購買電腦實例：P(X | buys_computer = “no”) P(buys_computer = “no”) = 0.0190.357 = 0.007 l因此，對于樣本X，樸素貝葉斯分類預測buys_computer =”yes”l特別要注意的是：樸素貝葉斯的核心在于它假設向量的所有分量之間是獨立的。.28總結總結l樸素貝葉斯算法的優點： a. 算法邏輯簡單，易于實現； b. 分類過程

11、中時空開銷小； c. 算法穩定，對于不同的數據特點其分類性能差別不大，健壯性比較好。.29總結總結l那么那么“貝葉斯分類法的效率如何呢？貝葉斯分類法的效率如何呢？” 該分類法與決策樹和神經網絡分類法的各種比較試驗表明，在某些領域，貝葉斯分類法足以與它們相媲美。理論上講，與其他所有分類算法相比，貝葉斯分類具有最小的錯誤率，然而，實踐中并非總是如此。這是因為對其使用的假定（如類條件獨立性）的不正確性，以及缺乏可用的概率數據造成的。 貝葉斯分類法還可以用來為不直接使用貝葉斯定理的其他分類法提供理論判定。例如，在某些假定下，可以證明：與樸素貝葉斯分類法一樣，許多神經網絡和曲線擬合算法輸出的最大的后驗假定。.30對比決策樹分類對比決策樹分類l整棵決策樹就對應著整棵決策樹就對應著一組析取表達式規則一組析取表達式規則。.31總結：總結：l .32擴展：擴展：l .33擴展：擴展：l對于第二個問題：樸素貝葉斯算法是在假定各個特征屬性相互獨立的情況下提出來，這在現實生活中是很難實現的，所以針對這個問題人們做了大量工作解決這個缺點。 （1）如果特征屬性之間是有聯系的，并且是一個有向無環圖，可以采用另一個相關的貝葉斯分類算法貝葉斯網絡。在此不再介紹。 （2）除了貝葉斯網絡還有kononenko提出的semi-nave bayesian 算法，稱為半樸素貝葉斯算法，.34擴展：擴展：l該