1、貝葉斯判別分析貝葉斯判別分析 匯報人：匯報人： 學號：學號：從距離判別法來看，它存在以下不足： （1）判別方法與總體各自出現的概率的大小無關； （2）判別方法與錯判之后所造成的損失無關。從費歇爾判別法來看，它隨著總體個數的增加，建立的判別函數式個數也增加，因而計算起來比較麻煩。如果對多個總體的判別考慮的不是建立判別式，而是計算新給樣品屬于各總體的條件概率P(l/x)，比較這k個概率的大小，然后將樣品判歸為來自概率最大的總體，這種判別方法稱為貝葉斯判別方法貝葉斯判別方法。 貝葉斯判別分析先驗概率和后驗概率 先驗概率是指根據以往經驗和分析得到的概率，它往往作為“由因求果”問題中的“因”出現。 后驗

2、概率是指在得到“結果”的信息后重新修正的概率，是“執果尋因”問題中的“因”。后驗概率是基于新的信息，修正原來的先驗概率后所獲得的更接近實際情況的概率估計。先驗概率和后驗概率的區別： 先驗概率不是根據有關自然狀態的全部資料測定的，而只是利用現有的材料(主要是歷史資料)計算的；后驗概率使用了有關自然狀態更加全面的資料，既有先驗概率資料，也有補充資料； 先驗概率的計算比較簡單，沒有使用貝葉斯公式；而后驗概率的計算，要使用貝葉斯公式，而且在利用樣本資料計算邏輯概率時，還要使用理論概率分布，需要更多的數理統計知識。1、Bayes判別法基本思想 Bayes判別法的基本思想是假定對所研究的對象已有一定的認識

3、，常用先驗概率來描述這種認識；然后抽取一個樣本，用樣本來修正已有的認識（先驗概率分布），得到后驗概率分布。各種統計推斷都是通過后驗概率分布來進行。2、多元正態總體的、多元正態總體的Bayes判別法判別法在實際問題中遇到的許多總體往往服從正態分布，下面給出p元正態總體的Bayes判別法。（1）判別函數的導出）判別函數的導出 由前面的敘述可知，使用Bayes判別法作判別分析，首先要知道待判總體的先驗概率和先驗概率和密度函數密度函數。對于先驗概率，一般用樣品的頻率 來代替 。或者令先驗概率相等，這時可以認為先驗概率不起作用。nnqggmax)/( 2121ln21ln)()(21ln21ln)/(m

4、ax)( )/()/()()()(21exp)2()()(1)()(1)()(1)()()(1)()()()()()(1)()(2/1)(2/ggggggggggggggggggggggggpgxgZxxxqxxqxgZgxfqggxgpxgpxfgxxxfp則問題轉化為：無關的項，記為：取對數并去掉與改令為何值都是常數，故可，而分式中的分母不論的最大只關心尋找使的表達式中，因為我們代入方差陣。把總體的均值向量和協分別是第和式中：元正態分布密度函數為（2）假設協方差陣相等）假設協方差陣相等max21ln)/( ln21)/()/()(1)()(1)(1)()()()2()1()(ggggggg

5、gkgxqxgygxxxgZkxkxgZ判別函數與判別準則，最終得到如下形式的關，求最大時可以去掉無兩項與和中的，這時即個總體的協差陣相同，很大。如果假定函數，實際計算工作量二次且對的行列式及逆矩陣，而個總體的協差陣中含有（3）計算后驗概率）計算后驗概率kikikikiiiggggggkixiyxgyxxiyxxgyxxiyxxgyxfqxfqxgPgxfqxxxfqxgyxiyxgyxgPxgPxgyxgPxgy11111)/(exp)/(exp)(exp)/(exp)(exp)/(exp )()/(exp)()/(exp)()()/()(ln()()()(ln()/()/(exp)/(ex

6、p)/( )/()/()/()/(所以無關的部分。中與是其中因為：算出之后，就可以根據下式，但是有了率的大小，而不是后驗概要根據判別式在進行分類計算時，主總體。歸入第則把樣品若。，算代入判別式中：分別計因此我們只須把樣品必為最大，其為最大的由上式知，使hxxgyxhykgxgyxxgPhykg)/(max)/( , 2 , 1)/()/(1例（胃癌的鑒別）例（胃癌的鑒別）為了判別病人是胃癌、還是萎縮性胃炎。現對患有胃癌、萎縮性胃炎和非胃炎患者中隨機抽取15個病人，每人化驗4項生化指標：血清銅蛋白（X1）、藍色反映（X2）、尿吲哚乙酸（X3）和中性硫化物（X4），具體數據見表5.10。試用貝葉斯

7、判別分析，對這15個樣品進行判別歸類。并在此基礎上，判斷X1=205，X2=140，X3=11，X4=20屬于哪一種患者？類別序號血清銅蛋白藍色反應 尿吲哚乙酸中性硫化物 胃癌患者胃癌患者12281342011224513410403200167122741701507851001672014非胃癌患者萎縮性胃炎患者622512571471301006128150117769120133102610160100510非胃炎患者1118511551912170125641316514253141351082121510011772)8 , 5 , 4 .121,151();6 .13, 7 ,1

8、15,157();0 .20, 8 .13,40.150,60.188()3()2()1(XXX解 933.95833. 67333.144833. 6034.2022 .14867.4472 .14367.220933.158333.144867.44933.1581 .20340986. 131lnlnlnln321qqq由于 三組判別函數分別為：432134321243211059. 0100. 0637. 0130. 0598.490986. 1012. 0317. 0595. 0130. 0721.460986. 1073. 0778. 0753. 0164. 0212.790986. 1xxxxfxxxxfxxxxf判別原則： 樣品屬于判別函數值最大的一組。回判結果如表5.11所示：類別序號原分類Actual回判組別后驗概率 胃癌患者胃癌患者1110.9982110.9773110.999413*0.5785110.999非胃癌患者萎縮性胃炎患者6220.4577220.700823*0.5189220.66210220.616非胃炎患者1132*0.61612330.68113330.8391