1、 一、正態(tài)分布判別函數(shù)一、正態(tài)分布判別函數(shù) 1、為什么采用正態(tài)分布：、為什么采用正態(tài)分布： a、正態(tài)分布在物理上是合理的、廣泛的。、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡單，、正態(tài)分布數(shù)學(xué)上簡單，N(, ) 只有均值和只有均值和方差兩個(gè)參數(shù)。方差兩個(gè)參數(shù)。v2-3.1 正態(tài)分布決策理論正態(tài)分布決策理論2021/3/932211()exp(,)22xP xN 2、單變量正態(tài)分布：、單變量正態(tài)分布： :( )( ),()E xxP x dx其中均值或數(shù)學(xué)期望222( )()ExxP x dx， 方差2021/3/94列關(guān)系：概率密度函數(shù)應(yīng)滿足下)( xPX2295.011)()(

2、 , 0)(dxxPxxP從從p(x)的圖形上可以的圖形上可以看出，看出，只要有兩個(gè)只要有兩個(gè)參數(shù)參數(shù) 和和 2 2 ,就可以完就可以完全確定其曲線。全確定其曲線。 若服從正態(tài)分布的總體中隨若服從正態(tài)分布的總體中隨機(jī)抽取樣本機(jī)抽取樣本x，約有，約有95的樣的樣本落在本落在(2,22,2)中。樣本中。樣本的分散程度可以用的分散程度可以用 來表示來表示 , 越大分散程度越大。越大分散程度越大。 2021/3/95 正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上的分布規(guī)律。的分布規(guī)律。 因此它屬于因此它屬于概率密度函數(shù)類概率密度函數(shù)類，不是我們所討論的先，不

3、是我們所討論的先驗(yàn)概率驗(yàn)概率P(i)，也不是后驗(yàn)概率，也不是后驗(yàn)概率P(i|X)，而是，而是p(x|i)。2021/3/963、（多變量）多維正態(tài)分布、（多變量）多維正態(tài)分布 )()(21exp|)2(1)(1212xxxTd12, .,Td 為為d維均值向量也就是維均值向量也就是: （1）函數(shù)形式：）函數(shù)形式：x=(x1,x2,xd)T為為d維隨機(jī)向量維隨機(jī)向量 S S是是dd維協(xié)方差矩陣，維協(xié)方差矩陣，S S-1是是S S的逆矩陣，的逆矩陣，|S| S|為為S S的的行列式。行列式。 協(xié)方差矩陣協(xié)方差矩陣S S是對(duì)稱的，是對(duì)稱的，其中有其中有d(d+1)/2個(gè)獨(dú)立個(gè)獨(dú)立元素。元素。 202

4、1/3/97 由于由于x 可由可由 和和S S完全確定，所以實(shí)際上完全確定，所以實(shí)際上x 可由可由d d(d+1)/2+d(d+1)/2+d個(gè)獨(dú)立元素來確定。個(gè)獨(dú)立元素來確定。 、S S分別是向量分別是向量x和矩陣和矩陣(x- )(x- )T的期望。的期望。 多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同，但有很多相似之處，實(shí)際上單變量管不同，但有很多相似之處，實(shí)際上單變量正態(tài)分布正態(tài)分布只是維數(shù)為只是維數(shù)為1的多元分布。的多元分布。 2021/3/98 當(dāng)當(dāng)d=1時(shí)，時(shí)，只是一個(gè)只是一個(gè)11的矩陣，也就是只有的矩陣，也就是只有1個(gè)元素的矩陣，退化成一個(gè)數(shù)，

5、個(gè)元素的矩陣，退化成一個(gè)數(shù)，|1/2也就是標(biāo)準(zhǔn)差也就是標(biāo)準(zhǔn)差, ,11也就是也就是-2，而，而(X)T(X)也變成也變成(X-)2， 多元正態(tài)分布的概率密度函數(shù)中的多元正態(tài)分布的概率密度函數(shù)中的元元就是我們就是我們前面說得特征向量的分量數(shù)，也就是前面說得特征向量的分量數(shù)，也就是維數(shù)維數(shù)。 2021/3/99具體說：若具體說：若xi是是x的第的第i個(gè)分量，個(gè)分量， i是是 的第的第i個(gè)分量，個(gè)分量， ijij2 2是是S S的第的第i、j個(gè)元素。個(gè)元素。iiiiiidxxxdxxxxE)()(其中其中xi 為邊緣分布，為邊緣分布， 1211( )( )iiidxx dx dxdx dxdx202

6、1/3/910)(j2jiiijxxEj()()( ,)iijijijxxx x dx dx 協(xié)方差矩陣：協(xié)方差矩陣：222212222221221212211dddddd 是一個(gè)對(duì)稱矩陣，只考慮是一個(gè)對(duì)稱矩陣，只考慮S S為為正定矩陣的情況，也就是正定矩陣的情況，也就是: |S| S|所有的子式都大于所有的子式都大于02021/3/911 同單變量正態(tài)分布一樣，同單變量正態(tài)分布一樣，多元多元正態(tài)分布正態(tài)分布x 可以由可以由 和和S S完全確定，完全確定，常記為常記為N(,S,S)。2021/3/912(2) 多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)l參數(shù)參數(shù)和和完全決定分布完全決定分布l等概率密

7、度軌跡為超橢球面等概率密度軌跡為超橢球面 l不相關(guān)性等價(jià)于獨(dú)立性不相關(guān)性等價(jià)于獨(dú)立性 l邊緣分布和條件分布的正態(tài)性邊緣分布和條件分布的正態(tài)性 l線性變換的正態(tài)性線性變換的正態(tài)性 l線性組合的正態(tài)性線性組合的正態(tài)性2021/3/913.參數(shù)參數(shù) 和和S S對(duì)分布的決定性對(duì)分布的決定性 對(duì)于對(duì)于d維隨機(jī)向量維隨機(jī)向量x，它的均值向量，它的均值向量 也是也是d維的，維的，協(xié)方差矩陣是協(xié)方差矩陣是對(duì)稱對(duì)稱的，其中有的，其中有d d(d+1)/2(d+1)/2個(gè)獨(dú)立元素。個(gè)獨(dú)立元素。 x 可由可由 和和S S完全確定，實(shí)際上完全確定，實(shí)際上x 可由可由d d(d+1)/2+d(d+1)/2+d個(gè)獨(dú)立元素

8、決定。常記為：個(gè)獨(dú)立元素決定。常記為： x N(,S,S)2021/3/914.等密度點(diǎn)的軌跡為一超橢球面等密度點(diǎn)的軌跡為一超橢球面 由由x 的定義公式可知，右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密的定義公式可知，右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度度x 的值不變，所以等密度點(diǎn)滿足：的值不變，所以等密度點(diǎn)滿足：常數(shù))()(1xxT 二維情況下，上式的解是一個(gè)二維情況下，上式的解是一個(gè)橢圓軌跡橢圓軌跡，其長短，其長短軸方向由軸方向由協(xié)方差矩陣的特征向量決定，協(xié)方差矩陣的特征向量決定， 三維時(shí)是一個(gè)三維時(shí)是一個(gè)橢球面橢球面，超過三維則是，超過三維則是超橢球面超橢球面，主軸方向由協(xié)方差矩陣主軸方向由協(xié)方差矩陣S S的特征向量決定

9、，各主軸的長的特征向量決定，各主軸的長度則與相應(yīng)的特征值成正比。度則與相應(yīng)的特征值成正比。2021/3/915 從下圖可以看出，從正態(tài)分布總體中抽取的樣從下圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由本大部分落在由 和和S S所確定的一個(gè)區(qū)域里，這個(gè)區(qū)所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的域的中心中心由均值向量由均值向量 決定，區(qū)域的決定，區(qū)域的大小大小由由協(xié)方差矩協(xié)方差矩陣陣決定。決定。2021/3/916在數(shù)理統(tǒng)計(jì)中，令：在數(shù)理統(tǒng)計(jì)中，令： )()(12xxT式中式中 稱為稱為x到到 的馬氏距離（的馬氏距離（Mahalanobis）距離。）距離。 所以所以等密度點(diǎn)軌跡是等密度點(diǎn)軌跡是x到到

10、的馬氏距離的馬氏距離 為常為常數(shù)的超橢球面。數(shù)的超橢球面。 2021/3/917.不相關(guān)性等價(jià)于獨(dú)立性不相關(guān)性等價(jià)于獨(dú)立性 概率論中，一般來說，兩個(gè)隨機(jī)變量概率論中，一般來說，兩個(gè)隨機(jī)變量xi和和xj之間不之間不相關(guān)，并不意味著它們一定獨(dú)立。相關(guān)，并不意味著它們一定獨(dú)立。 如果如果xi和和xj之間不相關(guān)，則之間不相關(guān)，則xixj的數(shù)學(xué)期望有：的數(shù)學(xué)期望有：)()()(jijixExExxE如果如果xi和和xj相互獨(dú)立，則有：相互獨(dú)立，則有：)()(),(jijixPxPxxP2021/3/918 如果如果xi和和xj相互獨(dú)立，則它們之間一定不相關(guān)，反相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立

11、。之則不成立。 但是但是對(duì)服從正態(tài)分布的兩個(gè)分量對(duì)服從正態(tài)分布的兩個(gè)分量xi和和xj，若，若xi和和xj互互不相關(guān)，則它們之間一定獨(dú)立。不相關(guān)，則它們之間一定獨(dú)立。證明：見書證明：見書P27 根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間各分量間互不相關(guān)性與相互獨(dú)立等價(jià)互不相關(guān)性與相互獨(dú)立等價(jià)。 獨(dú)立性是比不相關(guān)更強(qiáng)的條件。獨(dú)立性是比不相關(guān)更強(qiáng)的條件。 不相關(guān)反映了不相關(guān)反映了xi和和xj的總體性質(zhì)。的總體性質(zhì)。 2021/3/919.邊緣分布與條件分布的正態(tài)性邊緣分布與條件分布的正態(tài)性從從(3)證明得出的結(jié)論證明得出的結(jié)論x 表達(dá)式，如果表達(dá)式，如果x用用x

12、j表示，有：表示，有： 2111111111()exp() )22xx也就是說，邊緣分布也就是說，邊緣分布x1 服從均值為服從均值為 ，方差為，方差為 11112 2的的正態(tài)分布：正態(tài)分布：),()(21111Nx同理，同理， ),()(22222Nx2021/3/920二元正態(tài)分布協(xié)方差矩陣二元正態(tài)分布協(xié)方差矩陣及其逆矩陣及其逆矩陣-1為為221112221222，下面以二元正態(tài)分布為例進(jìn)行證明下面以二元正態(tài)分布為例進(jìn)行證明221221222121112021/3/921222221122121122112221/22211111 exp()()2()()22xxxxdx2222111111

13、12221121/21/221/211111111 exp() exp()()(2 )22(2 )xxxdx1122( )( ,) p xp x x dx222222211112212112221/211exp()()2()()22 xxxxdx根據(jù)邊緣分布定義根據(jù)邊緣分布定義2021/3/9222211211222222112/12/111)()(2exp)2(dxxx=1 2222211211()()yxx令另外，條件分布，給定另外，條件分布，給定x1的條件下的條件下x2的分布：的分布： )(),()|(12112xxxxx證明條件分布仍然是正態(tài)分布（作業(yè)題）證明條件分布仍然是正態(tài)分布（作

14、業(yè)題）2021/3/923.線性變換的正態(tài)性線性變換的正態(tài)性 對(duì)于多元隨機(jī)向量的線性變換，仍為多元正態(tài)對(duì)于多元隨機(jī)向量的線性變換，仍為多元正態(tài)分布的隨機(jī)向量。分布的隨機(jī)向量。 就是：就是：x服從正態(tài)分布服從正態(tài)分布x N(,S,S)，對(duì)，對(duì)x作線性作線性變換變換y=Ax，其中，其中A為線性變換矩陣，且為線性變換矩陣，且|A|0|0，則，則y服從正態(tài)分布：服從正態(tài)分布：x N(A,A AS SA AT T)證明：證明： x經(jīng)過變換為經(jīng)過變換為y，設(shè)變換矩陣，設(shè)變換矩陣A為非奇異矩陣，為非奇異矩陣，y=Ax即即x=A-1y2021/3/924即即 Ex= ,Ey=n n根據(jù)雅克比行列式的定義，有根

15、據(jù)雅克比行列式的定義，有|J|=|A|x的均值向量為的均值向量為 ，y的均值向量為的均值向量為n n所以所以y的概密函數(shù)與的概密函數(shù)與x的概密函數(shù)之間的關(guān)系為：的概密函數(shù)之間的關(guān)系為：JyApJxpyp)()()(1所以：所以： n n =A 即即 =A-1n n2021/3/925由于：由于：|A|=|AT|=|AA|1/2（對(duì)稱正定對(duì)稱正定）由上面的結(jié)論可以得到：由上面的結(jié)論可以得到：11/2/211( )exp()()2(2 )Tdp yxxA111111/211 exp()()22TA yA vA yA vA111 exp() () ()22TTTyvAAyvAA2021/3/926即

16、：即： ),()(TAAANy 性質(zhì)性質(zhì)5說明了用非奇異陣說明了用非奇異陣A對(duì)對(duì)x作線性變換后，原來作線性變換后，原來的正態(tài)分布正好變成另一個(gè)參數(shù)不同的正態(tài)分布。的正態(tài)分布正好變成另一個(gè)參數(shù)不同的正態(tài)分布。 由于由于是對(duì)稱陣，根據(jù)高等代數(shù)知識(shí)總可以找到某是對(duì)稱陣，根據(jù)高等代數(shù)知識(shí)總可以找到某個(gè)個(gè)A，使得變換后，使得變換后y的協(xié)方差矩陣的協(xié)方差矩陣AAT為對(duì)稱陣，為對(duì)稱陣， 這就意味著這就意味著y的各個(gè)分量之間是相互獨(dú)立的，也就的各個(gè)分量之間是相互獨(dú)立的，也就是總可以找到一組坐標(biāo)系，使各隨機(jī)變量在新的坐標(biāo)是總可以找到一組坐標(biāo)系，使各隨機(jī)變量在新的坐標(biāo)系下是系下是獨(dú)立獨(dú)立的。的。2021/3/92

17、7.線性組合的正態(tài)性線性組合的正態(tài)性 若若x為多元正態(tài)隨機(jī)向量，則線性組合為多元正態(tài)隨機(jī)向量，則線性組合y=a aTx是一維的是一維的正態(tài)隨機(jī)變量：正態(tài)隨機(jī)變量：),()(aaaNyTT其中，其中，a a與與x同維。同維。證明證明 利用性質(zhì)利用性質(zhì)(5) 做線性變換做線性變換y=A ATx, 得得),()(AAANypTT2021/3/928 由性質(zhì)由性質(zhì)(5)，y是服從均值向量是服從均值向量A AT ，協(xié)方差陣，協(xié)方差陣ATA的多元統(tǒng)計(jì)分布的多元統(tǒng)計(jì)分布, 由性質(zhì)由性質(zhì)(4) ， y的邊緣分布的正態(tài)性，可以得出的邊緣分布的正態(tài)性，可以得出y=a aTx服從正態(tài)分布，服從正態(tài)分布， 其概率密度

18、函數(shù)為：其概率密度函數(shù)為：),()(aaaNyTT其中其中A=a a,A1為非奇異陣，為非奇異陣，A1為為d(d-1)為矩陣，為矩陣，y=y,Y1 TxAxxAxAyTTTTT11aa2021/3/929 2.3.2正態(tài)分布中的正態(tài)分布中的Bayes分類方法分類方法 前面，我們已經(jīng)把基于前面，我們已經(jīng)把基于Bayes公式的幾種分類判決公式的幾種分類判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。 這幾種方法中這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。基本的方法。 如果取如果取01損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最損失函數(shù)，

19、最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。 2021/3/930 下面以下面以最小錯(cuò)誤判決規(guī)則最小錯(cuò)誤判決規(guī)則為例來研究為例來研究Bayes分分類方法在正態(tài)分布中的應(yīng)用。類方法在正態(tài)分布中的應(yīng)用。 由最小錯(cuò)誤率判決規(guī)則抽象出來的判決函數(shù)如下：由最小錯(cuò)誤率判決規(guī)則抽象出來的判決函數(shù)如下：( )( |)() 1,2,iiig xx wP wic 如果如果類概率密度類概率密度是是正態(tài)分布正態(tài)分布的，的， 2021/3/931則則x|w wi N( i,S,Si 。 )()(21exp|)2()()(1212iiTiidiixxwPxg取對(duì)

20、數(shù)，得判別函數(shù)為取對(duì)數(shù)，得判別函數(shù)為111( )()()ln2ln| ln ( )222Tiiiiiidg xxxPw 2021/3/932下面對(duì)幾種特殊情況進(jìn)行討論。下面對(duì)幾種特殊情況進(jìn)行討論。情況一：情況一： 2,1,2,iI ic 該情況下，每類的協(xié)方差矩陣相等，而且類的該情況下，每類的協(xié)方差矩陣相等，而且類的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)各特征間相互獨(dú)立（由上節(jié)的性質(zhì)得知），具有得知），具有相等的方差相等的方差 2。2021/3/933222000000 因此：因此： di2|Ii211(1)先驗(yàn)概率先驗(yàn)概率P Pwwi i)與與P Pwwj j)不相等不相等2021/3/934其中：

21、其中： 21( )() ()ln()2Tiiiig xxxPw 22() ()1( )ln2lnln()222Tdiiiixxdg xPw 將上兩式代入將上兩式代入gi(x)：22() () |() ,1,2,Tiiiiijxxxxic為為x到類到類w wi的均值的均值向量向量 i的的“歐氏歐氏距離距離”的平方。的平方。與類別無關(guān)，可與類別無關(guān)，可以忽略，因此以忽略，因此gi(x)可簡化為：可簡化為：2021/3/935進(jìn)一步簡化得。進(jìn)一步簡化得。21( )() ()ln()2Tiiiig xxxPw 21(2)ln()2TTTiiiixxxPw xTx與與i無關(guān)，可以忽略：無關(guān)，可以忽略：2

22、021/3/936021( )( 2)ln()2TTTiiiiiiig xxPw xww iiw21021ln()2TiiiiPww 0( )Tiiig xw xw是一個(gè)線性函數(shù)。是一個(gè)線性函數(shù)。 因此可以進(jìn)一步寫成因此可以進(jìn)一步寫成 2021/3/937(2) P(w wi )=P，所有各類概率相等，所有各類概率相等 222|21)()(21)(iiTiixxxxg決策規(guī)則：對(duì)某個(gè)決策規(guī)則：對(duì)某個(gè)x計(jì)算計(jì)算 ( ),1,2, ,( )max( )ikikig x icgxg xxw若，則決策0( )Tiiig xw xw由于為線性函數(shù)，為線性函數(shù)， 其決策面由線性方程其決策面由線性方程 (

23、)( )0ijg xgx 構(gòu)成決策面是一個(gè)超平面。決策面是一個(gè)超平面。2021/3/9380()0Twxx2iI 在的特殊情況下，決策面方程可改寫成jiw202()1()ln()2()iijijjijPxPww滿足滿足 的的x的軌跡是的軌跡是w wi 與與w wj 類間的決策面類間的決策面0()0Twxx當(dāng)當(dāng)P(w wi )=P(w wj )時(shí)，超平面通過時(shí)，超平面通過 i 與與 j 連線中點(diǎn)并與連線中點(diǎn)并與連線正交連線正交2021/3/939兩個(gè)同心圓是兩類概率分布等密度點(diǎn)軌跡，兩個(gè)同心圓是兩類概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類的均值點(diǎn)。兩個(gè)圓心就是兩類的均值點(diǎn)。兩類的區(qū)分線兩類的區(qū)分線

24、l與與 1- 2垂直，其交點(diǎn)為垂直，其交點(diǎn)為x0 若若P(w w1 )P(w w2 )時(shí)，時(shí)，x0向先驗(yàn)向先驗(yàn)概率較小的那個(gè)類型的均值概率較小的那個(gè)類型的均值點(diǎn)偏移。點(diǎn)偏移。 1w121x2xHW2w0 xx0一般不是一般不是11-22的中點(diǎn)，的中點(diǎn)，但當(dāng)?shù)?dāng)P(w w1 )=P(w w2 )時(shí)，時(shí)，x0為為 1- 2的中點(diǎn)。的中點(diǎn)。 2021/3/940情況二：情況二：i 相等，即各類協(xié)方差相等相等，即各類協(xié)方差相等12.Mi因?yàn)榕c 無關(guān)11( )()()ln()2Tiiiig xxxPw 123()()().()iPPPPwwww若先驗(yàn)概率相等 從幾何上看，相當(dāng)于各類樣本集中于以該類均從幾

25、何上看，相當(dāng)于各類樣本集中于以該類均值點(diǎn)為中心的同樣大小和形狀的超橢球面內(nèi)。值點(diǎn)為中心的同樣大小和形狀的超橢球面內(nèi)。2021/3/941121( )()()()2Tiiig xxxr ， 馬氏距離 對(duì)于未知的對(duì)于未知的x，如果把，如果把x與各類均值相減，即與各類均值相減，即相當(dāng)于相當(dāng)于Mahalanobis距離的平方。這時(shí)把距離的平方。這時(shí)把x歸于最歸于最近一類。稱為近一類。稱為最小距離分類器最小距離分類器。1()()/2ln()TiiixxPw如果把-展開；與類別無關(guān)，與類別無關(guān)，可以忽略，可以忽略，2021/3/942這時(shí)判別函數(shù)可以寫成下面的形式0( ),Tiiig xw xw（線性函數(shù)

26、）gi（x）為）為線性函數(shù)線性函數(shù)，故決策面是一個(gè)，故決策面是一個(gè)超平面超平面。1iiw101ln()2TiiiiPww 2021/3/943如果決策域如果決策域R1和和R2相鄰，則決策面方程應(yīng)滿：相鄰，則決策面方程應(yīng)滿：( )( )0ijg xgx0()0Twxx即：1()ijw01()ln()1()()2()()ijijijTijijPPxww如果各類的如果各類的先驗(yàn)概率相等先驗(yàn)概率相等，則，則01()2ijx2021/3/944下面針對(duì)下面針對(duì)1，2二類情況進(jìn)行討論二類情況進(jìn)行討論( ),iiaI所以等概率面是橢圓，長軸由本征值決定000( )()0,()bWxxWxxHx與點(diǎn)積為所以與

27、正交，通過 點(diǎn)。1( ):();();ijijcWWH所以 與不同向不垂直于 值聯(lián)線。01( ):(),2;ijdxHH若各類先驗(yàn)概率相等，則通過均值聯(lián)線中點(diǎn)否則 離開先驗(yàn)概率大的一類。2021/3/945情況三情況三： 為任意，各類協(xié)方差矩陣不等為任意，各類協(xié)方差矩陣不等0:( ),TTiiiig xx Wxxww判別函數(shù))(lnln212ln22)()()(22idiTiiwPdxxxg這時(shí)判別函數(shù)為這時(shí)判別函數(shù)為 x 的的二次型二次型。112i111lnln()22TiiiiiPw1ii2021/3/94600()()TTijijijx WW xwwxww即： 2111111222111

28、222( )( )( )11()()()()22()1lnln2()TTg xgxg xxxxxPxPwwww 對(duì)于二類情況如果決策域，如果決策域，R1和和R2相鄰，則決策面方程應(yīng)滿足相鄰，則決策面方程應(yīng)滿足( )( )0ijg xgx2021/3/947圓)(a1x2x12橢圓)(b21各種圖形：下面看一下決策界面的21ww二類情況為條件獨(dú)立21xx2021/3/948雙曲線)(d122直線)(e2211拋物線)(c1212先驗(yàn)概率相等2021/3/9492.4 關(guān)于分類器的錯(cuò)誤率問題關(guān)于分類器的錯(cuò)誤率問題 在分類過程中，任何一種決策規(guī)則都有其相應(yīng)在分類過程中，任何一種決策規(guī)則都有其相應(yīng)的錯(cuò)

29、誤率，的錯(cuò)誤率， 當(dāng)采用指定的決策規(guī)則來對(duì)類條件概率密度及當(dāng)采用指定的決策規(guī)則來對(duì)類條件概率密度及先驗(yàn)概率均為已知的問題進(jìn)行分類時(shí)，它的錯(cuò)誤率先驗(yàn)概率均為已知的問題進(jìn)行分類時(shí)，它的錯(cuò)誤率是固定的。是固定的。 錯(cuò)誤率反映了分類問題固有的復(fù)雜性的程度。錯(cuò)誤率反映了分類問題固有的復(fù)雜性的程度。 對(duì)同一種問題設(shè)計(jì)出的多種不同的分類方案，對(duì)同一種問題設(shè)計(jì)出的多種不同的分類方案，通?？偸且藻e(cuò)誤率大小作為比較方案好壞的標(biāo)準(zhǔn)。通?？偸且藻e(cuò)誤率大小作為比較方案好壞的標(biāo)準(zhǔn)。 因此，在本書中錯(cuò)誤率是非常重要的參數(shù)。因此，在本書中錯(cuò)誤率是非常重要的參數(shù)。2021/3/9502.4.0 兩類決策的錯(cuò)誤率為下式兩類決策的

30、錯(cuò)誤率為下式 21( )(x)xx(x)xxttP eP pdP pd2211() () P P 從上式可以看出當(dāng)從上式可以看出當(dāng)x為多維向量的時(shí)候，進(jìn)為多維向量的時(shí)候，進(jìn)行積分運(yùn)算的工作量比較大。行積分運(yùn)算的工作量比較大。 因此對(duì)于實(shí)際問題，對(duì)錯(cuò)誤率的研究一般因此對(duì)于實(shí)際問題，對(duì)錯(cuò)誤率的研究一般從下面三點(diǎn)出發(fā)：從下面三點(diǎn)出發(fā)：1、按理論公式研究。、按理論公式研究。2、計(jì)算錯(cuò)誤率上界、計(jì)算錯(cuò)誤率上界3、實(shí)驗(yàn)估計(jì)、實(shí)驗(yàn)估計(jì)2021/3/9512.4.1 在一些特殊情況下錯(cuò)誤率的理論計(jì)算在一些特殊情況下錯(cuò)誤率的理論計(jì)算第一種情況第一種情況-正態(tài)分布且等協(xié)方差矩陣正態(tài)分布且等協(xié)方差矩陣 S S1 1

31、=S S2 2=S S3 3212112xlnx()lnxlnxln()xhlPppPww 則下面回顧一下最小錯(cuò)誤率貝葉斯決策的負(fù)對(duì)數(shù)似然比函數(shù)下面回顧一下最小錯(cuò)誤率貝葉斯決策的負(fù)對(duì)數(shù)似然比函數(shù)很顯然，很顯然，h(x)為隨機(jī)變量，記它的分布函數(shù)為為隨機(jī)變量，記它的分布函數(shù)為P(h|w wi)2021/3/952這樣貝葉斯決策的最小錯(cuò)誤率形式這樣貝葉斯決策的最小錯(cuò)誤率形式 dhhpdpePdhhpdpePtRtR222111xxxx12 )(/ )(ln21wwPPt 其中 在實(shí)際情況下，我們只考慮正態(tài)分布，因此在實(shí)際情況下，我們只考慮正態(tài)分布，因此h(x)可可以寫成如下形式：以寫成如下形式：2

32、021/3/953)|(ln)|(ln)(ln)(21wwxpxpxlxh2212211111ln212ln2)()21ln212ln2)()21dxxdxxTT（2121221111ln21)()21)()21xxxxTT（2121)()(lnwwwwxpp2021/3/954 上式表明決策面是上式表明決策面是x的二次型，如果協(xié)方差的二次型，如果協(xié)方差相等，決策面就變成相等，決策面就變成 x 的線性函數(shù)。即的線性函數(shù)。即)(21)(212111112TTTxxh（2121)()(lnwwwwxpp x 是是 d 維等協(xié)方差正態(tài)分布的隨機(jī)向量，而維等協(xié)方差正態(tài)分布的隨機(jī)向量，而 h(x) 是一維的隨