2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策Bayes決策的三個(gè)前提：類別數(shù)確定各類的先驗(yàn)概率P(ωi)已知各類的條件概率密度函數(shù)p(x|ωi)已知Bayes決策中，類條件概率密度的選擇要求：模型合理性計(jì)算可行性最常用概率密度模型：正態(tài)分布觀測值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，它們（近似）服從正態(tài)分布。計(jì)算、分析最為簡單的模型。

一、正態(tài)分布判別函數(shù)

1、為什么采用正態(tài)分布：

a、正態(tài)分布在物理上是合理的、廣泛的。

b、正態(tài)分布數(shù)學(xué)上簡單，N(μ,σ2)只有均值和方差兩個(gè)參數(shù)?！?-3.1正態(tài)分布決策理論正態(tài)分布中的Bayes決策2、單變量正態(tài)分布：正態(tài)分布中的Bayes決策從p(x)的圖形上可以看出，只要有兩個(gè)參數(shù)m和s2,就可以完全確定其曲線。

若服從正態(tài)分布的總體中隨機(jī)抽取樣本x，約有95％的樣本落在(m-2s,m+2s)中。樣本的分散程度可以用s來表示

,s越大分散程度越大。

正態(tài)分布中的Bayes決策

正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類，不是我們所討論的先驗(yàn)概率P(ωi)，也不是后驗(yàn)概率P(ωi|X)，而是p(x|ωi)。正態(tài)分布中的Bayes決策3、（多變量）多維正態(tài)分布為d維均值向量也就是:（1）函數(shù)形式：x=(x1,x2,…,xd)T為d維隨機(jī)向量S是d×d維協(xié)方差矩陣，S-1是S的逆矩陣，|S|為S的行列式。協(xié)方差矩陣S是對稱的，其中有d×(d+1)/2個(gè)獨(dú)立元素。

正態(tài)分布中的Bayes決策

由于r(x)可由m和S完全確定，所以實(shí)際上r(x)可由d×(d+1)/2+d個(gè)獨(dú)立元素來確定。m、S分別是向量x和矩陣(x-m)(x-m)T的期望。

多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同，但有很多相似之處，實(shí)際上單變量正態(tài)分布只是維數(shù)為1的多元分布。正態(tài)分布中的Bayes決策

當(dāng)d=1時(shí)，Σ只是一個(gè)1×1的矩陣，也就是只有1個(gè)元素的矩陣，退化成一個(gè)數(shù)，|Σ|1/2也就是標(biāo)準(zhǔn)差σ,Σ-1也就是σ-2，而(X－μ)T(X－μ)也變成(X-μ)2，

多元正態(tài)分布的概率密度函數(shù)中的元就是我們前面說得特征向量的分量數(shù)，也就是維數(shù)。

正態(tài)分布中的Bayes決策具體說：若xi是x的第i個(gè)分量，mi是m的第i個(gè)分量，sij2是S的第i、j個(gè)元素。其中r(xi)為邊緣分布，

正態(tài)分布中的Bayes決策協(xié)方差矩陣：

是一個(gè)對稱矩陣，只考慮S為正定矩陣的情況，也就是:|S|所有的子式都大于0正態(tài)分布中的Bayes決策

同單變量正態(tài)分布一樣，多元正態(tài)分布r(x)可以由m和S完全確定，常記為N(m,S)。正態(tài)分布中的Bayes決策(2)多元正態(tài)分布的性質(zhì)參數(shù)μ和Σ完全決定分布等概率密度軌跡為超橢球面不相關(guān)性等價(jià)于獨(dú)立性邊緣分布和條件分布的正態(tài)性線性變換的正態(tài)性線性組合的正態(tài)性正態(tài)分布中的Bayes決策①.參數(shù)m和S對分布的決定性

對于d維隨機(jī)向量x，它的均值向量m也是d維的，協(xié)方差矩陣是對稱的，其中有d×(d+1)/2個(gè)獨(dú)立元素。

r(x)可由m和S完全確定，實(shí)際上r(x)可由d×(d+1)/2+d個(gè)獨(dú)立元素決定。常記為：

r(x)～N(m,S)正態(tài)分布中的Bayes決策②.等密度點(diǎn)的軌跡為一超橢球面

由r(x)的定義公式可知，右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度r(x)的值不變，所以等密度點(diǎn)滿足：

二維情況下，上式的解是一個(gè)橢圓軌跡，其長短軸方向由Σ協(xié)方差矩陣的特征向量決定，三維時(shí)是一個(gè)橢球面，超過三維則是超橢球面，主軸方向由協(xié)方差矩陣S的特征向量決定，各主軸的長度則與相應(yīng)的特征值成正比。正態(tài)分布中的Bayes決策

從下圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由m

和S所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的中心由均值向量m決定，區(qū)域的大小由協(xié)方差矩陣決定。正態(tài)分布中的Bayes決策在數(shù)理統(tǒng)計(jì)中，令：式中g(shù)稱為x到m的馬氏距離（Mahalanobis）距離。

所以等密度點(diǎn)軌跡是x到m的馬氏距離g為常數(shù)的超橢球面。

正態(tài)分布中的Bayes決策③.不相關(guān)性等價(jià)于獨(dú)立性

概率論中，一般來說，兩個(gè)隨機(jī)變量xi和xj之間不相關(guān)，并不意味著它們一定獨(dú)立。

如果xi和xj之間不相關(guān)，則xixj的數(shù)學(xué)期望有：如果xi和xj相互獨(dú)立，則有：正態(tài)分布中的Bayes決策

如果xi和xj相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立。

但是對服從正態(tài)分布的兩個(gè)分量xi和xj，若xi和xj互不相關(guān)，則它們之間一定獨(dú)立。證明：見書P27

根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間互不相關(guān)性與相互獨(dú)立等價(jià)。

獨(dú)立性是比不相關(guān)更強(qiáng)的條件。不相關(guān)反映了xi和xj的總體性質(zhì)。正態(tài)分布中的Bayes決策④.邊緣分布與條件分布的正態(tài)性從(3)證明得出的結(jié)論r(x)表達(dá)式，如果x用xj表示，有：也就是說，邊緣分布r(x1)服從均值為m，方差為s112的正態(tài)分布：同理，正態(tài)分布中的Bayes決策二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為下面以二元正態(tài)分布為例進(jìn)行證明正態(tài)分布中的Bayes決策根據(jù)邊緣分布定義正態(tài)分布中的Bayes決策=1

另外，條件分布，給定x1的條件下x2的分布：證明條件分布仍然是正態(tài)分布（作業(yè)題）正態(tài)分布中的Bayes決策⑤.線性變換的正態(tài)性

對于多元隨機(jī)向量的線性變換，仍為多元正態(tài)分布的隨機(jī)向量。

就是：x服從正態(tài)分布r(x)～N(m,S)，對x作線性變換y=Ax，其中A為線性變換矩陣，且|A|≠0，則y服從正態(tài)分布：r(x)～N(Am,ASAT)證明：x經(jīng)過變換為y，設(shè)變換矩陣A為非奇異矩陣，y=Ax即x=A-1y正態(tài)分布中的Bayes決策即Ex=m,Ey=n根據(jù)雅克比行列式的定義，有|J|=|A|x的均值向量為m，y的均值向量為n所以y的概密函數(shù)與x的概密函數(shù)之間的關(guān)系為：所以：n

=Am

即m

=A-1n正態(tài)分布中的Bayes決策由于：|A|=|AT|=|AA|1/2（對稱正定）由上面的結(jié)論可以得到：正態(tài)分布中的Bayes決策即：

性質(zhì)5說明了用非奇異陣A對x作線性變換后，原來的正態(tài)分布正好變成另一個(gè)參數(shù)不同的正態(tài)分布。

由于∑是對稱陣，根據(jù)高等代數(shù)知識總可以找到某個(gè)A，使得變換后y的協(xié)方差矩陣A∑AT為對稱陣，

這就意味著y的各個(gè)分量之間是相互獨(dú)立的，也就是總可以找到一組坐標(biāo)系，使各隨機(jī)變量在新的坐標(biāo)系下是獨(dú)立的。正態(tài)分布中的Bayes決策⑥.線性組合的正態(tài)性

若x為多元正態(tài)隨機(jī)向量，則線性組合y=aTx是一維的正態(tài)隨機(jī)變量：其中，a與x同維。證明利用性質(zhì)(5)做線性變換y=ATx,得正態(tài)分布中的Bayes決策

由性質(zhì)(5)，y是服從均值向量ATm，協(xié)方差陣AT∑A的多元統(tǒng)計(jì)分布,

由性質(zhì)(4)，

y的邊緣分布的正態(tài)性，可以得出y=aTx服從正態(tài)分布，其概率密度函數(shù)為：其中A=[a,A1]為非奇異陣，A1為d×(d-1)為矩陣，y=[y,Y1]T正態(tài)分布中的Bayes決策2.3.2正態(tài)分布中的Bayes分類方法

前面，我們已經(jīng)把基于Bayes公式的幾種分類判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。

如果取0－1損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。正態(tài)分布中的Bayes決策

下面以最小錯(cuò)誤判決規(guī)則為例來研究Bayes分類方法在正態(tài)分布中的應(yīng)用。

由最小錯(cuò)誤率判決規(guī)則抽象出來的判決函數(shù)如下：

如果類概率密度是正態(tài)分布的，正態(tài)分布中的Bayes決策則r(x|wi)～N(mi,Si)。

取對數(shù)，得判別函數(shù)為正態(tài)分布中的Bayes決策下面對幾種特殊情況進(jìn)行討論。情況一：

該情況下，每類的協(xié)方差矩陣相等，而且類的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)③得知），具有相等的方差s2。正態(tài)分布中的Bayes決策因此：(1)先驗(yàn)概率P(wi)與P(wj)不相等正態(tài)分布中的Bayes決策其中：將上兩式代入gi(x)：為x到類wi的均值向量mi的“歐氏距離”的平方。與類別無關(guān)，可以忽略，因此gi(x)可簡化為：正態(tài)分布中的Bayes決策進(jìn)一步簡化得。xTx與i無關(guān)，可以忽略：正態(tài)分布中的Bayes決策是一個(gè)線性函數(shù)。因此可以進(jìn)一步寫成正態(tài)分布中的Bayes決策(2)P(wi)=P，所有各類概率相等決策規(guī)則：對某個(gè)x計(jì)算

為線性函數(shù)，其決策面由線性方程決策面是一個(gè)超平面。正態(tài)分布中的Bayes決策滿足的x的軌跡是wi

與wj

類間的決策面當(dāng)P(wi)=P(wj)時(shí)，超平面通過mi

與mj連線中點(diǎn)并與連線正交正態(tài)分布中的Bayes決策兩個(gè)同心圓是兩類概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類的均值點(diǎn)。兩類的區(qū)分線l與m1-m2垂直，其交點(diǎn)為x0

若P(w1)≠P(w2)時(shí)，x0向先驗(yàn)概率較小的那個(gè)類型的均值點(diǎn)偏移。x0一般不是m1-m2的中點(diǎn)，但當(dāng)P(w1)=P(w2)時(shí)，x0為m1-m2的中點(diǎn)。正態(tài)分布中的Bayes決策情況二：Σi＝

Σ相等，即各類協(xié)方差相等

從幾何上看，相當(dāng)于各類樣本集中于以該類均值點(diǎn)為中心的同樣大小和形狀的超橢球面內(nèi)。正態(tài)分布中的Bayes決策

對于未知的x，如果把x與各類均值相減，即相當(dāng)于Mahalanobis距離的平方。這時(shí)把x歸于最近一類。稱為最小距離分類器。與類別無關(guān)，可以忽略，正態(tài)分布中的Bayes決策gi（x）為線性函數(shù)，故決策面是一個(gè)超平面。正態(tài)分布中的Bayes決策如果決策域R1和R2相鄰，則決策面方程應(yīng)滿：如果各類的先驗(yàn)概率相等，則正態(tài)分布中的Bayes決策下面針對ω1，ω2二類情況進(jìn)行討論正態(tài)分布中的Bayes決策情況三：Σ?為任意，各類協(xié)方差矩陣不等這時(shí)判別函數(shù)為x的二次型。正態(tài)分布中的Bayes決策如果決策域，R1和R2相鄰，則決策面方程應(yīng)滿足正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策2.4關(guān)于分類器的錯(cuò)誤率問題

在分類過程中，任何一種決策規(guī)則都有其相應(yīng)的錯(cuò)誤率，當(dāng)采用指定的決策規(guī)則來對類條件概率密度及先驗(yàn)概率均為已知的問題進(jìn)行分類時(shí)，它的錯(cuò)誤率是固定的。錯(cuò)誤率反映了分類問題固有的復(fù)雜性的程度。對同一種問題設(shè)計(jì)出的多種不同的分類方案，通?？偸且藻e(cuò)誤率大小作為比較方案好壞的標(biāo)準(zhǔn)。因此，在本書中錯(cuò)誤率是非常重要的參數(shù)。正態(tài)分布中的Bayes決策2.4.0兩類決策的錯(cuò)誤率為下式

從上式可以看出當(dāng)x為多維向量的時(shí)候，進(jìn)行積分運(yùn)算的工作量比較大。

因此對于實(shí)際問題，對錯(cuò)誤率的研究一般從下面三點(diǎn)出發(fā)：1、按理論公式研究。2、計(jì)算錯(cuò)誤率上界3、實(shí)驗(yàn)估計(jì)正態(tài)分布中的Bayes決策2.4.1在一些特殊情況下錯(cuò)誤率的理論計(jì)算第一種情況---正態(tài)分布且等協(xié)方差矩陣S1=S2=S3下面回顧一下最小錯(cuò)誤率貝葉斯決策的負(fù)對數(shù)似然比函數(shù)很顯然，h(x)為隨機(jī)變量，記它的分布函數(shù)為P(h|wi)正態(tài)分布中的Bayes決策這樣貝葉斯決策的最小錯(cuò)誤率形式

在實(shí)際情況下，我們只考慮正態(tài)分布，因此h(x)可以寫成如下形式：正態(tài)分布中的Bayes決策正態(tài)分布中的Bayes決策

上式表