第2章貝葉斯決策理論

常用決策規則分類器設計正態分布情況下的貝葉斯決策實驗內容2.1引言

貝葉斯決策理論是統計模式識別的基本理論，其假設（1）各類別總體的概率分布是已知的；（2）要決策分類的類別數是一定的。貝葉斯決策理論研究了模式類的概率結構完全知道的理想情況。這種情況實際中極少出現，但提供了一個對比其它分類器的依據，即“最優”分類器。符號規定

分類類別數：c

類別狀態：

特征空間維數：dd維特征空間中的特征向量：

先驗概率：類條件概率密度：2.1引言2.2幾種常用決策規則最小錯誤率的貝葉斯決策規則最小風險決策規則Neyman-Pearson決策規則極小極大決策規則基于最小錯誤率的貝葉斯決策

基本思想：利用貝葉斯公式使分類錯誤率達到最小。癌細胞識別問題：選擇癌細胞的d個特征

經調查統計，得先驗概率

基于最小錯誤率的貝葉斯決策僅依靠先驗概率進行判斷，其決策規則為此種判斷方法是否合理？利用信息太少！基于最小錯誤率的貝葉斯決策加入特征—細胞光密度章前假設：各類總體概率密度為已知，即已知類條件概率密度此時已知分類類別數、先驗概率及類條件概率密度，可重新進行決策。

基于最小錯誤率的貝葉斯決策考慮貝葉斯公式癌細胞識別問題中c=2貝葉斯公式通過類條件概率密度形式的觀察值，將先驗概率轉化為后驗概率。基于最小錯誤率的貝葉斯決策類條件概率密度與后驗概率圖示基于最小錯誤率的貝葉斯決策兩類問題最小錯誤率貝葉斯決策規則：基于最小錯誤率的貝葉斯決策例：假設在某個局部地區細胞識別中正常和異常兩類的先驗概率分別為正常狀態：異常狀態：現有一待識別的細胞，其觀察值為x，類條件概率密度分別為試對該細胞x進行分類。解：基于最小錯誤率的貝葉斯決策關于錯誤率最小的討論（一維情況）錯誤率是指平均錯誤率P(e)令每一個x都取使P(e|x)最小的值，則所有x產生的平均錯誤率最小。結論可推廣至多類基于最小錯誤率的貝葉斯決策多類情況下的貝葉斯決策規則參照兩類情況，也可得到平均錯誤率最小的分類結果基于最小風險的貝葉斯決策考慮風險，如癌癥診斷問題空襲警報問題制藥企業藥品合格檢定問題因此須考慮減小損失（或代價）最小風險貝葉斯決策是一種令各種錯誤造成的損失（風險）最小化的決策。基于最小風險的貝葉斯決策決策會帶來相應的損失，以決策表來定義基于最小風險的貝葉斯決策定義損失函數其表示真實狀態為，而采取決策所帶來的損失。針對特定x采取決策的條件期望損失（條件風險）為針對所有x的期望風險定義為欲令R最小，須令針對每一x的條件風險最小。基于最小風險的貝葉斯決策最小風險貝葉斯決策規則步驟：（1）計算后驗概率（2）利用后驗概率及決策表計算針對某一x采取a種決策的a個條件期望損失（3）取（2）中條件風險最小的決策，采取該行動。基于最小風險的貝葉斯決策例：在最小錯誤率例題基礎上，利用決策表按最小風險貝葉斯決策進行分類。0610解：前例已計算出結果與前例相反，Why?基于最小風險的貝葉斯決策

兩例結果相反的原因最小風險決策規則在考慮錯誤率的同時考慮了“損失”，而上例中將異常細胞判為正常的代價較大，占“主導”作用，故產生相反的結果。決策表直接影響決策結果，制定應慎重。最小風險決策與最小錯誤率決策的關系0-1損失下，最小風險決策等價于最小錯誤率決策基于最小風險的貝葉斯決策通信例題：下圖為一信號通過受噪聲干擾的信道判別結果x0,1信道分類器噪聲輸入信號為0或1，噪聲為高斯型，其均值為0，方差為，信道輸出為x（1）試求最優的判別規則，以區分輸出x是0還是1？（2）若此通信系統為M進制，采用0-1代價函數重新求最優判別規則。基于最小風險的貝葉斯決策解：最小風險決策的似然比形式基于最小風險的貝葉斯決策直觀上對數字信號的判斷如下圖信號受0均值高斯噪聲影響，輸入為0時，幅值的概率密度為輸入為1時，幅值的概率密度為均值為真實信號，噪聲在其上波動基于最小風險的貝葉斯決策似然比若令，則0.5為閾值，符合直觀判斷。

基于最小風險的貝葉斯決策（2）∵0-1代價函數∴最小代價轉化為最小錯誤率Bayes決策若判別結果x概率密度估計...最大值選擇器M進制貝葉斯分類器2.3分類器設計決策面—劃分決策域的邊界判別函數—用以表達決策規則的函數決策面02.3分類器設計多類情況下的4種貝葉斯決策規則定義判別函數，令2.3分類器設計可定義為：2.3分類器設計決策面方程

相鄰決策域在決策面上判別函數值相等，即決策面的形式

d=1—點

d=2—曲線

d=3—曲面

d>3—超曲面

2.3分類器設計決策邊界的形式一維點邊界二維線邊界2.3分類器設計分類器—軟硬件機器多類分類器的構成2.3分類器設計兩類情況：判別函數決策規則判別函數形式決策面方程2.3分類器設計兩類分類器的構成2.3分類器設計例：寫出最小錯誤率和最小風險例題的判別函數和決策面方程。（1）最小錯誤率例題，利用兩類形式（2）

形式（2）判別函數決策面方程2.3分類器設計（2）針對最小風險例題判別函數原形代入數據決策面方程2.4正態分布時的統計決策前述是抽象的，此處代以正態分布為什么使用正態分布？（1）物理上的合理性

樣本點較多地分布在均值附近，遠離均值點較少，可用正態分布近似。（2）數學上比較簡便

如表征模型的參數較少，抽取樣本點方便。2.4正態分布時的統計決策單變量正態分布2.4正態分布時的統計決策多元正態分布邊緣分布2.4正態分布時的統計決策

d×11×d對稱陣，對角線元素為方差，非對角線為協方差也叫相關矩，表示兩個隨機變量的相關程度2.4正態分布時的統計決策多元正態分布的性質（1）決定了分布共有d+d(d+1)/2個參數，（2）等密度點軌跡——超橢球面等密度點為指數項為常數時所取得的點，即

x到u的馬氏距離的平方，構成超橢球面2.4正態分布時的統計決策區域中心由均值向量決定，大小由協方差矩陣決定橢圓的長短軸方向由∑特征向量方向確定，長度由確定為特征值，為馬氏距離的平方。2.4正態分布時的統計決策多元正態分布的性質（3）不相關等價于獨立不相關獨立正態分布時，不相關等價于獨立推論：如果多元正態隨機向量的協方差矩陣是對角陣，則x的分量是相互獨立的正態分布隨機變量。2.4正態分布時的統計決策多元正態分布的性質（4）多元正態分布的邊緣分布和條件分布仍然是正態分布。（5）線性變換的正態性多元正態隨機向量的線性變換仍為多元正態分布的隨機向量。可尋找線性變換A使為對角陣，則y各分量獨立，可提高識別效率。2.4正態分布時的統計決策多元正態分布的性質（6）線性組合的正態性2.4正態分布時的統計決策多元正態概率模型下的最小錯誤率貝葉斯判別函數和決策面對數單調遞增分類性能不變去掉首項無關項

決策面方程

判別函數2.4正態分布時的統計決策特殊情況討論：一、消去負號不等號變向最小距離分類器2.4正態分布時的統計決策最小距離分類器為線性分類器定義：判別函數為線性函數的分類器為線性分類器。決策面方程2.4正態分布時的統計決策最小距離分類器的缺點基本思想：以均值點作為典型樣本，用距離作為判別函數進行分類。可以正確分類不能正確分類分類效果不好（1）未考慮樣本服從什么概率分布（2）只用了一個典型樣本的信息2.4正態分布時的統計決策當先驗概率不等時的決策面∴第一種情況的決策面為超平面決策面遠離先驗概率大的一方，移動距離由方程決定2.4正態分布時的統計決策特殊情況討論：二、向先驗概率小的方向偏移馬氏距離的平方∴第二種情況的決策面為超平面2.4正態分布時的統計決策特殊情況討論：三、決策面方程決定決策面形狀（超二次曲面）決定了決策面的具體形式2.4正態分布時的統計決策2.5分類器的錯誤率按理論公式計算計算錯誤率上界實驗估計（第3章討論）2.6基于貝葉斯分類器的遙感圖像分類目視判讀計算機分類

（1）數據準備

質量檢查預處理（2）分類判決（3）輸出2.6基于貝葉斯分類器的遙感圖像分類原始圖像數據的準備圖像變換及特征選擇分類判決函數的選擇確定分類算法方案逐個像素分類判決形成分類編碼圖像分類結果輸出準備階段分類判決輸出否是開始輸入分類類別數令i=0i=i+1輸入第i類先驗概率輸入第i類樣本數據計算第i類數學期望向量和協方差矩陣i<c?利用判決函數對圖像進行逐像素判決分類結果圖像輸出結束2.6基于貝葉斯分類器的遙感圖像分類各類別高斯分布的期望向量與協方差矩陣的估計針對某一類為第k個樣本的第i個特征值2.6基于貝葉斯分類器的遙感圖像分類

遙感圖像分為森林、河流、峽谷三類，特征選取RGB三個分量構成的特征向量，已知其先驗概率分別為0.34，0.33，0.33，每一類取64個樣本的訓練區。利用Beyes分類器進行分類，結果如下圖所示。2.7實驗1—圖像的貝葉斯分類實驗目的將模式識別方法與圖像處理技術相結合，掌握利用最小錯分概率貝葉斯分類器進行圖像分類的基本方法，通過實驗加深對基本概念的理解。實驗儀器設備及軟件

HPD538（或兼容PC）、MATLAB（或C語言開發環境）實驗原理利用最小錯誤率貝葉斯分類方法確定圖像分割閾值。

2.7實驗1—圖像的貝葉斯分類基本原理：圖像中目標與背景有一定的交錯，會產生將目標錯分為背景與將背景錯分為目標兩類錯誤，通過Bayes最小錯誤率分類器求取“最優閾值”可令總的錯誤率最小。圖像直方圖可作為對概率密度函數的近似。2.7實驗1—圖像的貝葉斯分類

假設目標與背景兩類像素值均服從正態分布且混有加性高斯噪聲，分類問題可以使用最小錯分概率貝葉斯分類器來解決。圖像的混合概率密度函數可用下式表示圖像中背景的先驗概率圖像中目標的先驗概率圖像中背景的概率密度圖像中目標的概率密度求一分割閾值T，使分類錯誤率最小。假定目標的灰度較亮，背景的灰度較暗，則有2.7實驗1—圖像的貝葉斯分類把目標錯分為背景的概率可表示為把背景錯分為目標的概率可表示為總的誤差概率為為求得使誤差概率最小的閾值T，將E(T)對T求導并令導數為0，得2.7實驗1—圖像的貝葉斯分類代換后，可得此時，若設，則有若還有，則這時的最優閾值就是兩類區域灰度均值，實際運算依靠迭代算法進行。2.7實驗1—圖像的貝葉斯分類最優閾值的迭代算法：設有一幅數字圖像f(x,y)，混有0均值加性高斯噪聲，可表示為

如果通過閾值分割將圖像分為目標與背景兩部分，則每一部分仍然有噪聲點隨機作用于其上，于是目標與背景可表示為迭代過程中，會多次地對和求均值，則

可見，隨著迭代次數的增加，目標和背景的平均灰度都趨向于真實值。因此，用迭代算法求得的最佳閾值不受噪聲干擾的影響。2.7實驗1—圖像的貝葉斯分類，和利用最優閾值對實驗圖像進行分割的迭代步驟為：（1）確定一個初始閾值可取為

式中，為圖像灰度的最小值和最大值。（2）利用第k次迭代得到的閾值將圖像分為目標和背景兩大區域，其中（3）計算區域和的灰度均值和（4）計算新的閾值，其中（5）如果小于允許的誤差，則結束，否則，轉步驟（2）。2.7實驗1—圖像的貝葉斯分類分割范例分割閾值1202.7實驗1—圖像的貝葉斯分類

實驗步驟及程序理解最優閾值迭代算法，設計程序實現對自選圖像的最優閾值分割。實驗結果與分析要求寫明實驗得到的分割閾值，附分割效果圖。對實驗結果進行分析，說明實驗結果好或者不好的原因，提出改進措施。

2.7實驗1—圖像的貝葉斯分類實驗報告撰寫要求：一、封皮的填寫：實驗課程名稱模式識別二、實驗名稱：按順序填寫圖像的貝葉斯分類、K均值聚