1 最小風險的Bayes決策 讓錯誤率最小的Bayes決策是重要的但 錯誤率最小的Bayes決策是否最佳 正常細胞誤判為癌細胞癌細胞誤判為正常細胞不同性質的錯誤會引起不同程度的損失 后果 評價決策的優劣 總損失比總錯誤率更恰當 最小風險的Bayes決策就是把各種分類錯誤而引起的損失考慮進去的Bayes決策法則 2 風險的表示 例 病理切片X 要確定其中有沒有癌細胞 用 1表示正常 2表示異常 P 1 X 與P 2 X 分別表示了兩種可能性的大小若X為正常細胞 判斷為 2 損失為 21若X為癌細胞 判斷為 1 損失為 12X判斷為 1 其風險R1 X 12P 2 X X判斷為 2 其風險R2 X 21P 1 X 損失和誤判概率的加權和可以有效的表示決策風險 3 決策空間的相關符號 觀察向量 狀態空間 決策空間 損失函數 期望損失 條件風險 A 4 最小風險的Bayes決策規則 最小風險的Bayes決策規則 使期望損失最小的決策狀態即為最小風險的Bayes決策 定義期望風險 最小風險的Bayes決策使平均風險最小 期望風險R反映對整個特征空間上所有的X的取值采用相應的決策 x 所帶來的平均風險 5 最小風險的Bayes決策規則步驟 1 在已知P j P X j j 1 c及給出待識別的X的情況下 根據貝葉斯公式計算出后驗概率 2 利用計算出的后驗概率及決策表 計算出采取 i i 1 a的條件風險 3 對 2 中得到的a個條件風險值R i X i 1 a進行比較 找出使條件風險最小的決策 k 則 k就是最小風險貝葉斯決策 6 例 在例1條件的基礎上 并且已知 11 0 11表示 1 1 的簡寫 12 6 21 1 22 0 按最小風險貝葉斯決策進行分類 P 1 0 9 P 2 0 1p X 1 0 2 p X 2 0 4 7 計算后驗概率 P 1 X 0 818 P 2 X 0 182 計算條件風險 找最小的條件風險 最小風險的Bayes決策為 2 8 決策規則的進一步探討 二類問題的決策規則 另一種決策規則 先驗概率的決策規則 似然比 9 最小錯誤決策和最小風險決策 二類問題中 若 則兩種判決方式等價 多類問題中 若 則有 所有錯誤代價相同 兩種判決方式等價 0 1 損失函數 10 3 3Bayes分類器和判別函數 決策面 劃分決策域的邊界面決策面方程 決策面的數學解析形式判別函數 表達決策規則的函數 維特征空間 個決策域 分類器設計 利用決策規則對觀察向量X進行分類 決策面方程和判別函數由相應的決策規則所決定 11 判別函數和決策面方程 類的情況下 對應的判別函數為 若 則屬于第類 分割它們的決策面方程應滿足 對于多類 通常定義一組判別函數 12 最小錯誤概率決策 判別函數的不同形式 13 最小風險決策 判別函數 判別函數不唯一 更一般地 其中為單調增函數 均可作為判別函數 14 Bayes分類器 15 決策界 同一決策規則下判別函數形式可以不同 但決策界相同 16 決策界 同一決策規則下判別函數形式可以不同 但決策界相同 17 二類分類器 18 例 有一家醫院為了研究癌癥的診斷 對一大批人作了一次普查 給每人打了試驗針 然后進行統計 得到統計數字 1 這批人中 每1000人有5個癌癥病人 2 這批人中 每100個正常人有1人對試驗的反應為陽性 3 這批人中 每100個癌癥病人有95人對試驗的反應為陽性 假如正常人用表示 癌癥病人用表示 以試驗結果作為特征 特征值為陽或陰 根據統計數字 得到如下概率 現在有一某甲 試驗結果為陽性 按最小錯誤率貝葉斯決策規則 問診斷結果是什么 19 后驗概率 判決比較 判斷正常概率 20 風險評估 假設 11 0 12 3 21 1 22 0 按最小風險貝葉斯決策為某甲診斷 由于R1 X R2 X 即決策為 2的條件風險小于決策為 1的條件風險 因此診斷某甲為癌癥病人 采用最小風險貝葉斯決策 各種損失的確定是關鍵 問題 11 0 12 2 21 1 22 0 按最小風險貝葉斯決策的診斷又如何呢 21 分別寫出兩種情況的決策面方程 1 2 決策面方程g x 0 22 前面介紹了在一般的概率統計分布情況下的統計決策理論 這一節我們要討論最常用的正態分布情況在模式識別中 正態分布假設是對各種隨機變量使用得最普遍的假設這主要有兩方面的原因 1 正態分布在數學上比較簡便2 正態分布在物理上的合理性 正態分布的Bayes決策法則 23 數學上簡便性正態分布是數學上最簡單的一種分布 它的一些特殊情況揭示了統計判別方法中許多重要的性質在模式識別技術的研究中 需要用訓練樣本集來設計分類器 還需用測試樣本集來檢驗分類器的分類效果 并對不同的分類器的性能進行比較用正態分布模型描述訓練樣本集與測試樣本集在數學上實現起來也比較方便 24 物理上的合理性如果同一類樣本在特征空間內的確較集中地分布在其類均值的附近 遠離均值處分布較少 那么一般情況下以正態分布模型近似往往是比較合理的人們也往往因數學分析復雜程度考慮而不得不采用這種模型 當然使用時應注意結果是否合理或關注其可接受的程度 25 單變量正態分布 單變量正態分布概率密度函數定義為 單變量正態分布概率密度函數p x 完全可由 與 2兩個參數確定 記作N 2 26 正態分布描述了一個隨機實變量在整個實數域上的分布規律因此它屬于概率密度函數類 不是我們所討論的先驗概率P j 也不是后驗概率P j X 而是p x j 正態分布的樣本主要集中分布在其均值附近 其分散程度可用標準差來衡量 愈大分散程度也越大 從正態分布的總體中抽取樣本 約有95 的樣本都落在區間內 而且其峰值為 27 多元是指樣本以多個變量來描述 或具有多個屬性 一般用d維特征向量表示 X x1 xd T d維特征向量的正態分布用下式表示 多維 元 正態分布 其中 是X的均值向量 也是d維 E X 1 2 d T 是d d維協方差矩陣 而 1是 的逆矩陣 是 的行列式 因為參數 與 對分布具有決定性 記作p X N 28 一個向量或矩陣的期望是由其元素的期望組成的 協方差矩陣有兩個特性 是一個對稱矩陣 多維正態密度由個參數決定是正定的 主對角元素都是各分量的方差 一般情況下都是大于零的值 如果協方差矩陣中的所有非對角線元素均為零 則P X 就變成X的各分量的單變量正態密度的乘積 29 圖示為一個二維正態密度的示意圖 如果把等概率密度點畫出來 它們就是一族同心的橢圓 30 參數和對分布具有決定性 從正態總體中抽取的樣本落在一個密集區域里這個區域的中心由均值向量決定區域的形狀由協方差矩陣決定等密度點的軌跡為一超橢球面 可證明 且超橢球面的主軸方向由的特征向量決定 主軸的長度與相應的特征值成正比 多元正態分布性質 31 把這個超橢球的中心平移到坐標原點 超橢球的方程變為設X在超橢球上 X到超橢球中心的距離為求超橢球主軸的問題是一個求條件極值的問題 構造Lagrange函數 可得超橢球主軸的必要條件 多元正態分布性質 32 為向量X到均值向量的Mahalanobis距離 馬哈諾比斯 馬氏距 的平方等概率密度點的軌跡是一個到均值向量的Mahalanobis距離為常數的超橢球 記 33 3 不相關 獨立 34 多元正態分布下的最小錯誤率貝葉斯決策及其判別函數和決策面 對于最小錯誤率的貝葉斯決策 其類的判別函數為 由于對數函數是單值單調遞增函數 并根據正態分布密度函數的特點 顯然式中取自然對數更便于分析 于是類的判別函數可以表示為 由于判決是比較和的大小 去掉與類別無關的項不會影響分類判別的結果 故可簡化為 35 三種不同情況的探討 1 第一種情況 各類分布的協方差矩陣相同 而且各特征統計獨立且有相同的方差 這時 協方差矩陣是對角陣 對角線元素均為 代入判別函數 得新判別函數為 為歐氏距離 36 如果c個類的先驗概率都相同 式中項可忽略這時最小錯誤概率的Bayes決策法則可敘述為 若要對模式X分類 只要測量出從待分類模式向量X到每一類均值向量的歐氏距離 然后把X歸到距離最近的那個均值向量所屬的類別即可如果c個類的先驗概率不相等 則表明距離的平方必須用方差規范化后減去再用以分類在實際應用時 可以不計算歐氏距離 把展開后 可得判別函數 37 決策面由線性方程決定 即式中 該方程式確定了通過并正交于向量W的超平面 如圖所示是一個二維二類模式的例子 如果 則點就離開先驗概率大的那個類的均值向量而朝先驗概率較小的那類方向移動 決策規則為 38 此時判別函數變為 1 若各類的先驗概率相等 則也可以忽略 這時決策法則可以這樣描述 對一個模式分類 計算它與每一類均值向量間的Mahalanobis距離平方 而后把它分到與之最近的均值向量所屬的類別中去即可2 如果各類的先驗概率不同 則決策應有利于先驗概率較大的那一類把展開 忽略無關項 判別函數變成 2 第二種情況 式中 39 1 如果各類的先驗概率相等 則這個決策面同均值向量連線的交點在連線的中點2 若各類的先驗概率不相等 則決策界面就離開先驗概率較大的那個類的均值向量而朝先驗概率較小的那類方向移動 因為線性判別函數 所以決策面仍是一個超平面 決策面仍然滿足方程 式中 40 這是一般的情況 各類的協方差矩陣是不相同的 判別函數有如下形式 式中這時決策面是超二次曲面 如果兩類和相鄰 則決策面為 3 第三種情況 任意 41 決策面式超二次曲面 隨著變化呈現不同的超二次曲面 超球面 超拋物面 超雙曲面等 42 離散情況的貝葉斯決策 以上幾節所討論的特征向量可以是d維特征空間中的任一點 即為連續的隨機向量 但在許多的模式識別問題中 特征向量是一個離散型隨機向量 僅可取個離散值中的一個 此時 我們仍可以利用貝葉斯公式計算 式中 43 1 最小錯誤率的貝葉斯決策法則仍為 如果對于一切成立 則決策 2 最小風險的Bayes決策法則仍是 如果 則對應的決策 可以看出 貝葉斯決策規則仍然不變 44 對于二類分類問題 通常采用下述形式的判別函數 下面考慮一個兩類模式的分類問題 設特征向量 它的各個分量是0或者1的二值特征 并且各特征相互獨立 并令 以一種特別分類模型來說明 這類模型中 對模式的每一維特征需要給出一個 是 與 否 的答案 是 表示該模式具有對應特征 其值就為1 否則不具有對應特征 其值就為0 45 因為模式中各特征