參數估計統計決策法第1頁，共47頁，2023年，2月20日，星期三第四章:參數估計統計決策法第2頁，共47頁，2023年，2月20日，星期三統計決策法Bayes決策法參數估計法非參數估計法線性判別函數概率方法幾何方法聚類分析非線性判別函數參數估計3第3頁，共47頁，2023年，2月20日，星期三參數估計原理對于絕大多數的識別問題，類概率密度函數已知的條件并不成立，而通常只知類概率密度的函數形式，其參數未知。參數估計法即是利用學習樣本來估計類概率密度函數參數的方法。4第4頁，共47頁，2023年，2月20日，星期三參數估計參數估計法最大似然估計法Bayes估計法兩種方法原理不同，但結果是一致的！5第5頁，共47頁，2023年，2月20日，星期三參數估計原理最大似然估計法：將待估參數視為確定的未知量進行估計

Bayes估計法：將待估參數視為隨機變量進行估計6第6頁，共47頁，2023年，2月20日，星期三最大似然估計法（ML）已知條件擁有一批已知類別的學習樣本，并知第j類的類概率密度的函數形式，參數未知。問題由學習樣本估計最佳參數。7第7頁，共47頁，2023年，2月20日，星期三最大似然估計法解決方案8第8頁，共47頁，2023年，2月20日，星期三最大似然估計法解決方案9第9頁，共47頁，2023年，2月20日，星期三B最大似然估計法設有6個學習樣本如下圖所示，樣本分布滿足正態分布，且方差已知，現需估計最佳的均值μ可以看出，μ取A和B對似然函數的影響由于μ取B時似然函數更大，參數B優于AP(x/μ

)

xAμ=Bμ=A10第10頁，共47頁，2023年，2月20日，星期三最大似然估計法P(x/θ)11第11頁，共47頁，2023年，2月20日，星期三最大似然估計法設有6個學習樣本如下圖所示，樣本分布滿足正態分布，且均值已知，現需估計最佳的方差可以看出，的變化對似然函數的影響P(x/σ)

x

σ1σ2參數σ1優于σ212第12頁，共47頁，2023年，2月20日，星期三最大似然估計法如何尋求最優參數？13第13頁，共47頁，2023年，2月20日，星期三解決方案用求極值的方法求最佳θ值

為計算方便，對似然函數求自然對數:最大似然估計法14第14頁，共47頁，2023年，2月20日，星期三最大似然估計法解決方案定義梯度算子▽為：15第15頁，共47頁，2023年，2月20日，星期三最大似然估計法解決方案則令：16第16頁，共47頁，2023年，2月20日，星期三最大似然估計法解決方案即：可得到r個關于參數θ的方程組，求解方程組，即可求得最佳估計值。17第17頁，共47頁，2023年，2月20日，星期三最大似然估計法例一：設樣本滿足一維正態分布，現已知n個學習樣本，試用最大似然估計法估計其均值μ和方差σ２。解：對于一維正態分布

待估參數為其中

18第18頁，共47頁，2023年，2月20日，星期三最大似然估計法可記為:則似然函數為：19第19頁，共47頁，2023年，2月20日，星期三最大似然估計法令:即:20第20頁，共47頁，2023年，2月20日，星期三最大似然估計法得:解得:21第21頁，共47頁，2023年，2月20日，星期三最大似然估計法例二：設樣本滿足d維正態分布，其中協方差矩陣Σ已知，且已知n個學習樣本，試用最大似然估計法估計均值向量μ。22第22頁，共47頁，2023年，2月20日，星期三最大似然估計法解：樣本滿足正態分布，則似然函數23第23頁，共47頁，2023年，2月20日，星期三最大似然估計法協方差矩陣已知，僅有一個待參數均值向量，即θ=μ令得：24第24頁，共47頁，2023年，2月20日，星期三最大似然估計法即：可得θ=μ的最佳估計值為：即最佳均值向量是n個學習樣本的重心（算數平均）。最佳估計值25第25頁，共47頁，2023年，2月20日，星期三最大似然估計法例三:設為多維正態分布，現已知n個學習樣本，試用最大似然估計法估計和。

解:與前述方法相同，即：26第26頁，共47頁，2023年，2月20日，星期三最大似然估計法似然函數令:27第27頁，共47頁，2023年，2月20日，星期三最大似然估計法得:28第28頁，共47頁，2023年，2月20日，星期三最大似然估計法基于最大似然估計法的分類器設計確定樣本類概率密度函數形式確定待估參數根據學習樣本，用最大似然估計法估計概率密度函數的參數估計樣本先驗概率用Bayes方法設計分類器29第29頁，共47頁，2023年，2月20日，星期三Bayes估計原理：

將待估參數視為具有某種先驗分布的隨機變量，通過學習樣本的觀察，將先驗分布轉換為后驗概率，并以此來修正參數的估計值。30第30頁，共47頁，2023年，2月20日，星期三Bayes估計實現過程將待估參數視為隨機變量，并由先驗知識得到粗略分布P(θ)θ31第31頁，共47頁，2023年，2月20日，星期三Bayes估計為已知函數形式的類概率密度，待估，且知n個學習樣本，記為，j為類別。由Bayes公式有：其中為后驗概率，表示在觀察了n個學習樣本后對的修正分布。32第32頁，共47頁，2023年，2月20日，星期三Bayes估計33第33頁，共47頁，2023年，2月20日，星期三Bayes估計表示在參數為的條件下，n個樣本出現的概率。為待估隨機參數的先驗概率分布。與無關，可用系數代替即：34第34頁，共47頁，2023年，2月20日，星期三Bayes估計顯然，由于n個學習樣本是獨立抽取的，則可得：觀察了n個樣本后θ的修正分布35第35頁，共47頁，2023年，2月20日，星期三Bayes估計合理的估計方法是：在修正的分布中，使得取值最大的值即是的最佳估計值。36第36頁，共47頁，2023年，2月20日，星期三Bayes估計37第37頁，共47頁，2023年，2月20日，星期三Bayes估計例：已知類概率密度為一維正態分布，其中方差已知，均值參數待估。試用Bayes估計法估計均值38第38頁，共47頁，2023年，2月20日，星期三Bayes估計解：對一維正態分布39第39頁，共47頁，2023年，2月20日，星期三Bayes估計首先，將待估參數μ

視為隨機變量，并具有一定的初始分布。假設其具有正態分布：40第40頁，共47頁，2023年，2月20日，星期三Bayes估計41第41頁，共47頁，2023年，2月20日，星期三Bayes估計觀察了n個學習樣本后，μ的后驗概率(修正分布)為：42第42頁，共47頁，2023年，2月20日，星期三Bayes估計43第43頁，共47頁，2023年，2月20日，星期三Bayes估計可見：修正后μ的分布仍為正態分布！其均值為μn，方差為其中：44第44頁，共47頁，2023年，2月20日，星期三Bayes估