模式識(shí)別授課教師：薛耀紅xueyh@第四講概率密度函數(shù)的估計(jì)本節(jié)課主要內(nèi)容參數(shù)估計(jì)的基本概念最大似然估計(jì)貝葉斯估計(jì)和貝葉斯學(xué)習(xí)正態(tài)分布的監(jiān)督參數(shù)估計(jì)最大似然估計(jì)貝葉斯估計(jì)和貝葉斯學(xué)習(xí)示例引言設(shè)計(jì)貝葉斯分類器的方法：即已知先驗(yàn)概率P(i)和類條件概率密度p(x|i)的情況下，按一定的決策規(guī)則確定判別函數(shù)和決策面。引言基于樣本的Bayes分類器：通過估計(jì)類條件概率密度函數(shù)，設(shè)計(jì)相應(yīng)的判別函數(shù)MAXg1...g2gc...x1x2xna(x)訓(xùn)練樣本集樣本分布的

統(tǒng)計(jì)特征：

概率密度函數(shù)決策規(guī)則：

判別函數(shù)

決策面方程分類器

功能結(jié)構(gòu)如類先驗(yàn)概率P(i)和條件概率密度p(x/i)未知，如何去估計(jì)它們？即給定一定數(shù)量的樣本，去實(shí)現(xiàn)這些函數(shù)的估計(jì)。1.2.基于樣本的Bayes決策過程是什么？概率密度函數(shù)估計(jì)Bayes決策規(guī)則基于樣本的兩步Bayes決策主要思想如何利用樣本集估計(jì)P(i)和p(x|i)？估計(jì)量的性質(zhì)如何？如何利用樣本集估計(jì)錯(cuò)誤率的方法利用樣本集進(jìn)行參數(shù)估計(jì)類型：監(jiān)督參數(shù)估計(jì)非監(jiān)督參數(shù)估計(jì)非參數(shù)估計(jì)參數(shù)估計(jì)監(jiān)督參數(shù)估計(jì)：已知樣本的類條件概率密度p(x/i)的形式和樣本所屬的類別i，去推斷概率密度函數(shù)中的某些未知的參數(shù)（均值、方差）。非監(jiān)督參數(shù)估計(jì)：已知樣本的類條件概率密度p(x/i)的形式而樣本所屬的類別i未知，去推斷概率密度函數(shù)中的某些未知的參數(shù)。非參數(shù)估計(jì)：已知樣本所屬的類別i

，而樣本的類條件概率密度p(x/i)的形式未知.去推斷概率密度函數(shù)。對(duì)于參數(shù)估計(jì)，存在兩種方法實(shí)現(xiàn)：最大似然估計(jì)(Maximumlikelihoodestimation)Bayes估計(jì)對(duì)非參數(shù)估計(jì)，存在兩種方法：Parzen窗kN近鄰法最大似然估計(jì)和Bayes估計(jì)區(qū)別兩種方法估計(jì)的參數(shù)的結(jié)果接近，但過程有區(qū)別：前者將未知參數(shù)看成是確定變量，在實(shí)際觀察樣本的概率為最大的條件下，獲得未知參數(shù)的最好的估計(jì)；后者將未知參數(shù)看成是按某種分布得隨機(jī)變量，樣本的觀察結(jié)果由先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布，再由后驗(yàn)分布修正參數(shù)的估計(jì)值。

參數(shù)估計(jì)統(tǒng)計(jì)量：針對(duì)不同要求構(gòu)造出樣本集合H的某種函數(shù)

為參數(shù)的估計(jì)值。參數(shù)空間：總體分布的未知參數(shù)θ所有可能取值組成的集合(Θ)。點(diǎn)估計(jì)的估計(jì)量和估計(jì)值：點(diǎn)估計(jì)就是構(gòu)造一個(gè)統(tǒng)計(jì)量作為參數(shù)θ的估計(jì)。稱為的估計(jì)量。估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)估計(jì)量的評(píng)價(jià)標(biāo)準(zhǔn)：無偏性，有效性，一致性無偏性：;有效性：

小，更有效;一致性：樣本數(shù)N趨于無窮時(shí)，依概率趨于01.最大似然估計(jì)(MaximumLikelihood,ML)

前提假設(shè)：待估計(jì)的參數(shù)θ是確定而未知的量；樣本集可按類別分開，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓(xùn)練（K1，K2，…,KC）。概率密度函數(shù)的形式已知(p(x|ωi))，參數(shù)未知，為了描述概率密度函數(shù)p(x|ωi)與參數(shù)θ的依賴關(guān)系，用p(x|ωi,θ)表示。樣本集Ki不包含關(guān)于的信息解決的問題（分別處理c個(gè)獨(dú)立的問題）：獨(dú)立地按概率密度p(x|θ)抽取樣本集K={x1,x2,…,xN}，用K估計(jì)未知參數(shù)θ。似然函數(shù)已知某一類樣本集包含N個(gè)樣本，即似然函數(shù)：若是獨(dú)立地抽自密度函數(shù)總體的樣本，那么似然函數(shù)就是對(duì)數(shù)(loglarized)似然函數(shù)：最大似然估計(jì)P48最大似然估計(jì)量：最大似然估計(jì)示意圖計(jì)算方法最大似然估計(jì)量使似然函數(shù)梯度為0：一元正態(tài)分布例解一元正態(tài)分布一元正態(tài)分布均值的估計(jì)一元正態(tài)分布方差的估計(jì)多元正態(tài)分布參數(shù)最大似然估計(jì)多元正態(tài)分布2.Bayes估計(jì)和Bayes學(xué)習(xí)（1）Bayes估計(jì)這里我們先回顧一下前面講述的最小風(fēng)險(xiǎn)Bayes決策。——狀態(tài)空間——觀察或測(cè)量到的d維模式特征向量；——決策空間

——損失函數(shù)，表示真實(shí)狀態(tài)為而所采取的決策為時(shí)所帶來的某種損失。給定，我們采取決策情況下的條件期望損失：

R表示采取決策k總的平均損失。R稱為Bayes風(fēng)險(xiǎn)，使R最小的決策k稱為Bayes決策。是特征空間中取任意值的隨機(jī)變量，條件風(fēng)險(xiǎn)的期望Bayes決策確定x

的真實(shí)狀態(tài)i

（模式類）Bayes估計(jì)根據(jù)一個(gè)樣本集，找出估計(jì)量，估計(jì)所屬總體分布的某個(gè)真實(shí)參數(shù)，使帶來的Bayes風(fēng)險(xiǎn)最小A令為代替所造成的損失，對(duì)于一個(gè)觀測(cè)矢量集合，當(dāng)用作為的估計(jì)時(shí)，在觀測(cè)條件下的條件期望損失為考慮到的各種取值，我們應(yīng)求在狀態(tài)空間中的期望，。Bayes估計(jì)的基本思想：所求得的的估計(jì)值應(yīng)使估計(jì)損失的期望最小，這種使或等價(jià)地使取最小值的的估計(jì)值稱為的Bayes估計(jì)。對(duì)于不同的，可得到不同的最佳Bayes估計(jì)。這里假定損失函數(shù)為平方誤差，即結(jié)論:的貝葉斯估計(jì)量是在給定H時(shí)的條件期望。由于是關(guān)于的二次函數(shù)，確使或最小。上式表明，的Bayes估計(jì)是在觀測(cè)條件下的的條件期望。對(duì)平方誤差損失函數(shù)情況求解Bayes估計(jì)量的步驟如下：（1）確定的先驗(yàn)分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗(yàn)分布（4）（2）Bayes學(xué)習(xí)(直接推斷總體分布密度)Bayes學(xué)習(xí)與Bayes估計(jì)的前提條件是相同的，Bayes學(xué)習(xí)不是進(jìn)行概率的參數(shù)估計(jì)，而是進(jìn)行總體概率的推斷以獲得，因此，它們具有某些相同的計(jì)算內(nèi)容，也有不同的計(jì)算目標(biāo)。它們的前三步都是相同的，只是最后一步有所不同，Bayes學(xué)習(xí)最后一步為在已知的條件下,

H

對(duì)已不具有什么信息下面我們看一下最大似然估計(jì)與Bayes解的關(guān)系。最大似然估計(jì)近似等于Bayes解（條件是在有尖銳的凸峰）單變量正態(tài)分布函數(shù)的定義及性質(zhì)單變量正態(tài)分布概函數(shù)，有兩個(gè)參數(shù)和完全決定，常簡(jiǎn)記為。期望方差正態(tài)分布的監(jiān)督參數(shù)估計(jì)示例（1）Bayes估計(jì)示例Bayes估計(jì)是把參數(shù)看成為隨機(jī)的未知參數(shù)，一般具有先驗(yàn)分布。樣本通過似然函數(shù)并利用Bayes公式將的先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布。現(xiàn)以單變量正態(tài)分布為例，并假定總體方差已知，估計(jì)的參數(shù)為均值。總體分布密度和參數(shù)的先驗(yàn)分布

…形式已知

………………先驗(yàn)分布已知對(duì)平方誤差損失函數(shù)情況求解Bayes估計(jì)量的步驟如下：（1）確定的先驗(yàn)分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗(yàn)分布（4）現(xiàn)（1）（2）已完成，下面主要進(jìn)行（3）（4），這里。（2）Bayes學(xué)習(xí)示例Bayes學(xué)習(xí)是是利用的先驗(yàn)分布及樣本提供的信息求出的后驗(yàn)分布，然后直接求總體分布本次課結(jié)束！謝謝大家！3.2.2貝葉斯估計(jì)-最大后驗(yàn)概率用一組樣本集K={x1,x2,…,xN}估計(jì)未知參數(shù)θ未知參數(shù)θ視為隨機(jī)變量，先驗(yàn)分布為p(θ)，而在已知樣本集K出現(xiàn)的條件下的后驗(yàn)概率為：p(θ|K)最大后驗(yàn)概率估計(jì)-Maximumaposteriori(MAP)貝葉斯估計(jì)-最小風(fēng)險(xiǎn)參數(shù)估計(jì)的條件風(fēng)險(xiǎn)：給定x條件下，估計(jì)量的期望損失:參數(shù)估計(jì)的風(fēng)險(xiǎn)：估計(jì)量的條件風(fēng)險(xiǎn)的期望貝葉斯估計(jì)：使風(fēng)險(xiǎn)最小的估計(jì)貝葉斯估計(jì)損失函數(shù)：誤差平方定理3.1:如果定義損失函數(shù)為誤差平方函數(shù)，則有：貝葉斯估計(jì)的步驟確定θ的先驗(yàn)分布

p(θ)由樣本集K={x1,x2,…,xN}求出樣本聯(lián)合分布：p(K|θ)計(jì)算θ的后驗(yàn)分布:4.

計(jì)算貝葉斯估計(jì):一元正態(tài)分布例解總體分布密度為：均值μ未知，μ的先驗(yàn)分布為：用貝葉斯估計(jì)方法求μ的估計(jì)量樣本集：K={x1,x2,…,xN}一元正態(tài)分布例解計(jì)算μ的后驗(yàn)分布：計(jì)算μ的貝

葉斯估計(jì)：貝葉斯學(xué)習(xí)貝葉斯學(xué)習(xí)：利用θ的先驗(yàn)分布

p(θ)及樣本提供的信息求出θ的后驗(yàn)分布p(θ|K)，然后直接求總體分布一元正態(tài)分布例解總體分布密度為：均值μ未知，μ的先驗(yàn)分布為：樣本集：K={x1,x2,…,xN}計(jì)算μ的后驗(yàn)分布：復(fù)制密度函數(shù) 比較(1)和(2)得到：討論：1.當(dāng)樣本數(shù)足夠大時(shí)，n樣本均值；n02.先驗(yàn)知識(shí)與經(jīng)驗(yàn)數(shù)據(jù)對(duì)估計(jì)值影響。當(dāng)觀察一個(gè)樣本時(shí)，N=1就會(huì)有一個(gè)μ的