1、7.1 矩估計法矩估計法7.2 最大似然估計最大似然估計7.3 評價點估計量的準則評價點估計量的準則7.4 * * 一致一致最最小方差無偏估計小方差無偏估計7.5 * * 貝葉斯估計貝葉斯估計 7.6 區間估計區間估計 7.1.1 點估計問題點估計問題 22( ,), ,;( ),;XNunkown XPunkown 一般常用一般常用 表示表示參數參數，參數，參數 所有可能取值所有可能取值組成的集合稱為組成的集合稱為參數空間，參數空間，常用常用 表示。參表示。參數估計問題就是根據樣本對上述各種未知參數估計問題就是根據樣本對上述各種未知參數作出估計。數作出估計。參數估計的形式有兩種：參數估計的形

2、式有兩種：點估計與區間估計點估計與區間估計。點估計問題的一般提法點估計問題的一般提法: :1212( ; ).,.,.,1,.1nnXF xXXXXx xx定設總體的分布函數的形式為已知是待估參數是的一個樣本為相應的一個義樣本值71212(,),( ,).nnXXXx xx點估計問題就是要構造一個適當的統計量用它的觀察值來估計未知參數12(,).nX XX稱為 的估計量(estimator)12( ,).nx xx稱為 的估計值(estimate),.通稱估計簡記為例例7.1.1 設總體設總體X服從參數為服從參數為的泊松分布，的泊松分布，為未知參為未知參數，現有以下樣本值數，現有以下樣本值 3

3、 4 1 5 6 3 8 7 2 0 1 5 7 9 8試求未知參數試求未知參數的估計值的估計值解：解：11511()1;111(3 48)4.6.1515niiniiiiE XXXnxxxn 在這里如何構造統計量在這里如何構造統計量 并沒有明確的規定，只要并沒有明確的規定，只要它滿足一定的合理性即可。這就涉及到兩個問題：它滿足一定的合理性即可。這就涉及到兩個問題： 其一其一 是是如何給出估計如何給出估計，即估計的方法問題，即估計的方法問題( (常常用方法有：矩法，最大似然法，最小二乘法，用方法有：矩法，最大似然法，最小二乘法，BAYESBAYES方法等）；方法等）； 其二其二 是是如何對不同

4、的估計進行評價如何對不同的估計進行評價，即估，即估計的好壞判斷標準（常用有無偏性，有效性，相計的好壞判斷標準（常用有無偏性，有效性，相合性等）。合性等）。7.1.2 矩估計法矩估計法 矩估計法矩估計法是基于一種簡單的是基于一種簡單的“替替換換”思想建立起來的一種估計方思想建立起來的一種估計方法法 . .英國統計學家英國統計學家K.皮爾遜皮爾遜(K.Pearson)1894年提出的年提出的 .矩法估計矩法估計 : :用樣本的數字特征去用樣本的數字特征去替換替換總體的相應數字總體的相應數字特征，從而得到參數估計的一種方法。特征，從而得到參數估計的一種方法。 即用樣本即用樣本( (原點，中心原點，中

5、心) )矩及其函數去矩及其函數去替換替換相應的相應的總體總體( (原點，中心原點，中心) )矩及其函數，從而得到參數估計量矩及其函數，從而得到參數估計量的方法的方法. . 比如比如：（1）用樣本原點矩估計相應的總體原點矩，）用樣本原點矩估計相應的總體原點矩， 即即 ； （2）用樣本中心點矩估計相應的總體中心矩；）用樣本中心點矩估計相應的總體中心矩； （3）用事件）用事件A出現的頻率估計其概率，出現的頻率估計其概率， 即即（4）用樣本的）用樣本的 p 分位數估計總體的分位數估計總體的 p 分位數，分位數， 即即,()kkAE XX特別( )( );nP AfA0.50.5;.ppxMxM特別例例

6、7.1.2 設從某次考試成績中，隨機抽取了設從某次考試成績中，隨機抽取了8位同學位同學的成績如下：的成績如下： 94 89 85 78 75 71 65 63 試求總體均值、標準差和中位數的矩估計值試求總體均值、標準差和中位數的矩估計值解：解：8182.0.510 517581()12.14;876.5.iiiixxxxmx；矩法估計矩法估計其其基本思想基本思想是是替換原理替換原理:用樣本矩替換（估計）總體相應矩用樣本矩替換（估計）總體相應矩 . . 理論依據理論依據: : 大數定律；大數定律；矩法估計的實質是用經驗分布函數去替換總體矩法估計的實質是用經驗分布函數去替換總體分布，其理論基礎是格

7、里紋科定理分布，其理論基礎是格里紋科定理1212,nkkkknXXX iid XXXXiid X樣本樣本()(),1,2,kkikE XE Xin11.nPkkikiAXn 則有：11nkkiikkXn當n充分大時，可以用樣本的k階原點矩A作為=E(X )的估計.即：即：1(),1,1, 2,.;kknkkkiikXkE XAXknA若總體的 階原點矩存在樣本的k階原點矩則有：11(.,),:(.,).kkgg AA如果，得矩法估計量， 理論依據之二理論依據之二: : 矩法估計的實質是用經驗分布函矩法估計的實質是用經驗分布函數去替換總體分布，其理論基礎數去替換總體分布，其理論基礎是格里紋科定理

8、是格里紋科定理.1( )( ),()( ),1( ),.nkkkRnkkkiniRkkF xF xE Xx dF xAXx dF xnA22122,.nXX XX設總體的均值 和方差都存在且有但 和均為未知 又設是一個樣本 求 和的矩估計量解解1(),E X替換得到矩估計量分別為替換得到矩估計量分別為1,AX222222211111().nniiniiAAXXXXSnn例：例：222221() (),E XE X 設總體具有已知的概率函數設總體具有已知的概率函數 p(x；1, , k)， X1, X2 , , Xn 是樣本，假定總體的是樣本，假定總體的i 階原點矩階原點矩 i i 存在，若存在

9、，若1, , k 能夠表示成能夠表示成 1, , k 的的函數函數i = i( 1, , k)，則可給出諸，則可給出諸i 的矩法估的矩法估計為計為 1( ,),1,2, ,iikAAik12()( ; ,)diiikE Xx p xx (X為連續型為連續型)12()( ; ,),iiikE Xx p x 或(X為離散型為離散型)1, 2,ik1111221(,.,)(,.,):.(,.,)1kkkkkstep 求1112211(,.,)(,.,).(,.)2:.,kkkkkstep解出1111:(.,),.,(.,).kkkkAAAA: 替換得矩法估計，t量s ep3，11( ,).kkg=g

10、( , ,)矩法估計為:120,(0),(,),.nXX XXX設總體 在（）上服從均勻分布其中未知是來自總體 的樣本求 的矩估計量解解11 ( ),22 ,E X因為根據矩估計法根據矩估計法, ,122,AX 2.X所以為所求 的矩估計量例：例：例例7.1.3 X1, X2, , Xn是來自是來自(1,2)上的均勻分布上的均勻分布U(1,2)的樣本，的樣本，21均是未知參數，這里均是未知參數，這里k=2，由于，由于 得到得到 12122221122( ),2()()() .122E XE X12122211222,()().122不難推出不難推出 122112212,12-(). 21121

11、221213(),3().解方程組得到解方程組得到1, 2的分別為的分別為由此即可得到由此即可得到1, 2的矩估計：的矩估計：123,3nnXSXS即：21121221213(),3().AAAAAA略解略解: : 例例 設總體設總體X的概率密度為的概率密度為1,( ; , )0,xexp x 其它是未知參數是未知參數, ,其中其中0, 求參數求參數 的矩估計的矩估計.12222( )( ; , ),()( ; , )().E Xx p xdxE Xx p xdx 2121221,.2121221,.nnAAAXSAAS解解: : 1101()(1)2E Xxx dx11211從中得從中得21

12、,1XX的矩估計量的矩估計量. .即為即為 例例7.1.4 設總體設總體X的概率密度為的概率密度為(1),01( ; )0,xxp x其它是未知參數是未知參數, ,其中其中1 求參數求參數 的矩估計的矩估計.20.6010.600.5.10.6x例例7.1.5 設總體服從參數設總體服從參數的的POISSON分布，由于分布，由于E(X)= ， 即即 = E(X)，故，故 的矩法估計為的矩法估計為 另外，由于另外，由于Var(X)= ，因此，從替換原理來看，因此，從替換原理來看， 的的矩法估計也可取為矩法估計也可取為 這說明這說明矩估計可能是不唯一的矩估計可能是不唯一的，這是矩法估計的一，這是矩法

13、估計的一個缺點，此時通常應該個缺點，此時通常應該盡量采用低階矩盡量采用低階矩給出未知參給出未知參數的估計。數的估計。X21nS(0).XP Xee此外， 矩法的矩法的優點優點是簡單易行；是簡單易行； 缺點缺點是是:當總體類型已知時，沒有充分利用分當總體類型已知時，沒有充分利用分布提供的信息布提供的信息 . 一般場合下一般場合下,矩估計量不具有唯一矩估計量不具有唯一性性 . 最大似然法最大似然法是在總體分布類型已知條件是在總體分布類型已知條件下使用的一種參數估計方法下使用的一種參數估計方法 . . 它首先是由德國數學家它首先是由德國數學家高斯高斯在在18211821年年提出的提出的 , ,然而，

14、這個方法常歸功于英國然而，這個方法常歸功于英國統計學家統計學家費歇費歇. . 費歇在費歇在19121912年重新發現了這一方法，年重新發現了這一方法，并首先研究了這種方法的一些性質并首先研究了這種方法的一些性質 . .GaussFisher1.最大似然估計原理最大似然估計原理 最大似然估計法，是建立在最大似然原理的基最大似然估計法，是建立在最大似然原理的基礎上的求點估計量的方法。礎上的求點估計量的方法。最大似然原理是：在試最大似然原理是：在試驗中概率最大的事件最有可能出現驗中概率最大的事件最有可能出現. 反過來應用（合情推理）：反過來應用（合情推理）：一個試驗的結果一個試驗的結果A,如有若干個

15、可能導致其發生的條件如有若干個可能導致其發生的條件C1,C2 ,Ck。若。若在一次試驗中結果在一次試驗中結果A發生了，則認為發生了，則認為A發生的發生的條件條件是使是使P（A）達到最大的條件）達到最大的條件. 或者說在試驗的很多可能條件中，認為應該或者說在試驗的很多可能條件中，認為應該是使事件是使事件A A發生的概率為最大的那種條件存在發生的概率為最大的那種條件存在. . 如：有如：有1010個射手同時向一目標射擊，其中一個射手同時向一目標射擊，其中一人為運動員射手。現在目標被射中一次。則認人為運動員射手。現在目標被射中一次。則認為：為：目標是運動員射手射中的目標是運動員射手射中的。 再如：盒

16、中有黑白兩種球。比例為再如：盒中有黑白兩種球。比例為99：1，但不知那種顏色的球多。現從中任取一球，結但不知那種顏色的球多。現從中任取一球，結果為白球。則認為：果為白球。則認為：盒中白球多盒中白球多。例如：例如：該方法這樣用于參數估計：該方法這樣用于參數估計：( )( ),.,( )( )( )maxP AfAP Aff 現在 發生了 應估計 為，它使得12102881001(1) ,01154()( ).5maxAXXXP AL 則現在=1,=0,.,=0發生了,P(A)=L( )（）應估計 為，它使得L( )=12101210(1, ),(,XBx xxXXX： 設)=(1,0,0,0,0

17、,0,1,0,0,0)為相應于樣本（） 的引一個樣本值例10.2OL()2. 最大似然估計求法最大似然估計求法(1)X設總體屬離散型( ; ),P Xxp x 設總體X的分布列為待估參數其中是 可能的取值范圍12,nXXXX是來自總體的樣本1212,.nnx xxX XX又設為相應于樣本的一個樣本值1212,nnX XXx xx則樣本取到觀察值的概率1122,nnXx XxXx即事件發生的概率為121( )( ,; )( ; ),nniiLL x xxp x( ).L稱為樣本似然函數12,( )nx xxL得到樣本值時選取使似然函數,取得最大值的作為未知參數的估計值( )max ( ).LL即

18、1212,( ,),nnx xxx xx這樣得到的 與樣本值有關記為12(,)nXXX ,參數的最大似然估計值 .參數的最大似然估計量12(,),nx xx(2)X設總體屬連續型( ; ),p x 設總體X的分布密度函數為待估參數其中是可能的取值范圍12,nXXXX是來自總體的樣本1212,.nnx xxX XX又設為相應于樣本的一個樣本值121212(,)( ,)(d ,d ,d)nnnX XXx xxxxxn則隨機點落在點的鄰域 邊長分別為的 維立方體 內的概率近似地為111(;)d(;)dniiinniiiip xxp xx121( )(,; )( ; ),nniiLL x xxp x(

19、 ).L稱為樣本的似然函數( )max ( ).LL若 ,參數的最大似然估計值 .參數的最大似然估計量12(,),nx xx12(,)nXXX定義定義7.2.1 設總體的概率函數為設總體的概率函數為p(x; )， 是參數是參數可可能取值的參數空間，能取值的參數空間，X1, X2 , , Xn 是樣本，其觀測是樣本，其觀測值為：值為： 則稱下列函數為樣本的則稱下列函數為樣本的似然函數似然函數 .1211( )(,; )( ; )(;( ; ),.)(; )ninniLL xxp xp xp xp x 12,.nx xx 如果如果 滿滿 足足 則稱則稱 是是 的的最（極最（極)大似然估計值大似然估

20、計值，則稱則稱 是是 的的最（極最（極)大似然估計量大似然估計量，兩者統稱為最大似然估計（兩者統稱為最大似然估計（Maximum Likelihood Estimate，MLE），并簡記為），并簡記為 1(,)nxx1( , , )nxx ( )max( )LL1(,)nXX. lnln ( )LLL由于與（ ）在同一點處達最大值，故為了方便有時求的極大值點。 oln()L( )L人們通常更習慣于由人們通常更習慣于由對數似然函數對數似然函數lnL( )出發尋出發尋找找 的極大似然估計的極大似然估計. .當當L( )是可微函數時是可微函數時, ,求導求導是求極大似然估計最是求極大似然估計最常用的

21、方法，對常用的方法，對lnL( )求導更加簡單些求導更加簡單些. .求最大似然估計量的步驟如下求最大似然估計量的步驟如下: :121() ( )(,; )( ; );nniiLL x xxp x二寫出似然函數3. 最大似然估計法步驟最大似然估計法步驟() ( ; );Xp x一寫出總體的概率函數() ()ln()lL三取 對 數dln ( )dln ( )( ) ,0,dd.LL四 對求導并令解方程即得未知（注：駐點唯一，一般為最大值點參數 的最大似然，一般不估計值用驗證！） 最大似然估計法也適用于分布中含有多個最大似然估計法也適用于分布中含有多個未知參數的情況未知參數的情況. . 此時只需令

22、此時只需令ln0,1,2, .iLik, (1,2, ).iikik解出由個方程組成的方程組 即可得各未知參數的最大似然估計值解：解：似然函數為似然函數為11111( ),0,1,2,niiixnxiniLeexin例例7.2.1 設設X1,X2,Xn是取自指數總體是取自指數總體X的一個樣本的一個樣本1,0,( ; )0,0.xexXp xx求求 的極大似然估計的極大似然估計. .0其中未知其中未知 1ln( )10niidLnxd 求導并令其為求導并令其為0 0從中解得從中解得11,niixxn 的的MLE 為：為：對數似然函數為對數似然函數為11ln( )lnniiLnx 11.niiXX

23、n如果樣本值為：如果樣本值為：1067 919 1196 785 1126 936 918 1156 920 948 有有1011997.1.10iix例例7.2.2 設一個試驗有三種可能結果，其發生概率設一個試驗有三種可能結果，其發生概率分別為分別為 現做了現做了n次試驗，觀測到三種結果發生的次數分次試驗，觀測到三種結果發生的次數分別為別為 n1 , n2 , n3 (n1+ n2+ n3 = n)，求，求 的的MLEMLE。22123,2 (1),(1)ppp22,1,( ;)2 (1),2,(1,3.)xpxXxx1232232212212( )() 2 (1) (1) )2(1)( ;

24、nnnnnnniinnLp x解解: : 12322ln ( )(2)ln(2)ln(1)ln2Lnnnnn將之關于將之關于 求導，并令其為求導，并令其為0得到似然方程得到似然方程解之，得解之，得 1235,6,9,2560.4.220nnn 當12322201nnnn1212123222()2nnnnnnnn解：解：似然函數為似然函數為1( )(1)niiLx1(1) () ,01,1,2, .nniiixxin例例7.2.3 設設X1,X2,Xn是取自總體是取自總體X的一個樣本的一個樣本(1),01,( ; )0,xxXp x其它.求求 的極大似然估計的極大似然估計. .1 其中其中 1l

25、n ( )ln01niidLnxd求導并令其為求導并令其為0 0從中解得從中解得1ln1niinx 的的MLE 為：為：對數似然函數為對數似然函數為1ln ( )ln(1)lnniiLnx1ln1.niinX 例例7.2.4 對正態總體對正態總體N( , 2)，=( , 2)是二維是二維參數，求參數，求 =( , 2)的的MLE。 22()221( ;,)2:,xXp xeSolutnxio 設有樣本值設有樣本值x1, x2 , , xn，則似然函數及其對數分別為，則似然函數及其對數分別為 22212/2221222211()( ,)exp221(2)exp(),2,1,2, .1ln ( ,

26、)()lnln(2 )222niinniiiniixLxxinnnLx 將將 lnL( , 2) 分別關于兩個分量求偏導并令其為分別關于兩個分量求偏導并令其為0, 即得到似然方程組即得到似然方程組 221ln ( ,)1()0niiLx 222421ln ( ,)1()022niiLnx 解此方程組，可得解此方程組，可得 的極大似然估計為的極大似然估計為 2的極大似然估計的極大似然估計 利用二階導函數矩陣的非正定性可以說明上述利用二階導函數矩陣的非正定性可以說明上述估計使得似然函數取極大值。估計使得似然函數取極大值。 11niixxn2211()niixxn可得可得 的極大似然估計量為的極大似

27、然估計量為得出得出 2的極大似然估計量為的極大似然估計量為11;niiXXn22211()niniXXSn 注：雖然求導函數是求極大似然估計最常用的方注：雖然求導函數是求極大似然估計最常用的方法，但并不是在所有場合求導都是有效的。法，但并不是在所有場合求導都是有效的。12121212( ,),) . .,. , X 7 2 5 設總體在上服從均勻分布其中未知(求的最大似然估計例1112121221(1)( )22(1)1)1(11()(1(,1,2,., ,),)min ,., ,max ,., ( ;)nninnninniLxinxxwherepxxxxxxx 121221:,1(;),Xp

28、 xSolutnxio 要使要使L()達到最大，必須是達到最大，必須是1/(n盡可能大。盡可能大。亦即亦即的取值應盡可能小，須的取值應盡可能小，須盡可能小，須盡可能小，須盡可能大，由于，盡可能大，由于， 由此給出由此給出的極大似然估計：的極大似然估計： 給出給出 的極大似然估計量：的極大似然估計量：1121(1)( )min,.,max,.,.nnnXXXXXX12(1)( ),nxx1(1)( )2,nxx(0, ),.X設總體在上服從均勻分布 其中未知 求的最大似單情形：然估計邊( )12max,.nnXXXX2()1(1)2,( ; )min,.,.,0 xMLnEexXp xXX：總體

29、X其它未知，則再補充一例 極大似然估計有一個簡單而有用的性質：如果極大似然估計有一個簡單而有用的性質：如果 是是 的極大似然估計，則對任一函數的極大似然估計，則對任一函數 g( )，其極大似然估計為其極大似然估計為 。該性質稱為。該性質稱為極大似然極大似然估計的估計的不變性不變性，從而使一些復雜結構的參數的從而使一些復雜結構的參數的極大似然估計的獲得變得容易了。極大似然估計的獲得變得容易了。 ( )g 例例 設設 X1 , X2 , , Xn是來自正態總體是來自正態總體N( , 2) 的樣本，則的樣本，則 和和 2的極大似然估計為的極大似然估計為 于是由不變性可得如下參數的極大似然估計，它于是

30、由不變性可得如下參數的極大似然估計，它們是們是: 3(3)P X22, nXSnS 標準差標準差 的的MLE是是 ；概率概率 的的MLE是是 . .3nSX定義定義7.3.1 設設 是是 的一個估計，的一個估計， 的參數空間為的參數空間為，若對任意的，若對任意的 ，有，有 則稱則稱 是是 的的無偏估計無偏估計，否則稱為否則稱為有偏估計有偏估計。 1(,)nXX( )E7.3.1 無偏估計無偏估計無偏估計的實際意義無偏估計的實際意義: : 無系統誤差無系統誤差. .定義定義7.3.1續續 設設 是是 的一個估計，的一個估計， 的參數空間為的參數空間為，若對任意的，若對任意的 ，有，有 則稱則稱

31、是是 的的漸近漸近無偏估計無偏估計. 1(,)nXXlim( )nE( )( ).BE偏差(系統：誤差）例例7.3.1 對任一總體而言，樣本均值是總體均值的無偏估計。對任一總體而言，樣本均值是總體均值的無偏估計。當總體當總體k階矩存在時，樣本階矩存在時，樣本k階原點矩階原點矩Ak是總體是總體k階原點矩階原點矩 k的無偏估計。的無偏估計。 但對中心矩則不一樣，譬如，由于但對中心矩則不一樣，譬如，由于 ，樣本，樣本方差方差Sn2不是總體方差不是總體方差 2的無偏估計，對此，有如下兩點說的無偏估計，對此，有如下兩點說明：明： (1) 當樣本量趨于無窮時，有當樣本量趨于無窮時，有E(Sn2) 2， S

32、n2 為為 2的的漸近無偏估計漸近無偏估計。 (2) 若對若對Sn2的的修正：修正： 則則 S2 是總體方差的無偏估計。是總體方差的無偏估計。221()nnE Sn22211()11nniinSSXXnn例例7.3.3 設總體為設總體為N( , 2)，X1 , X2 , , Xn是樣本，是樣本，則則S2是是 2的無偏估計，且可求出的無偏估計，且可求出 這說明這說明 S 不是不是 的無偏估計的無偏估計. . 利用修正技術可得利用修正技術可得 cn S 是是 的無偏估計的無偏估計，其中，其中 是修偏系數是修偏系數. . 可以證明，當可以證明，當n時時, , 有有cn1. . 這說明這說明 S 是是

33、 的漸近無偏估計的漸近無偏估計。 2( / 2)( )1(1) / 2)nnE Snnc1(1)/2)2( /2)nnncn解解2221(1),nYSn由第由第6章第章第4節節FISHER定理知定理知112210211edy122nynnSEyyn122102212edy,11222ynnnynn22( ),112nE Snn ,S故不是的無偏估計量112 .22nnSn是的無偏估計量定義定義7.3.2 設設 是是 的兩個無偏估計，如的兩個無偏估計，如果對任意的果對任意的 , 有有 且至少有一個且至少有一個 0使得上述不等號嚴格使得上述不等號嚴格成立，則稱成立，則稱 比比 有效。有效。 12,

34、 12Var()Var(),127.3.2 有效估計有效估計 例例7.3.4 設設 X1, X2 , , Xn 是取自某總體的樣本，記總是取自某總體的樣本，記總體均值為體均值為 ，總體方差為，總體方差為 2，則，則 都是都是 的無偏估計，但的無偏估計，但 顯然，只要顯然，只要 n1， 比比 有效。這表明用全部數據有效。這表明用全部數據的平均估計總體均值要比只使用部分數據更有效。的平均估計總體均值要比只使用部分數據更有效。 121,XX2212Var()/ ,Var()n1211=,0,1nniiiiiiXXX一般地,在 的無偏估計量類：中，最有效.例例7.3.5 設設 X1, X2 , , X

35、n 是取正態總體的樣本，總是取正態總體的樣本，總體均值為體均值為 0已知已知 ，總體方差為，總體方差為 2 未知未知，則，則 _2222200112422222000212_4222222122011()()12( )12(1)1nniiiiniiniiSXSXXnnnXSnE SVar SnnXXSnE SVar SnSS考慮 的兩個無偏估計量：，；，。比 有效。例例7.3.6 均勻總體均勻總體U(0, )中中 的兩個無偏估計是的兩個無偏估計是：試比較其有效性。試比較其有效性。 12( )12nnXXn，1221( )2 ( )2 ( )2= ,244Var( )4Var( )Var( ).

36、123EE XE XXXnnn 由次序統計量的分布，我們知道由次序統計量的分布，我們知道 X(n) 的分布密度函的分布密度函數為數為 p(y)=n y n-1/ n, 0y 0，有，有 ( (7.3.6) ) 則稱則稱 為為 參數的參數的相合估計（一致估計）量相合估計（一致估計）量。 1(,)nnnXXlim(|)0nnPn 相合性被認為是對估計的一個最基本要求相合性被認為是對估計的一個最基本要求, 如果一個估計量如果一個估計量, 在樣本量不斷增大時，它都不在樣本量不斷增大時，它都不能把被估參數估計到任意指定的精度能把被估參數估計到任意指定的精度, 那么這個那么這個估計是很值得懷疑的。估計是很

37、值得懷疑的。 通常，不滿足相合性要通常，不滿足相合性要求的估計一般不予考慮。求的估計一般不予考慮。 若把依賴于樣本量若把依賴于樣本量n的估計量的估計量 看作一個隨看作一個隨機變量序列，相合性就是機變量序列，相合性就是 依依概率收斂于概率收斂于 , 所所以證明估計的相合性可以證明估計的相合性可應用依概率收斂的定義應用依概率收斂的定義 性質及大數定律和下面的定理性質及大數定律和下面的定理。 nnn()ng定理定理7.3.1 若若 是是 的相合估計，的相合估計，g( ) 是是 連續函數，連續函數，則則 是是g( )的相合估計。的相合估計。0,0,|,( )( ) |;|)( ) |.1lim(|)l

38、im()( ) |)1lim()( ) |Pr:)1.nnnnnnnngxxggPPgfPgoo由函數 的連續性，當|有|g| g(|g(|g(1,nkn1(,)nkng定理定理7.3.2 若若 分別是分別是1, , k 的相合估的相合估計，計，g(1 , , xk) 是是1, , k 的連續函數，則的連續函數，則 是是 g(1 , , k ) 的相合估計。的相合估計。1110 ,0 ,|,1, 2 , .,.(, .,)(, .,) |;, .,00 ,(|),1, 2 , . .P r. ,:jjnnnk njnjgjkgvNnNvPjkokof由 函 數的 連 續 性 ，當 |有| g又

39、 由的 相 合 性 ， 對 給 定 的，正 整 數， 使 得時 ， 有 ：|111111(,.,)(,.,) |)(|)(|),(,.,)(,.,).nknkkjnjjkjnjjPnknkPgPPvg |g|即g222 2 S S A nnkkXSS （ 1） 樣 本 均 值 是 總 體 均 值 的 相 合 估 計 量 ;（） 樣 本 方 差及都 是 總 體 方 差的 相 合 估 計 量 ;（ 3） 樣 本 標 準 差 及 都 是 總 體 標 準 差 的 相 合 估 計 量 ;（ 4） 樣 本 原 點 矩是 總 體 原 點 矩 的 相 合 估 計 量 .例例7.3.8 設設 X1, X2 ,

40、, Xn 是取自某總體的樣本，總是取自某總體的樣本，總體各階矩存在。記總體均值為體各階矩存在。記總體均值為 ，總體方差為，總體方差為 2。注：注： 由該題，我們可以看到由該題，我們可以看到, ,矩估計一般都具有相合性。矩估計一般都具有相合性。證明證明（1 1）由）由辛欽大數定律辛欽大數定律知知, , 0,11 lim1,niniPXn有11 .niiXXn所以是的相合估計量22221111(2) S()nnniiiiXXXXnn222,() AXA是樣本二階原點矩由辛欽大數定律知由辛欽大數定律知, , 22211(), niiAXE Xn依概率收斂于11( ), niiXXE Xn依概率收斂于

41、222 SnAX故222() (),E XE X依概率收斂于22 S . n所以是的相合估計量 lim1, 1nnn又222 S . 1nnSn所以也是的相合估計量; , S . PPnnSSS (3) 由定理7.3.1知：所以均為的相合估計量k1k1(), . nkkikikAXE XnA(4)由辛欽大數定律知,依概率收斂于所以是的相合估計量定理定理7.3.3 設設 ，是，是 的一個估計量，的一個估計量，若若 則則 是是 的相合估計。的相合估計。1(,)nnnXXlim(),lim()0nnnnEVarn22220 ,(| )0(|)()()0P r:nnnnb yM a rk o vin

42、e q u a lityw e h a v eEPV a rEo o f|例例7.3.9 設設 X1, X2 , , Xn 是來自均勻總體是來自均勻總體U(0, ) 的樣本，證明的樣本，證明 的極大似然估計是相合估計。的極大似然估計是相合估計。證明證明: 的極大似然估計是的極大似然估計是X(n)。故由例。故由例7.3.6有有 由定理由定理7.3.3可知，可知，X(n)是是 的相合估計。的相合估計。22(),1V a r ()0 , (1) (2 )nEnnnn定理定理7.3.4 設總體設總體X有概率函數有概率函數 p(x; )， ， 為非退化區間，假定為非退化區間，假定 (1) 對任意的對任意

43、的x，偏導數，偏導數 ， 和和 對所有對所有 都存在；都存在； (2) , 有有 ， 其中函數其中函數F1(x) , F2(x), F3(x)可積可積. .ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x7.3.5 其它準則（其它準則（ (3) , 若若 X1, X2 , , Xn 是來自該總體的樣本，則存在是來自該總體的樣本，則存在未知參數未知參數 的極大似然估計的極大似然估計 ，且，且 具具有有相合性和漸近正態性相合性和漸近正態性: : 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnXXn 定義定義6.4.2 對參數估

44、計問題，設對參數估計問題，設 是是 的一個無的一個無 偏估計，如果對另外任意一個偏估計，如果對另外任意一個 的無偏估計的無偏估計 ， 在參數空間在參數空間上都有上都有 則稱則稱 是是 的的一致最小方差無偏估計，一致最小方差無偏估計，簡記為簡記為 UMVUE。Var ( )Var ( )7.4.1 一致最小方差無偏估計一致最小方差無偏估計 介紹介紹UMVUE的概念，找的概念，找UMVUE的三種方法。的三種方法。 定理定理7.4.1 設設 (X1, X2 , , Xn) 是來自某總體的一個樣是來自某總體的一個樣本，本， 是是 的一個無偏估計，的一個無偏估計， 則則 是是 的的UMVUE的的充要條件

45、充要條件是：是： 如果對任意如果對任意一個滿足一個滿足 E( )=0，Var( )0, 用條件期望構造一個新的隨機用條件期望構造一個新的隨機變量變量 （Y），其定義為），其定義為 則有則有 ( )(|)yE X Yy( ( ),( ( )(),EYVarYVar XXY等號成立和（ ）幾乎處處相等。7.4.2 充分性原則充分性原則 以下定理說明：以下定理說明：好的無偏估計都是充分統計量的函好的無偏估計都是充分統計量的函數數。 定理定理7.4.3 設總體概率函數是設總體概率函數是 p(x; )， X1, X2 , , Xn 是其樣本是其樣本，T=T(X1, X2 , , Xn )是是 的的充分充

46、分統計統計量，則量，則 對對 的任一無偏估計的任一無偏估計 ，令令 ， 則則 也是也是 的無偏估計，且的無偏估計，且 1(,)nXX(| )ETVar( )Var( ) 定理定理7.4.3說明說明：如果無偏估計不是充分統計如果無偏估計不是充分統計 量的函數，則將之對充分統計量求條件期量的函數，則將之對充分統計量求條件期 望可以得到一個新的無偏估計，該估計的望可以得到一個新的無偏估計，該估計的 方差比原來的估計的方差要小，從而降低方差比原來的估計的方差要小，從而降低 了無偏估計的方差。換言之，考慮了無偏估計的方差。換言之，考慮 的估的估 計問題只需要在基于充分統計量的函數中計問題只需要在基于充分

47、統計量的函數中 進行即可，該說法對所有的統計推斷問題進行即可，該說法對所有的統計推斷問題 都是正確的，這便是所謂的都是正確的，這便是所謂的充分性原則充分性原則。 例例7.4.2 設設 X1, X2 , , Xn 是來自是來自B(1, p)的樣本，則的樣本，則 是是p 的充分統計量。為估計的充分統計量。為估計 =p(1- p)，可令可令 由于由于 ，所以，所以 是是 的的無偏估計。這個只使用了兩個觀測值的估計并不無偏估計。這個只使用了兩個觀測值的估計并不好好. .下面我們用下面我們用Rao- -Blackwell定理對之加以改進：定理對之加以改進：求求 關于充分統計量關于充分統計量 的條件期望，

48、的條件期望，得得TnX1211,00XX， 其它12( )(1,0)(1)EP XXpp 1niiTX()()(1)(|)(1)(1)(1).t ntT nTnXXETtn nn nn n 定理定理7.4.4 設總體概率函數是設總體概率函數是 p(x; )， X1, X2 , , Xn 是其樣本，是其樣本，T=T(X1, X2 , , Xn )是是 的的充分完備充分完備統計統計量，則量，則 對對 的任一無偏估計：的任一無偏估計： 令令 則則 是是 的唯一的唯一UMVUE。 1(,)nXX( | )ET 例例7.4.3 設設 X1, X2 , , Xn 是來自是來自B(1, p)的樣本，則的樣本

49、，則 是是p 的的充分完備充分完備統計量。由于統計量。由于1niiTX1(|)(|)niipE p TE XXpXXpUMVUE是p的常用無的偏估計，是。定義定義7.4.2 設總體設總體 X 的概率函數的概率函數 p(x; ), , ，則稱，則稱 為總體分布的為總體分布的費希爾費希爾(Fisher) 信息量。信息量。 2( )ln ( ; )IEp X7.4.3 Cramer-Rao不等式不等式定義定義7.4.2 設總體的概率函數設總體的概率函數 p(x; ), 滿足下列條件：滿足下列條件： (1) 參數空間參數空間是直線上的一個開區間；是直線上的一個開區間； (2) 支撐支撐 S=x: p(

50、x; )0與與 無關；無關； (3) 導數導數 對一切對一切 都存在；都存在； (4) 對對p(x; )，積分與微分運算積分與微分運算可交換次序；可交換次序； (5) 期望期望 存在；則稱存在；則稱 為總體分布的為總體分布的費希爾費希爾(Fisher) 信息量。信息量。 ( ; )p x2ln(; )Ep X2( )ln ( ; )IEp X 費希爾信息量是數理統計學中一個基本概念，費希爾信息量是數理統計學中一個基本概念，很多的統計結果都與費希爾信息量有關。如極很多的統計結果都與費希爾信息量有關。如極大似然估計的漸近方差，無偏估計的方差的下大似然估計的漸近方差，無偏估計的方差的下界等都與費希爾

51、信息量界等都與費希爾信息量I( )有關。有關。I( )的種種的種種性質顯示，性質顯示，“I( )越大越大”可被解釋為總體分布可被解釋為總體分布中包含未知參數中包含未知參數 的信息越多。的信息越多。例例7.4.4 設總體為泊松分布設總體為泊松分布P( )分布，則分布，則 于是于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例例7.4.5 設總體為指數分布，其密度函數為設總體為指數分布，其密度函數為 1( ; )exp,0, 0 xp xx221ln( ; )xxp x2242Var()1( )XXIE定理定理7.4.5（Cramer-Rao不等式）不等式） 設

52、定義設定義7.4.2的條件滿足，的條件滿足，X1, X2 , , Xn 是來自該是來自該總體的樣本，總體的樣本，T=T(X1, X2 , , Xn )是是g( )的任的任 一個無偏估計，一個無偏估計， 存在，且對存在，且對 中一切中一切 ，微分可在積分號下進行，則有，微分可在積分號下進行，則有 ()()gg2Var( ) ( )( )TgnI證明證明以連續總體為例加以證明以連續總體為例加以證明.(; )1,1,2,iip xdxin 0(; )iip xdx ln (; ) (; )iiip xp xdx ln (; )iEp X 11=ln(; )ln (; )nniiiiZp Xp X 1

53、ln (; )0niiEZEp X 2()()E ZVar Z 1ln (; )niiVarp X 21ln (; )( )niiEXnIp ( )()( )gE TZE TgZ 又又222( )( ) ()gE TgE Z ( )()Var T Var Z 2Var( ) ( )( )TgnI 上式稱為上式稱為克拉美克拉美-羅（羅（C-R）不等式）不等式; g()2/(nI( )稱為稱為g( )的無偏估計的方差的無偏估計的方差 的的C-R下界，下界，簡稱簡稱g( )的的C-R下界。下界。 特別，對特別，對 的無偏估計的無偏估計 ,有有 ;1Var( ) ( ( )nI 如果等號成立，則稱如果

54、等號成立，則稱 T=T(X1, , Xn) 是是 g( )的的優效估計優效估計，一般，一般優效估計一定是優效估計一定是 UMVUE。例例7.4.6 設總體分布列為設總體分布列為p(x, )= x(1- - )1- -x, , x=0,1，它滿足定理，它滿足定理7.4.5的所有條件，可以算得的所有條件，可以算得該分布的費希爾信息量為該分布的費希爾信息量為 ，若，若 X1, X2, , Xn 是該總體的樣本，則是該總體的樣本，則 的的C- -R下界下界為為(nI( )- -1= (1- - )/n。因為。因為 是是 的無偏估計，的無偏估計，且其方差等于且其方差等于 (1- - )/n，達到，達到C

55、- -R 下界，所以下界，所以 是是 的有效估計，它也是的有效估計，它也是 的的UMVUE。 1()(1)IXX例例7.4.7 設總體為指數分布設總體為指數分布Exp(1/ )，它滿足定理，它滿足定理7.4.5的所有條件，例的所有條件，例6.4.4中已經算出該分布的費中已經算出該分布的費希爾信息量為希爾信息量為I( ) = - -2，若，若X1, X2, , Xn 是樣本，是樣本，則則 的的C- -R下界為下界為(nI( )- -1=2/n。而。而 是是 的無偏估計，且其方差等于的無偏估計，且其方差等于2/n，達到了，達到了C- -R下界，所以，下界，所以， 是是 的有效估計，它也是的有效估計

56、，它也是 的的UMVUE。XX能達到能達到C- -R下界的無偏估計不多下界的無偏估計不多: :例例7.4.8 設總體為設總體為N(0, 2 )，滿足定理，滿足定理7.4.5的條件，的條件，且費希爾信息量為且費希爾信息量為 ，令，令 , , 則則 的的C- -R下界為下界為 , , 而而 的的UMVUE為為 其方差大于其方差大于C- -R下界。這表明所有下界。這表明所有 的無偏估計的的無偏估計的方差都大于其方差都大于其C- -R下下界。界。 241()2I22()g2222()()2gnIn21( / 2)12(1) / 2)niinnXnn7.5.1 統計推斷的基礎統計推斷的基礎 經典學派經典

57、學派的觀點：的觀點：統計推斷是根據樣本信息統計推斷是根據樣本信息對總體分布或總體的特征數進行推斷，這里對總體分布或總體的特征數進行推斷，這里用到兩種信息：用到兩種信息：總體信息總體信息和和樣本信息樣本信息；貝葉斯學派貝葉斯學派的觀點：除了上述兩種信息以外，的觀點：除了上述兩種信息以外，統計推斷還應該使用第三種信息：統計推斷還應該使用第三種信息：先驗信息。先驗信息。 （1）總體信息總體信息: :總體分布提供的信息。總體分布提供的信息。（2）樣本信息樣本信息: :抽取樣本所得觀測值提供的信息。抽取樣本所得觀測值提供的信息。（3）先驗信息先驗信息: :人們在試驗之前對要做的問題在經人們在試驗之前對要

58、做的問題在經 驗上和資料上總是有所了解的，這些信息對驗上和資料上總是有所了解的，這些信息對 統計推斷是有益的。先驗信息即是抽樣（試統計推斷是有益的。先驗信息即是抽樣（試 驗）之前有關統計問題的一些信息。一般說驗）之前有關統計問題的一些信息。一般說 來，先驗信息來源于經驗和歷史資料。先驗來，先驗信息來源于經驗和歷史資料。先驗 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。 基于上述三種信息進行統計推斷的統計學稱為基于上述三種信息進行統計推斷的統計學稱為貝葉斯統計學。貝葉斯統計學。它與經典統計學的差別就在于它與經典統計學的差別就在于是否利用先驗信息。貝葉斯統計在重視使用總是否

59、利用先驗信息。貝葉斯統計在重視使用總體信息和樣本信息的同時，還注意先驗信息的體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數量化，形成先驗分收集、挖掘和加工，使它數量化，形成先驗分布，參加到統計推斷中來，以提高統計推斷的布，參加到統計推斷中來，以提高統計推斷的質量。忽視先驗信息的利用，有時是一種浪費，質量。忽視先驗信息的利用，有時是一種浪費，有時還會導出不合理的結論。有時還會導出不合理的結論。 貝葉斯學派的基本觀點：貝葉斯學派的基本觀點：任一未知量任一未知量 都可看都可看作隨機變量，作隨機變量，可用一個概率分布去描述，這個可用一個概率分布去描述，這個分布稱為分布稱為先驗分布先驗

60、分布；在獲得樣本之后，總體分在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結合起來布、樣本與先驗分布通過貝葉斯公式結合起來得到一個關于未知量得到一個關于未知量 新的分布新的分布后驗分布后驗分布；任何關于任何關于 的統計推斷都應該基于的統計推斷都應該基于 的后驗分的后驗分布進行。布進行。 （1）總體的條件分布：）總體的條件分布：總體依賴于參數總體依賴于參數 的概率的概率函數在貝葉斯統計中記為函數在貝葉斯統計中記為p (x | )，它表示在隨機，它表示在隨機變量變量取某個給定值時總體取某個給定值時總體X的的條件概率函數；條件概率函數； （2）參數）參數根據參數根據參數 的先驗信息的先驗信息