1、最大似然估計(jì)的原理及其應(yīng)用摘要：了解最大似然估計(jì)的原理，并通過(guò)其原理來(lái)解決生活中的某些概率與統(tǒng)計(jì)的問(wèn)題。引言：似然函數(shù)&國(guó)，或島）是。的函數(shù)，表示由參數(shù)。產(chǎn)生樣本值了3,色舟第的“可能性，大小。將樣本觀察看成“結(jié)果”。是產(chǎn)生結(jié)果的“原因” ，偵;4, %, ,）則是度量產(chǎn)生該結(jié)果的各種 “原因”的機(jī)會(huì)。因此，。的一個(gè)合理的 估計(jì)應(yīng)使這種機(jī)會(huì)（即瑚也）達(dá)到最大的那個(gè)值。關(guān)鍵詞：似然函數(shù)，最大似然估計(jì)，最大似然估計(jì)值。（1）似然函數(shù)設(shè)描述總體的隨機(jī)變量x的概率密度函數(shù)為了（皿島島），其中狀2，.,。都是 總體的未知參數(shù)（若x是離散型的，則約定川&表示概率分布 血島時(shí)，總體的樣本x，x，x的測(cè)量值為

2、xi，七，七，也可以12n理解為是n維獨(dú)立隨機(jī)向量（x，x，x ）的一個(gè)測(cè)量值。即是說(shuō)，對(duì)一維隨機(jī)變量進(jìn)行n次測(cè)量得到的n個(gè)測(cè)量1值可以看成是對(duì)n維獨(dú)立的隨機(jī)向量進(jìn)行一次測(cè)量得到的 n個(gè)測(cè)量值。由于n維隨機(jī)向量的聯(lián)合概率密度為i=1H f (x ;6 ,6 ,.e )顯然，對(duì)于樣本的一個(gè)測(cè)量值，它是61，62，.，6k的函數(shù)，記為并稱(chēng)它為似然函數(shù)，簡(jiǎn)記為L(zhǎng)。對(duì)于離散型隨機(jī)變量。應(yīng)該注意，似然函數(shù)與參數(shù)61，62，6k有關(guān)，對(duì)于給定的樣本值，它是這些參數(shù)的函 數(shù)。（2）最大似然估計(jì)值設(shè)總體含未知參數(shù)61，6 2，6 k，對(duì)于給定的樣本值如有i 12 ki 12 ki=1i=1Hf (x ;6，6

3、，.，6 ) Hf (x ;6，6 .6)甘土6，6，.，6山士左至粉6，6，6處朋甘 亦活 =6，6 .6山其中12 k為未知參數(shù)12 k可能取的某一組值，而12 k為6 666 666，6， 6，61，626k的一切其他可能取值，此時(shí)，我們可認(rèn)為61，62，.，6k，比6 1，6 26 k作為6 66 6 666 66U ，U ，. . .，U 由4任 巾/ 上 曰 匚口口口 U，U ，.，U 下川 U ，U ，.，U rL_Lzg 不土 M -41 2 k的估值要好些。這是因?yàn)樾∷率秸f(shuō)明，1 2 k取1 2 k時(shí)得到樣本 TOC o 1-5 h z X ，X，. . .，X /、,，r

4、、. I、，t t、I JM、n 6 ，6，. . .，6 r/_r z,.r f I、I ，一i , I r t r值1 2 n的可能性最大，這樣的估計(jì)值就是1 2 k的最大似然估計(jì)值。因此，可6 666 6 6以有定義：如果似然函數(shù)L在61，62，.，6k分別取1，2，.，k時(shí)達(dá)到最大值，則稱(chēng)6 666 66，U ， ，U 八 m i=t U，U ，. ，U （ i=t r . t. k / t,、i /t-1 2 k分別是1 2 k的最大似然估計(jì)值。（3）求最大似然估計(jì)值的方法我們認(rèn)為，如果在一次測(cè)量中一個(gè)事件出現(xiàn)了，那么就可以認(rèn)為此事件出現(xiàn)的可能性最 大。在這里，3/%,七)作為n維隨

5、機(jī)向量的一個(gè)測(cè)量值出現(xiàn)了，那么就認(rèn)為只有似然 函數(shù)為最大才有可能。因?yàn)樗迫缓瘮?shù)為最大，對(duì)應(yīng)事件出現(xiàn)的可能性才最大。所以求似然函 數(shù)L的最大值問(wèn)題也就是求總體的未知參數(shù)的最大似然估計(jì)值的問(wèn)題了。A A A AA A在L關(guān)于Ai，A2,Ak可微時(shí)，要使L取最大值，Ai，A2,Ak必須滿(mǎn)足方程組dL .- - - 0鴻如A A AA A A由此方程組解得A1，A2,Ak的值，即為最大似然估計(jì)值2,k。顯然，最大似然估計(jì) 一一 一一 一一建 “、八；一 1 C 7,/士 I_. J.V. I . rt.l 曰 /士 X , X , . . . , x A，,八 ir |-、,、r . A (x , x

6、 ,., X ), J 1,2, . . . , k, 八 、r . f I值與樣本測(cè)量值12n的取值有關(guān)，故可記為J 1 2 n并稱(chēng)為估值。由于似然函數(shù)式是多個(gè)因子的乘積，利用對(duì)數(shù)ln L進(jìn)行計(jì)算比較方便，并且因?yàn)?lnX是x的單調(diào)上升函數(shù)，故L與ln L有相同的極大點(diǎn)，從而。近,%的最大似然估計(jì) 值還可由下列方程組(稱(chēng)為似然方程組)求得31nZ 一、=八如1些=0I I IainZ n=0 _/在實(shí)際問(wèn)題中，常常由于似然函數(shù)很復(fù)雜，而無(wú)法由解方程組(4-7)求出最大 似然估計(jì)的解析表達(dá)式。只有利用適當(dāng)?shù)慕朴?jì)算方法求似然方程組的近似解，或者利用計(jì) 算數(shù)學(xué)中尋求函數(shù)極值點(diǎn)的最優(yōu)化技術(shù)，在計(jì)算

7、機(jī)上進(jìn)行優(yōu)選計(jì)算，搜索出使似然函數(shù)最大A A AAA AL-, 4、/士 U,U,U/心、r .4、”_ U,U,l/rr 曰 I . r / 一、I /士的參數(shù)值12k，作為參數(shù)1 2 k的最大似然估計(jì)值。最大似然估計(jì)法具有下述性質(zhì)：個(gè)A,A ,.,Af (x;A ,A ,.,A )山添斷白勺曰十們欽仕、+祐 深斷右12 k為 12 k中參數(shù)的最大似然估計(jì)值，又函數(shù)u = u(A A A)u = u (A ,A ,. ,A )U u , ,1 2 k具有單值反函數(shù)，貝12 k 。因此，當(dāng)已知ib= Yb2有單值反函數(shù)時(shí)，則有上式即是。的最大似然估計(jì)。最大似然估計(jì)的應(yīng)用例 設(shè)有外形完全相同的兩

8、個(gè)箱子,甲箱有99個(gè)白球1個(gè)黑球，乙箱有1個(gè)白球99個(gè)黑球.今 隨機(jī)地抽取一箱，然后再?gòu)倪@箱中任取一球，結(jié)果發(fā)現(xiàn)是白球.問(wèn)這個(gè)箱子是甲箱還是乙箱？ 分析我們這里做的是統(tǒng)計(jì)推斷而不是邏輯推斷。所謂統(tǒng)計(jì)推斷，就是根據(jù)已知的部分?jǐn)?shù)據(jù) 對(duì)總體的進(jìn)行估計(jì)的一種推斷方法。從部分推斷總體，必然伴隨著一定的犯錯(cuò)誤的概率。因 此從邏輯上認(rèn)起死理來(lái)，統(tǒng)計(jì)推斷似乎因?yàn)椴惶珖?yán)謹(jǐn)而被排斥在“科學(xué)推斷”之外了。但是 在實(shí)際生活中，如果都要按照邏輯推斷來(lái)思考，那么將會(huì)給你的生活帶來(lái)很大的麻煩。比如 出門(mén)，則難免會(huì)有一定的概率出一定的意外，因此所謂“安全回家”在邏輯上便不再是絕對(duì) 可靠的，故而你只能選擇閉門(mén)不出。現(xiàn)在的問(wèn)題是

9、，僅僅從取出的球是白球這一點(diǎn)是無(wú)法從邏輯上嚴(yán)格加以判定該箱究竟是 甲箱還是乙箱的。但是如果現(xiàn)在一定要我們做出選擇，那么我們只能這樣來(lái)考慮：從箱中取 出的球是白球這一點(diǎn)來(lái)看，甲箱和乙箱哪個(gè)看上去更像是真正從中取球的箱子？我們這樣來(lái)分析：如果該箱是甲箱，則取得白球的概率為0.99；如果該箱是乙箱,則取得 白球的概率0.01.因此，用“該箱是甲箱”來(lái)解釋所取的球是白球這一事件更有說(shuō)服力一些， 從而我們判定甲箱比乙箱更像一些。最后我們做出推斷，這球是從甲箱取出的.其實(shí)，如果我們從“最大似然”的原文maximum likelihood來(lái)看，就會(huì)發(fā)現(xiàn)這個(gè)名稱(chēng)的 原始含義就是“看起來(lái)最像”的意思。“看起來(lái)最

10、像”，在很多情況下其實(shí)就是我們決策時(shí)的依據(jù)。一個(gè)總體往往都有若干個(gè)重要的參數(shù)。比如，對(duì)于正態(tài)總體來(lái)說(shuō)，均值和方差就是兩個(gè) 非常重要的參數(shù)。但是在很多情況下，這些參數(shù)往往是不知道的，這就需要我們利用抽樣所 得的部分?jǐn)?shù)據(jù)來(lái)做統(tǒng)計(jì)推斷。假設(shè)我們現(xiàn)在獲得了一組數(shù)據(jù)，記為x，我們需要做的是，利用x中所包含的信息來(lái)推 斷總體中的未知參數(shù)值。顯然，未知參數(shù)是有其取值的范圍的，我們現(xiàn)在要做的是，在參數(shù) 可能的取值范圍內(nèi)尋找到一個(gè)“看起來(lái)最像”的那個(gè)值來(lái)作為未知參數(shù)的估計(jì)值。現(xiàn)在，假設(shè)有甲乙兩支足球隊(duì)要進(jìn)行比賽，某老漢很認(rèn)真地看了這兩支足球隊(duì)的相關(guān)資 料，并作了細(xì)致的分析，得出了甲隊(duì)?wèi)?zhàn)勝乙隊(duì)的概率為p。但是在第二天被朋友問(wèn)及此事時(shí)， 該老漢一時(shí)犯昏把數(shù)字給記混了。他只知道甲隊(duì)?wèi)?zhàn)勝乙隊(duì)的概率p只可能取如下幾個(gè)值0， 0.1，0.3, 0.5, 0.75, 0.9，但一點(diǎn)也記不清到底哪個(gè)數(shù)字才是真實(shí)的。也就是說(shuō)，在這個(gè)時(shí) 候，這五個(gè)數(shù)字沒(méi)有哪一個(gè)看上去更像是真實(shí)的p。于是他開(kāi)始翻看隨身攜帶的一些資料， 發(fā)現(xiàn)與這兩支足球隊(duì)有關(guān)的資料只有一條，這就是他們?cè)?/p>