極大似然估計的基本理論綜述1.1極大似然估計的原理極大似然估計的原理為：發生概率最大的事件，最可能發生。其嚴謹表述如下：假設有個實驗結果，若發生，則意味著發生的概率最大。換言之，若一個事件在一次實驗中就發生，則可以認為其發生的概率最大。此處用兩個例子來更進一步的了解：例1甲箱和乙箱完全相同，現將前者中放入98個黑球和2個白球，后者中放入98個白球和2個黑球。若在任一箱子中任取一球，得黑球，則此黑球取自哪個箱子？解從任一箱子中任取一球都有兩種結果：表示“取到黑球”，表示“取到白球”。若球取自甲箱，則。若球取自乙箱，那么。在一次試驗中若發生了，通常更傾向于認為:“這個黑球最像是從甲箱中取出的。”換言之，如果試驗條件對結果的出現有利，那么從經驗角度出發，可以推斷出這個球是從甲箱里取出的。拋去較極端的案例數據，做出如下一般假設：甲箱中黑球的比例為，球總數為100，乙箱中黑球的比例為，總數也為100，且。現在任取一球，取到黑球，則如何推斷此球取自哪個箱子？極大似然原理告訴我們，若黑球比例甲箱的更高，則此是從甲箱中拿出的。例2考試成績是很多學校用來評價學生學習水平的參考標準。即使每個學生的臨場發揮情況會有波動，但因高考的重要性和規模，將其當作學習能力的評價參考也有一定的道理。從極大似然的角度來分析，即成績雖然會有波動，但學習能力與它的相關性仍然非常高，因此成績高的學生，可以認為是學習能力強的。上述兩個例子的分析都基于極大似然原理，在數理統計領域應用此理論的方法則被稱為：極大似然估計。1.2極大似然估計的定義定義1設總體的概率函數為,其中是一個未知參數或幾個未知參數組成的參數向量，是參數空間，是來自該總體的樣本，將樣本的聯合概率函數看成的函數，用表示，簡記為，,成為樣本的似然函數。如果某統計量，滿足,則稱是的極大似然估計。1.3極大似然估計的性質1.3.1不變性不變性的描述如下：任一函數的最大似然估計為，其中是的最大似然估計。此性質可以簡化獲取某些復雜參數的極大似然估計的過程。例3已知和各自的極大似然估計為，正態總體的樣本為，應用不變性，可方便地得到如下結果：標準差的極大似然估計是概率的MLE是有的極大似然估計1.3.2漸近正態性定義2稱的相合估計是漸近正態的，若能找到，使滿足標準正態分布，其中常數序列非負且趨于0。也稱滿足漸近正態分布，可以寫成，是的漸近方差。分析知，僅在“趨于0”與“依概率收斂于”的速度同階時，的分布才可能穩定地收斂于標準正態分布，所以相合估計依概率收斂于的速度即為。趨于0的速度如果過快，則上述比值會趨于；如果過慢，則上述比值會趨于0；只有當上下二者的速度同階時，上述比值才有可能按分布收斂于。所以依概率收斂于的速度和趨于0的速度是相同的，由此稱為漸近方差是合適并無歧義的。1.4極大似然估計的計算1.4.1求某離散型參數的極大似然估計量若總體屬離散型，其分布列為的形式為已知，為待估參數，屬于參數空間。設是來自總體的樣本，求的極大似然估計量。建立似然函數取對數求偏導并讓其結果為0對上述方程組求解，可得到的極大似然估計值例4總體的樣本為，的情況未知，試求參數的極大似然估計量。解的分布律為：,故似然函數為,而，令，即，解得的極大似然估計值1.4.2求某連續型參數的極大似然估計量若總體X屬連續型，其概率密度的