1第7章

極大似然法和預報誤差方法27.1引言極大似然法一種非常有用的傳統估計方法由Fisher

發展起來的基本思想可追溯到高斯（1809年）用于動態過程辯識可以獲得良好的估計性質3最小二乘法和梯度校正法計算簡單參數估計具有優良的統計性質噪聲的先驗知識要求也不高極大似然法基本思想與最小二乘法和梯度校正法完全不同4極大似然法——需要構造一個以數據和未知參數為自變量的似然函數，通過極大化似然函數獲得模型的參數估計值。模型輸出的概率分布將最大可能地逼近實際過程輸出的概率分布。為此極大似然法通常要求具有能夠寫出輸出量的條件概率密度函數的先驗知識。在獨立觀測條件下，必須知道輸出量的概率分布；在序貫觀測的條件下，則需要確定基于k時刻以前的數據在k+1時刻輸出量的條件概率分布。預報誤差法——需要事先確定一個預報誤差準則函數，并利用預報誤差的信息來確定模型的參數。5意味著模型輸出的概率分布將最大可能地逼近實際過程輸出的概率分布通常要求具有能夠寫出輸出量的條件概率密度函數的先驗知識獨立觀測的條件下，必須知道輸出量的概率分布在序貫觀測的條件下，需要確定基于時刻以前的數據在時刻輸出量的條件概率分布6預報誤差方法需要事先確定一個預報誤差準則函數利用預報誤差的信息來確定模型的參數某種意義上與極大似然法等價的或極大似然法的一種推廣7極大似然法和預報誤差方法優點：參數估計量具有良好的漸近性質缺點：計算量比較大87.2極大似然參數估計辨識方法

7.2.1極大似然原理設是一個隨機變量在參數條件下的概率密度函數為的個觀測值構成一個隨機序列個觀測值記作則的聯合概率密度為的極大似然估計就是使的參數估計值9即有或10顯然對一組確定的數據只是參數的函數，已不再是概率密度函數這時的稱作的似然函數以示區別有時記作概率密度函數和似然函數有著不同的物理意義,但數學表達式是一致的11極大似然原理的數學表示或

-

對數似然函數

-極大似然參數估計值使得似然函數或對數似然函數達到最大值12物理意義（極大似然原理的數學表現）對一組確定的隨機序列設法找到參數估計值使得隨機變量在條件下的概率密度函數最大可能地逼近隨機變量在（真值）條件下的概率密度函數上式反映極大似然原理的本質，但數學上不好實現Kullback－Leibler信息測度：我們稱為Kullback－Leibler信息測度。可以證明：7.2.2動態過程模型參數的極大似然估計考慮以下模型：其中：是均值為零，方差為的服從正態分布的白噪聲。令：且假定過程是漸近穩定的，即、和沒有公共因子，且和的零點都位于z平面的單位圓內。噪聲模型已知的情形（已知）將模型（C）寫成最小二乘格式：其中：因為：則有記噪聲e(k)的協方差陣為，則由v(k)的正態性，可知：因此，有：對應的對數似然函數為：由極大似然原理可得：并且因此（D）式給出了參數的極大似然估計值。此時的恰好是參數的Markov估計。如果，則此時，參數的極大似然估計和最小二乘估計是等價的。對噪聲方差的極大似然估計：對噪聲方差的最小二乘估計：噪聲模型未知的情形（未知）

此時，令在獨立觀測的前提下，當獲得L組輸入輸出數據后，在給定的參數和輸入信號的條件下，的聯合概率密度函數可寫成：根據考察的模型（C），有：將此式代入到上式，我們有：由于當觀測至k時刻時，k-1時刻以前的z(?)、u(?)和v(?)都已經確定，且v(k)與及無關，因此上式可以寫成：記：則有對數似然函數：其中滿足：（E）（F）利用極大似然原理，由得噪聲方差的極大似然估計：將此式代入（E），可得：再次利用極大似然原理，參數的極大似然估計必須使得：令：則這等價于使得其中v(k)滿足（F）的約束條件。（G）（H） 結論：在未知的情形下，求模型（C）的參數的極大似然估計等價于以下帶有約束條件的優化問題：優化的目標函數為（G），約束條件為（F）。同時噪聲方差的極大似然估計值為Lagrangian乘子法：根據以上得到的結論，求解帶有約束條件的優化問題。引入Lagrangian乘子，構造Lagrangian函數：由此，上述優化問題轉化為Lagrangian函數對、和的求最小值問題。第一步：取并令：得到下面的方程組：第二步：就Lagrangian函數對求導，并令其為零，得：（J）因此，當給定和的初始值及輸入輸出數據，則由（J）可以計算得到，再利用

,由（I）式可以計算得到:

由于和與有關，對不能以線性的形式進行估計，因此必須對進行搜索，方可求得，使得:Newton－Raphson法

Newton－Raphson法求解以上優化問題，本質上是一種遞推算法，每得到L次觀測數據遞推一次的算法。優化問題見上面。設是利用第N批輸入輸出數據，所求得的極大似然估計值，它使得或達到最小。當我們進一步獲得一批新的輸入輸出數據，由此可以求得，使得達到最小。(k)根據Newton－Raphson原理，我們有：其中為Hessian矩陣。將（K）式寫成遞推形式，即：(P)則可以求得：因此有：由上式遞推，得故有：將（Q）式代入（P）式，便可獲得的遞推算法。35預報誤差參數辯識方法極大似然法要求數據的概率分布是已知的通常都假設它們是服從高斯分布的實際問題不一定滿足這一假設如果數據的概率分布不知道使用極大似然法存在著一定的困難36預報誤差法不要求數據概率分布的先驗知識解決更加一般問題的一種辯識方法極大似然法的一種推廣當數據的概率分布服從正態分布時等價與極大似然法37預報誤差準則考慮更加一般的模型

-維的輸出向量

-維的輸入向量

-模型的參數向量

-噪聲項，其均值為零，協方差為

-輸出量的初始狀態，計算的必要信息38置則模型式寫成時刻的輸出可以用時刻以前的數據來刻劃39在獲得數據和的條件下對輸出的“最好”預報可取它的條件數學期望值使得這種“最好”的輸出預報應是“最好”模型的輸出可通過極小化預報誤差準則來獲得40常用的誤差預報準則加權陣-預先選定的矩陣或其中41當時將收斂于的協方差陣通過極小化或獲得的參數估計值稱作預報誤差估計它用不著數據概率分布知識4212.3其他兩種辯識方法43Bayes

方法基本原理所要估計的參數看作隨機變量設法通過觀測與該參數有關聯的其他變量以此來推斷這個參數44例如

Kalman

濾波器是典型的Bayes

方法不可觀測的待估計的狀態變量看作隨機變量狀態變量與可觀測的輸入輸出變量是密切相關的正是基于這些可觀測的輸入輸出變量推斷不可觀測的狀態變量45設是描述某一動態過程的模型是模型的參數，反映在動態過程的輸入輸出觀測值中如果過程的輸出變量在參數及其歷史記錄條件下的概率密度函數是已知的記作

-時刻以前的輸入輸出集合46根據Bayes

觀點，參數的估計問題表述成參數看作具有某種驗前概率密度的隨機變量設法從輸入輸出數據中提取關于參數的信息后者可以歸結為參數的驗后概率密度函數的計算問題47其中

-時刻以前的輸入輸出數據集合與之間的關系和-過程時刻的輸入輸出數據48如果是確定的變量，利用Bayes

公式參數的驗后概率密度函數可表示成參數的驗前概率密度函數及數據的條件概率密度函數是已知的49原則上根據式可以求得參數的驗后概率密度函數實際上這是困難的只有在參數與數據之間的關系是線性的，噪聲又是高斯分布的情況下才有可能得到式的解析解50求得參數的驗后概率密度函數后可進一步求得參數的估計值常用的方法極大驗后參數估計方法條件期望參數估計方法極大驗后參數估計方法和條件期望參數估計方法統稱為Bayes

方法51模型參考自適應辯識方法“模型參考”概念廣泛用于自適應控制中如果控制系統希望達到的控制性能指標用一個稱作參考模型的理想化控制系統的性能來描述以表示每一瞬間時實際過程與參考模型之間的特性的差異根據差異，不斷修改控制器參數可使實系統的控制性能指標盡可能的接近參考模型52模型參考自適應控制