最小二乘法在系統辨識中的應用本文通過對文獻的閱讀，對文獻中所涉及的最優化算法應用過程進行了概括。文獻中將水壓仿真器作為研究對象，在考察水壓仿真器性質時，采用系統辨識的方法對系統進行分析與處理，并采用最小二乘算法作為系統辨識的方法，將辨識結果與實際結果的差值平方和作為最小二乘算法的損失函數，最終得到關于水壓仿真器的較為理想的辨識模型。在對參考文獻進行概述之后，具有針對性的介紹了最小二乘算法中線性最小二乘問題以及非線性最小二乘問題，詳細介紹了線性最小二乘問題的算法的理論基礎及實現過程。一、 背景說明在實際工程應用中，很多領域都會涉及到利用最優化算法來獲得問題的最優解，實現對所研究問題的優化處理。控制領域中，經常需要對系統進行辨識操作，而系統辨識中常用的方法即為最小二乘算法。文獻中將水壓仿真器作為研究對象，水壓仿真器是一個電液壓力伺服系統，由計算機控制運行，根據設定指令產生期望的壓力輸出。利用遞推最小二乘算法對種特殊的電液壓力伺服系統進行辨識。文獻中設計了能使系統穩定的簡單閉環，對系統施加合適的輸入信號，記錄系統的輸出并建模，通過一系列的辨識步驟推導出被控對象的數學模型。文獻中所研究的水壓仿真器通過控制伺服閥的開口實現高壓油進入工作腔或油液流出該腔，從而控制工作腔的壓力變化。由于測量難度，采用理論推導方法建立被控對象的數學模型很困難。故而采用系統辨識的方法對水壓仿真器進行建模并分析，通過試驗測試，驗證了所使用方法的正確性。二、 問題解決過程水壓仿真器通過控制伺服閥的開度實現工作腔壓力變化，通常都采用閉環控制，如下圖所示。圖中，r表示輸入信號，y為輸出信號，均可以由測量得到。根據測量出的輸入輸出數據，對系統的模型進行辨識，得到辨識模型錯誤！未找到引用源。，辨識出閉環模型錯誤！未找到引用源。以后，由于控制器增益以及反饋通道增益已知，所以，可以得出被控對象的開環傳遞函數G。文獻中給出了水壓仿真器的具體參數以及控制壓力值，選擇適當的偽隨機序列作為輸入信號，對特定壓力值下的系統進行辨識。將辨識出的對象模型代入閉環系統進行仿真，得到其階躍響應曲線，把它與實際閉環系統的階躍響應進行比較。/通過比較，驗證出，辨識結果較為理想，能夠較好的逼近實際系統。因此得出了該種方法可行的結論。三、辨識方法描述文獻中采用最小二乘法對水壓仿真器的模型進行辨識。辨識結果不可能與原系統完全吻合，只能按照某種特定的準則，使所估計的模型在該準則下最好地辨識出所研究的系統。最小二乘法則是在最小方差意義下提供與實驗數據最好擬合的模型。模型結構如下：A(z-1)y(t)=其中，錯誤！未找到引用源。和錯誤！未找到引用源。分別為系統的輸出和輸入；錯誤！未找到引用源。，錯誤！未找到引用源。為遲延算子多項式；錯誤！未找到引用源。是一個均值為0、服從正態分布，并且與錯誤！未找到引用源。相互獨立的隨機噪聲。假設系統待辨識的參數向量為：假定已經獲得一組輸入輸出數據(t=1?N)，假設t時刻由輸入輸出數據構成的一個向量為：q?(t)=[―y(t—1), —n)fu(t—lc)f k—m)]r,t>1令錯誤！未找到引用源。，實際輸出數據向量錯誤！未找到引用源。。經過系統辨識方法所得到的估計的系統輸出數據向量為其中，錯誤！未找到引用源。為辨識所得到的參數估計值向量。系統辨識誤差：e(1)=Yn-Yn=Yn-^§損失函數定義為：J1N)=￡知)[=11=帝％—機如隊—輒機對損失函數取一階導數，并令損失函數的一階導數等于0，即而=°經過計算，得到使損失函數達到最小值時的參數估計值為：得到參數估計值以后，便能夠得出閉環系統的數學模型。四、最小二乘算法4.1算法的概括一般地，最小二乘問題的目標函數錯誤！未找到引用源。具有下面的特殊形式：錯誤！未找到引用源。 (2.1)其中，錯誤！未找到引用源。表示殘余量，為從錯誤！未找到引用源。到錯誤！未找到引用源。上的平滑函數，假設錯誤！未找到引用源。。最小二乘問題可以認為是無約束優化問題的最大來源，可以廣泛地應用于多個領域。利用公式(2.1)描述辨識模型與實際系統的誤差值。通過最小化該函數，能夠選擇出與模型最好匹配的參數值。定義向量錯誤！未找到引用源。為：TOC\o"1-5"\h\z錯誤！未找到引用源。 (2.2)因此，可以將f修改為：0)=；11曠("信對f(x)求一階導數：錯誤！未找到引用源。 (2.3)用錯誤！未找到引用源。表示錯誤！未找到引用源。的梯度，這樣，f的梯度可以表示為：錯誤！未找到引用源。 (2.4)在很多應用場合中，計算出一階偏導數組成Jacobian矩陣J(x)是可以實現的。因此可以求出公式(2.4)中的梯度錯誤！未找到引用源。。目標函數f(x)的二階導數形式為：m m\o"CurrentDocument"V2f(x)=了力嚀「(X)+) (y);=i ;=imj=l利用錯誤！未找到引用源。，我們可以計算出上式中的第一項錯誤！未找到引用源。，無需考慮錯誤！未找到引用源。的二階導數項。通常情況下，上式中的錯誤！未找到引用源。比公式中的第二項更重要。4.2線性最小二乘問題在錯誤！未找到引用源。為線性的特殊情況下，錯誤！未找到引用源。為一個常數，錯誤！未找到引用源。可記為：錯誤！未找到引用源。 (2.5)其中，錯誤！未找到引用源。。另外錯誤！未找到引用源。。注意到，由于錯誤！未找到引用源。對任意的錯誤！未找到引用源。都成立，使得錯誤！未找到引用源。中的第二項消失。函數錯誤！未找到引用源。是一個凸函數。通過令錯誤！未找到引用源。可得，公式(2.5沖的解錯誤！未找到引用源。一定滿足：錯誤！未找到引用源。 (2.6)式(2.6)被稱為是(2.5)的正則方程(normalequations)。在錯誤！未找到引用源。，并且錯誤!未找到引用源。為列滿秩的條件下，對于線性最小二乘問題，可以簡單地概況為三種主要算法。http://190210.com/方法一即為最直觀的算法，就是通過下面的三個步驟構造并求解系統(2.6)：.計算系數矩陣錯誤！未找到引用源。以及右邊項錯誤！未找到引用源。；.計算對稱矩陣錯誤！未找到引用源。的Cholesky因子；.用所計算出的Cholesky因子進行兩次三角替換，以重新獲得解錯誤!未找到引用源。。方法二基于矩陣錯誤！未找到引用源。的QR因子。由于對于任意錯誤！未找到引用源。維正交矩陣Q,都有：TOC\o"1-5"\h\z錯誤！未找到引用源。 (2.7)通過QR因子對矩陣錯誤！未找到引用源。進行列變換，得到：錯誤！未找到引用源。 (2.8)其中錯誤！未找到引用源。為錯誤！未找到引用源。維變換矩陣，錯誤！未找到引用源。為矩陣錯誤！未找到引用源。的前n歹U，R為錯誤！未找到引用源。維上三角矩陣。綜合(2.7)與(2.8)，可以得到I■r] IMLy2J 2=略)+[，=||J?(TTx)+err||i+||Qlr||i任何關于錯誤！未找到引用源。的選擇對于上面表達式的第二項都沒有影響，但我們可以通過令第一項為0，使得錯誤！未找到引用源。達到最小值，即=-VR-1Q[r實際應用中，利用三角替換求解錯誤！未找到引用源。，然后通過對錯誤！未找到引用源。的分量進行序列變換而得到錯誤！未找到引用源。。方法三基于矩陣錯誤！未找到引用源。的單值分解(SVD)得到，敘述如下：矩陣錯誤！未找到引用源。的SVD為：錯誤！未找到引用源。 (2.9)其中，錯誤！未找到引用源。為錯誤！未找到引用源。維正交矩陣，錯誤！未找到引用源。為錯誤！未找到引用源。的前n歹U；錯誤！未找到引用源。為錯誤！未找到引用源。維對角陣，對角元為錯誤！未找到引用源。。最后，我們可以得到：上式給出了關于錯誤！未找到引用源。敏感度的重要信息。當錯誤！未找到引用源。很小時，錯誤！未找到引用源。對錯誤！未找到引用源。的微小變動十分敏感，這一信息對當錯誤！未找到引用源。接近非滿秩時十分重要。以上三種算法均有各自的應用場合。基于Cholesky的方法適于錯誤！未找到引用源。時，并且算法中實際存儲的是錯誤！未找到引用源。而非矩陣錯誤！未找到引用源。本身；QR方法避免了條件數的平方項，因此在數值魯棒性方面更具優越性；SVD方法具有最好的魯棒性和可信性，然而算法的代價最大。可根據實際問題對最小二乘算法進行選擇，當問題規模很大時，通常需要使用迭代才能有較高的效率。4.3非線性最小二乘問題非線性最小二乘問題的最簡單的方法是Gauss-Newton算法，可以認為是線搜索算法中Newton法的改進。此外，還有Levenberg-Marquardt方法。這兩種方法都能夠解決非線性的最小二乘問題，但由于控制系統中研究的大部分系統都為線性時不變系統，在較為簡單的非線性系統中，通常將系統進行線性化處理，將非線性系統轉變成分段線性的系統，這樣就可以利用線性系統的方法進行求解計算。所以對于非線性最小二乘問題4/6的算法，不做詳細介紹。五、結束語最小二乘問題廣泛地存在于工業領域、經濟領域、醫學領域等多個領域中，最小二乘算法在實際中具有很好的應用。本文通過對文獻中優化問題的描述，概括了文獻中對水壓仿真器模型的構建過程及辨識過程，對最小二乘問題進行了較為詳細的介紹。控制系統中大多數問題會轉換為線性系統進行分析，所涉及的非線性問題在簡單系統中并不常見，所以，本文中針對非線性最小二乘問題并沒有做出過多的介紹。控制系統中的優化問題十分常見，所采用的優化方法也多種多樣，除了最小二乘算法外，還會涉及到許多最優化算法對系統的最優解進行求解和尋找。優化問題廣泛地存在于控制領域，并且優化算法具有十分重要的實用性。參考文獻.WanYamin.ApplicationofSystemIdentificationintheExperimentalMode