1、第六章第六章有偏估計之有偏估計之病態方程的常用解法病態方程的常用解法1 1、截斷奇異值法、截斷奇異值法2 2、正則化法、正則化法1 為什么要研究病態方程為什么要研究病態方程： 當誤差方程為病態時，即使觀測數據服從正態分布，其最當誤差方程為病態時，即使觀測數據服從正態分布，其最小二乘估值也不理想，甚至很差，其方差雖然在線性無偏估值小二乘估值也不理想，甚至很差，其方差雖然在線性無偏估值類中是最小，但類中是最小，但方差的值卻很大方差的值卻很大，即平差精度很差，而且，即平差精度很差，而且解相解相當的不穩定當的不穩定。1 1、矩陣的條件數、矩陣的條件數TxxybyybxxxbAx110001. 00,0

2、001. 220001. 111102220001. 11112121方程組的解變為：其中有微小變化時，有當常數項其精確解為，即例：有方程組一、病態問題與條件數若系數陣若系數陣A A或常數項或常數項b b的微小變化，會引起方程組的解的微小變化，會引起方程組的解x x有巨大變化，有巨大變化，則這種方程組稱為則這種方程組稱為“病態方程組病態方程組”。A A稱為病態矩陣。稱為病態矩陣。AAbbAAAAAAxxbbxxAAxbAbbAAxxbAxxAbbAxbAxbbxxAxbbAbAx11111211得解的相對誤差為：即有多大誤差？均有誤差時，解、）設所以：（范數特性）即有多大誤差？，導致解有誤差非

3、奇異，設正常，）中，討論：在方程組定義定義 。中最大和最小的特征值分別是正定對稱矩陣和其中，數為陣的譜條件陣），（如法方程的為正定實對稱矩陣時，當感程度。組的解對原始數據的敏條件數。它刻畫了方程的為矩陣，稱乘積對非奇異陣AAAAcondANAAAAAminmaxminmax21221不穩定模型：輸入數據很小的誤差會引起待估參數很大的誤差。不穩定模型：輸入數據很小的誤差會引起待估參數很大的誤差。所以病態方程也是不穩定模型。所以病態方程也是不穩定模型。矩陣的條件數：矩陣的條件數：2 2、病態性程度的衡量方法、病態性程度的衡量方法。時，有嚴重的復共線性中等強度復共線性；時，有時，有弱復共線性；在復共

4、線性；時，可以認為不存中，的特征值通常的判斷標準，模糊的說法。很接近于零”是一個很個復共線性關系。但“中就有多少于零，設計矩陣有多少個特征值很接近法矩陣、特征分析法01. 005. 001. 01 . 005. 01 . 0iiiiiNBNa解釋：復共線性解釋：復共線性 復共線性，指的是平差參數之間具有近似相關關系，反映在誤差方程的設計矩陣上，就是列向量間的某些數據列可以由其余的數據列近似（非精確）地線性表示。 在最小二乘平差中，在最小二乘平差中，“復共線性復共線性”就是指就是指“病態性病態性”。 方差分解比方法。條件指標法、。中有幾個復共線性關系判定設計矩陣條件數法的缺點是不能情況修正取舍。

5、對上述準則應根據實際左右。所以致在快速定位中，條件數大如數據處理實際應用中，量前提下得到的。但在測對數據中心化標準化的呈病態。這個指標是在，系統時存在嚴重的復共線性時沒有復共線性；一般認為、條件數法CTVDPcBKKNNNcondKb13minmax110GPS10001003 3、病態方程產生原因、病態方程產生原因1、參數選取原因。（參數近似相關或過度參數化）、參數選取原因。（參數近似相關或過度參數化）2、觀測原因。（樣本為局部采樣或接近重復采樣）、觀測原因。（樣本為局部采樣或接近重復采樣）3、模型選擇原因。（模型建立的方法不同，其病態程度不同）、模型選擇原因。（模型建立的方法不同，其病態程

6、度不同）4、計算方面原因。（計算方法要穩定，計算機字節長度應長一些）、計算方面原因。（計算方法要穩定，計算機字節長度應長一些）4 4、病態方程最小二乘估值的性質、病態方程最小二乘估值的性質 病態方程處理的觀測值可以是正態分布，但其LS估值并不理想，甚至很差。 雖然LS估計的方差在線性無偏類估值線性無偏類估值中是最小，但數值卻很大，并表現得相當不穩定。 常用均方誤差常用均方誤差MSE來評價病態情形下參數的估值質量。來評價病態情形下參數的估值質量。 的減小。部分，換取方差部分大偏差有偏估計實質：適當增。估值，即參數估值將不再是無偏用解病態方程法得到的的一個良好估值了。不再是估值很大，此時值較小，會

7、導致的最小特征。而若法矩陣的無偏估值，即是真值上式的條件為由均方誤差公式：122120120212 2001xxExxLSxMSENxxBBtrxxEQtrxxxxExMSEitiiTxxT問題的適定性：問題的適定性：人們根據已獲取的觀測數據和物理規律，列出的數學模型，當這些模型具有下述性質： 1、解存在；、解唯一；、解穩定。則這個問題稱為適定性問題。不適定性：不適定性： 不滿足上面三個條件中的任意一個或多個。不適定問題通常是病態的，但病態問題不一定就是不適定問題。不不適定問題通常是病態的，但病態問題不一定就是不適定問題。不適定問題通常是求方程的穩定近似解。適定問題通常是求方程的穩定近似解。5

8、 5、什么樣的方程可能是病態的？、什么樣的方程可能是病態的？1）行列式的值很大或很?。ㄈ缒承┬小⒘薪嚓P）；2）元素間相差大數量級，且無規則；3）主元消去過程中出現小主元；4）特征值相差大數量級。二、病態方程的解法1 1、病態方程的截斷奇異值解法、病態方程的截斷奇異值解法奇異值分解技術奇異值分解技術(Singular Value Decomposintion Technique，簡記為，簡記為SVD法法)均為正交矩陣。、為半正定的對角陣；式中陣可分解為時，對）當（進行奇異值分解：下面對的廣義逆。是為的最小二乘最小范數解是誤差向量。得是設計矩陣，已經單位化）：的權陣測值向量設有觀測方程（式中觀

9、VUVUAAtnppArankAAALAxxeAeLxAPLttTtnnntnLS,min)(11n1n1ttn minmax2212121212,:. 0),min(,000AcondAvvvVuuuUVUAAAAtnARpdiagDDtniiiTiipptn數與奇異值的關系為：為長方陣時，得其條件系：）奇異值與條件數的關（陣按列劃分，為和將。的關系為：的特征值或與矩陣奇異值陣全部的非零奇異值。是且其中：陣的分塊形式為 。近似秩虧的線性方程組法可解算滿秩、秩虧和看出，由有，而的通解為：線性方程組組的數值穩定的方法。、特別是線性病態方程分解法是求線性方程組，可見奇異值超過時，奇異值的變化不會有

10、擾動此特性說明當矩陣，有，則對均屬于與若。）、奇異值分解的擾動（SVDVUAtnpARdiagDDUVVUALAxLAxEEAEAEAtptnREAATppntTTAAApAptnA12111211111220,min,000, 2 , 13性。了條件數，提高了穩定關性很強的約束，降低量，這相當于舍去了相及其相關的特征向的奇異值，舍去小于值截斷原則：選擇一個閾程的截斷奇異值法解：步對其截斷，得病態方在第得解為：的奇異值分解式可寫為inTinTitiitTnpinTitiitLSpiTiiiTLuvxTLuvLAxuvUVAA11111111111111平差中，設計矩陣平差中，設計矩陣B為病態，

11、其秩為為病態，其秩為R(B)=t。通過截斷，適當去除。通過截斷，適當去除（t-T）個大誤差項，恢復了一些解的主要特性，但也喪失了一些）個大誤差項，恢復了一些解的主要特性，但也喪失了一些解的精確性。解的精確性。13 均為單位陣）內容嶺估計。（以下時，正則化估計也稱為正則化矩陣。當滿足正則化參數光滑函數。RIRRTikhononvxxRxPVVxTT02min2 2、病態方程的正則化解法、病態方程的正則化解法）式：的正則化準則作用于（，此時可取的特征值單調地趨向于若上式病態，則法矩陣）（有誤差方程：101TikhonovNlxBVPlBIPBBxTtT1得正則化參數解為： 可見 ，正則化方法的核心

12、是通過附加“全部或部分參數（或其改正數）加權平方和極小”的條件，增加約束，補充（先驗）信息，來克服不適定性，使解唯一且穩定。14 QIIINQNQQxxQNQQxMSEMxQxxExBiasxBiasxxBlElIPBBQlxBVPlBQxINQtttTnTTt其中考慮了：陣為評定精度的均方誤差矩為的偏差值有參數的期望值與其真考慮為參數估值及殘差可表示設,22013 3、正則化解的單位權方差無偏估計、正則化解的單位權方差無偏估計 正則化解的殘差及自由度與最小二乘解不同，因此其單位權方差估計式也不同。 2022201222:QtrtnPDtrBNQBQBBQPDxQQxVEVPEtrVEVPEt

13、rPDtrVVPEtrPVVExBQVExBNBQlEIPBBQVEQINQVVTTVVTTTVVTTnTt而，有根據二次型的期望公式上兩式合并，有及殘差的期望：由 代替。，可以用參數估值參數真值計算時，由于無法得到為差無偏估計的計算公式所以正則化法單位權方即有xxQtrtnxQQxPVVQtrtnxQQxPVVEPDtrVEVPEtrPVVETTTTVVTT22220202222嶺參數（正則化參數）的選取L曲線法（1） 。數估值平衡，得到更準確的參之間的與正則函數光滑度平方和，可以更好地控制殘差一個合適的如圖，參數。值，該值即為所求的嶺最大的那個點的曲線法上曲率曲線法的關鍵是定曲線法。的方法

14、稱為選定嶺參數擬合曲線，用這條曲線為縱坐標作圖，得一條為橫坐標，值，以擇不同的的函數，選均為嶺參數和中，式法等。在曲線法、嶺跡法及有有多種選取法，常用的嶺參數xxxPVVLLLxxxPVVxxPVVxxPVVxLTTTTTTTT0943. 2minGCV正則化參數的譜分解求取法（2） 當均方誤差矩陣當均方誤差矩陣 時，求得的時，求得的 為最優值。為最優值。但由于參數真值未知，若用最小二乘解作為近似值代入，也不會但由于參數真值未知，若用最小二乘解作為近似值代入，也不會得到得到 的最優值。的最優值。事實上，每一個計算正則化參數的準則都有其事實上，每一個計算正則化參數的準則都有其優點和缺點及適用的特

15、定場合，不存在一個準則在所有場合都優優點和缺點及適用的特定場合，不存在一個準則在所有場合都優于其它準則。于其它準則。18 min xMSEM對應的特征向量）陣所有特征值陣是征向量，而此處的陣的零特征值對應的特是陣差的陣完全沒關系，秩虧平陣與秩虧平差的附加陣（注意：該?；蛘魂囂匦裕宏?。將特征值排為的特征向量組成的正交的特征值為由，可作如下譜分解：對于實對稱法矩陣NGNGGGGGIGGNGGGPBBNPBBNTTniTTT121,0 的值。，可得到的元素。上式求和后為是向量式中，有求上式的跡并要求最小均方誤差矩陣為0min22222011211201121120220 xGZZZxMSEMtrGIGxxGIGGIIGINxxININNINQxxQNQQxMSEMTiiiiiTtTTtTtttTtttT20