地球物理反演理論地球物理反演理論課題組武漢大學測繪學院1、梯度法2、牛頓法3、共軛梯度法（ConjugateGradientMethod）4、變尺度法5、蒙特卡洛法6、模擬退火法7、遺傳算法（simulateannealing）8、人工神經網絡（ANN）法9、多尺度反演（Multi-ScaleInversion）10、R.Parker法非線性反演方法非線性反演方法所謂非線性問題，是指觀測數據和模型參數之間不存在線性關系。這種非線性關系既可能呈顯式，也可能呈隱式。本章要講的是目前地球物理資料反演中常用的一些非線性反演方法。它不涉及線性化，而是直接解非線性問題，實現從數據空間到模型空間的直接映射。不管是哪一類的反演問題，歸根結底，反演過程都是一個對目標函數(或概率、概率密度)的最優化過程，只是實現最優的途徑和方法不同罷了。梯度法

梯度法又稱最速下降法（thesteepestdescentmethod）、最速上升法（thesteepestascentmethod）或爬山法。梯度法是一種古老的反演方法，在地球物理的發展過程中曾起過重要的作用，而且，直到目前仍有一些地球物理資料的反演問題仍采用梯度法求解。梯度法

在模型參數和觀測數據呈隱式的情況下，有：（5.1）設：（5.2）令：梯度法

如將這些非線性函數過程下式，并稱之為目標函數：（5.3）顯然，的零極值點，就是方程（5.1）式的解。當觀測數據和模型參數呈顯函數的情況下，在范數意義下，目標函數寫為：式中：為觀測值；為在第

r次迭代時之理論值。梯度法

同樣，的極小值所對應的模型參數，就應該是待求模型的解。在多維空間中，一般來說，函數是一個高次曲面。以二維空間為例，此時所形成的曲面與平行的平面之切點就是它的極小值點（圖5-1）。極小值點對應，，就是觀測數據對應模型之值。如果用（是常數，相當于一系列平行于的平面），與空間曲面相截，可以得到一族平面曲線，將它們投影到平面上，如圖5-2所示，稱為曲面的等高線族。由外向內，值不斷下降，當達到極小點時，即為函數的極值。圖5-1目標函數空間曲面的示意圖圖5-2用等高線表示的目標函數梯度法

在任意一個初始模型處等高線的法向方向，就是函數在該點的梯度方向，即有：梯度法

沿的方向是值上升最快的方向。因此，其反方向為：（5.4）就是值下降最快的方向。梯度法，就是從一個初始模型出發，沿負梯度方向搜索函數極小點的一種最優化方法。不難理解，沿目標函數的負梯度方向搜索，只要步長適當，經過反復迭代，最終總可以達到目標函數的極小點。用梯度法反演求取目標函數的極小點時，一要有一個初始模型，二是要沿負梯度方向，三是要有一個合適的步長。下面研究步長因子的求法：梯度法

設第i次搜索迭代時函數的負梯度方向的單位矢量為：（5.5）則模型參數的改正量為：式中：稱為搜索（或校正）步長。將目標函數進行臺勞級數展開有：（5.6）梯度法

將（5.5）式代入（5.6）式，則得步長計算式：第二種計算步長的方法是內插法。如對目標函數計算幾個不同的步長值，然后用拋物線方程對之進行擬合，拋物線之極小點就是最佳步長值。第三種方法為固定步長法。即在整個搜索的過程中，步長保持不變，只要每次迭代時滿足即可接受。（5.7）牛頓法

設目標函數在點附近按臺勞級數展開，并忽略二次以上高階項以后得：（5.8）式中：（梯度向量）（模型參數的改正向量）牛頓法

（Hessian矩陣）牛頓法

對（5.8）式再求一次導數，并設：（5.9）則得：寫成遞推公式，得：牛頓法

牛頓法的不足之處在于Hessian短陣的計算工作量很大，而且其逆往往會出現病態和奇異的情況。梯度法和牛頓法利用了目標函數的不同性質，前者利用了目標函數在初始模型處之梯度，即一階偏導數，后者不僅利用了梯度，而且利用了目標函數的曲率，即二階偏導數。因此它們具有不同的特性。前者在遠離極小點的地方收斂較快，而后者在極小點附近收斂比梯度法要快。圖5-3是牛頓法搜索目標函數極小點的示意圖。圖5-3牛頓法搜索極小點示意圖共軛梯度法

1、共軛向量的定義設目標函數為二次函數，即：（5.10）式中和都是N維的向量，為N*N階對稱、正定矩陣，為常數。定義：若存在：（5.11）則稱，相對是共軛的。共軛梯度法

1、共軛向量的定義與本節內容有關的共軛向量的性質及其求法：1）設有一組M個N為向量彼此相對H共軛，即：則一定是線性無關的。2）關于H共軛的一組向量的求法設是一組線性無關的向量，通過線性組合，可得到一組M個彼此成H共軛的向量。共軛梯度法

1、共軛向量的定義設，取，求與共軛的向量取由于與對H共軛，故所以：（5.12）共軛梯度法

1、共軛向量的定義故與是共軛的。設已求出，它們是彼此H共軛，求一個向量與都H共軛。即：（5.13）使與成H共軛，即有：共軛梯度法

將（5.13）式代入上式，得：（5.14）與成H共軛。若取，便得到M個彼此H共軛的向量。將（5.14）式代入（5.13）式，得：（5.15）共軛梯度法

2、共軛梯度法的原理第一步，設第二步，求，其中第三步，求，按上述方法求得的向量彼此是H的共軛向量共軛梯度法

2、共軛梯度法的原理第四步，沿共軛梯度方向上式目標函數的極小點。設沿方向進行第K次搜索時，應滿足：設目標函數在處是二次函數，即：或（5.16）共軛梯度法

2、共軛梯度法的原理根據復合函數的極值理論設，則：可得：（5.17）共軛梯度法

2、共軛梯度法的原理設K=0，即在第一次迭代時，不難看出，如果目標函數是二次型，則沿共軛方向最多各進行一次搜索，就可以找到目標函數的極小點的位置。若非準確的二次函數，則上述搜索過程必須進行反復迭代，直到搜索到目標函數的極小點為止。在共軛梯度法中，每次迭代都必須重新計算初始模型所對應和，及相應的共軛方向，因此，計算量仍然很大。（5.18）變尺度法

以Huang的變尺度法為例說明變尺度法的原理和實施步驟由共軛向量求與之成H共軛的方向，存在如下通式：（5.19）其中：（5.20）設想從點的負梯度方向左乘一個矩陣，就得出與共軛的方向。能否對建立起一個迭代關系，由產生，使：變尺度法

（5.21）能和共軛。假定已知，求出了，并記（5.22）此時，有了便可以求出；同樣，有了也可以求出。于是，我們的任務就是如何選取，使從（5.23）求出的具有上述性質。變尺度法

為使與關于H共軛，應有：所以令：若對也有：已知：就有：變尺度法

則由得出：所以，將上式中的j換為K，則：（5.24）式和（5.25）式又可改寫為：（5.24）（5.25）變尺度法

設目標函數為二次型，即：如以左乘，并利用：則（5.24）式可改寫為：（5.26）（5.27）變尺度法

如果能求出滿足（5.26）式和（5.27）式的，則利用（5.23）式便能求出滿足以上要求的，也就建立起了迭代關系。由上述迭代關系可以看出，變尺度法是從尺度（可以是單位矩陣）開始，由求得。求時，是通過改變尺度為而不是改變系數為，使得和為共軛方向。然后，再改變尺度為，而不是求取系數，使求得的與，成共軛。如此反復，直至求出位置。變尺度法

Huang給出了如下關系，并令：（5.28）式中：，為兩個需要加以選擇的量。Huang選擇中的，滿足：變尺度法

下面是Huang提出的求取，的公式，因為：所以：變尺度法

所以只要取：（5.29）參數，，，滿足：便滿足和。將（5.29）式代入上兩式，于是五個參數，，，，應滿足兩個關系式，所以獨立參數只有三個。變尺度法

選定了，，，，滿足的條件，便可根據（5.29）求出，。從而算出，將代入（5.26）式就可求得，將代入：即可得與成H共軛的向量。（5.30）蒙特卡洛法

最簡單、最直接、最完全的非線性反演法，是徹底搜索法或稱窮舉法。即在一定約束條件下的對模型參數進行一切可能的組合，從而得到大量不同的模型，然后對所有這些模型進行正演計算，得到相應的理論數據。將這些理論數據與實際觀測數據進行比較。如果符合某種可以接受的標準，則模型被接受；否則被排斥，并重新進行計算。如此反復，直至所有可能的模型均被檢測為止。因此稱為徹底搜索法或窮舉法。它的優點是，只要在模型空間存在滿足條件的解，一定可以搜索到這些解。其致命的缺點是徹底搜索在計算機上是不現實的。因此，窮舉法只有理論上的價值，而沒有絲毫實用的意義。蒙特卡洛法

和窮舉法不同，蒙特卡格法在模型空間中不進行徹底搜索，而是隨機搜索。實踐表明，如果我們在模型空間中隨機選擇模型、求取目標函數的總體極小，比規則地劃分模型空間，求取模型的總體極小所需的計算時間和耗費的經費都要少。為紀念有名的睹城——蒙特卡洛，人們將反演過程中任何一個階段，用隨機(或似隨機)發生器產生模型的方法統稱為蒙特卡洛法。它可以用于解決高次非線性、多參數、具有多個局部極小值的非線性反演問題。蒙特卡洛法

蒙特卡洛法又分為傳統的蒙特卡洛法和現代的啟發式蒙特卡洛法。傳統的榮持卡洛法又橡為“嘗試法”。這種方法是在計算中按一定的先驗信息給出的先驗約束隨機地生成大量可選擇的模型，計算其理論值，并將這些理論值與實際觀測值進行比較，并用一些先驗約束條件進行比較；如比較和檢驗符合某些可接受的標準，則模型被接受，否則被排斥。傳統的蒙特卡洛法在模型空間進行搜索時，需要產生具有各種概率分布的隨機變量。最簡單和最基本的隨機變量是[0,1]區間上均有分布的隨機變量。這些隨機變量的抽樣值就稱為隨機數。蒙特卡洛法

Press反演方法，是一種完全隨機的蒙特卡洛法。其作法是：在一定先驗信息基礎上，給定地球物性參數的變化范圍，然后在這一范圍內隨機生成模型，并計算其理論值以及該理論與實際觀測值之間的誤差，再按原來設計好的判斷標準，決定該模型是否接受或排斥。值得提出的是，Press反演法不是求目標函數小于某一給定值的滿意解，而是看求得的模型是否滿足先驗的約束條件；不是求某種意義下的確定解，而是在承認它們的非唯一性的前提下，求得滿足先驗約束條件的解集。蒙特卡洛法

蒙特卡洛法的適應性很強，受反演問題的條件限制少。不管多么復雜的非線性問題，不管其維數多高，非線性程度多大，蒙特卡洛法都可以使用，都可以獲得滿足約束條件的模型解集；由于蒙特卡洛法的收斂速度與問題的維數（及反演參數的個數）無關，因此，特別適宜于大規模、多參數問題的反演；蒙特卡洛反演法易于編程，便于理解，占用內存少，容易實現。但是。蒙特卡洛法仍不能保持搜索徹底性，不能充分暴露模型空間。因此，誰也不能保證所獲得的結果已經“完全”滿意了。蒙特卡洛法的致命弱點是計算工作量太大，收斂速度太慢，且擬合誤差不確定，僅具概率性。蒙特卡洛法

然而，隨著地球物理觀測資料的精度不斷提高，反演方法不斷改進，傳統的蒙特卡洛法越來越不適應發展的需要。改進傳統的蒙特卡洛法勢在必行，改進的主要方向是摒棄完全的隨機搜索，實現在一定先驗知識引導下有“方向”的隨機搜索，即啟發式蒙特卡洛法。這就是下面要講的模擬退火法和遺傳算法。模擬退火法（SimulatedAnnealing）

模擬退火是模擬物質退火的物理過程，即統計實驗的組合優化過程。Rothman（1985,1986）將退火原理引入地球物理資料的反演，并稱之為模擬退火法。模擬退火法用于反演的基本思路是將待反演的模型參數看作是融化物體的一個分子。將目標函數看作融化物體的能量函數。通過緩慢的減小模擬溫度T，進行迭代反演，使目標函數最終達到極小。模擬退火法（SimulatedAnnealing）

模擬退火法有兩種算法，即Metropolis算法（簡稱MSA）和HeatBath算法（簡稱HBSA）。兩種的區別在于搜索模型空間的方法和模型參數的修改方法不同。MSA算法可在全空間自動搜索，模型修改量是隨機的；而HBSA算法則是把模型參數限制在一定的范圍內，模型修改量是一固定值。兩種算法本質上是一致的。研究表明，HBSA的計算速度比MSA快，特別是在已知某些模型參數的情況下，由于模型空間的縮小，計算速度就進一步加快了。模擬退火法（SimulatedAnnealing）

在模擬退火中，退火溫度的選取最為重要，選擇不當，將導致反演失敗。根據前人研究，T取指數變化的模式，比較切合退火的實質。用模擬退火法反演地球物理資料仍然存在收斂于局部極小的問題，但幾率比其他非線性反演方法要小。與其他非線性反演相比，模擬退火法不依賴于初始模型的選擇，同時在反演過程中不需要計算雅可比矩陣。遺傳算法（GeneticAlgorithm）

遺傳算法則是模擬生物進化的自然選擇和遺傳過程，最早是由JohnHolland與1975年提出來的一種非線性反演方法。它既不是依賴于目標函數梯度的一類非啟發式反演法；又不是在模擬空間進行完全、徹底的隨機搜索的傳統的蒙特卡洛法。和模擬退火法一樣，它是一種自模型空間進行啟發式搜索的非線性反演方法。選擇、交換、變異三個步驟構成了遺傳算法的基本框架。為了實現這三個步驟，還必須有其他一些考慮：遺傳算法（GeneticAlgorithm）1．模型編碼在遺傳算法中，不直接處理模型參數，而是對模型參數的二進制（或十進制）碼進行操作。將待反演的模型之每一個參數的十進制表達式，變成二進制編碼（或仍采用十進制碼），并將此二進制（或十進制）編碼（或編碼的組合）稱為“染色體”。每一個（或幾個）模型參數對應一條染色體。而在染色體上的每一個代碼代表一個“基因”。各二進制代碼只能取0或1。遺傳算法（GeneticAlgorithm）2．初始模型群體的產生初始模型群體是隨機產生的。3．選擇、繁殖就是在模型群體中，挑選模型配對以進行交換。4.交換其原則，既可以完全隨機，也可以根據交換概率的大小來進行。依據的原則不同，交換的結果就不同。交換的實質是在模型空間進行大范圍的搜索，充分暴露模型空間。遺傳算法搜索出的模型空間，可能與預先約定的空間完全不同，甚至相差和那大。因此遺傳算法是一種非鄰近區域搜索算法。遺傳算法（GeneticAlgorithm）5．變異在遺傳工程中，變異是物質進化的必然規律和要求。在非線性反演中，變異是對模型空間進行更徹底搜索的重要手段。在遺傳算法中，選擇、交換和變異三個步驟各具其特殊功能。選擇決定哪些父代模型能繁殖，其依據是目標函數的擬合度；交換決定了模型中包含的基因遺傳或重組；變異可以產生父代不具備的基因，形成父代沒有的特征，使反演迭代更優化，其依據是變異概率。人工神經網絡（ANN）法1．神經網絡的基本特征（1）巨量并行性（2）信息存儲和信息處理時合在一起（3）自組織、自學習的功能人工神經網絡（ANN）法2．簡單人工神經元模型（1）M-P神經元模型特點：1）多輸入，但輸出；2）閾值作用；3）輸入與輸出均為兩態（抑制、興奮）；4）每個輸入通過權值來表征它對神經元之耦合程度（若無耦合可取wj=0）。圖5-4M-P神經元模型人工神經網絡（ANN）法2．簡單人工神經元模型（2）連續神經元模型為反映神經元狀態參數連續變化的情況，常用一階非線性微分方程來模擬生物神經元膜電位隨時間變化的規律圖5-5連續神經元模型人工神經網絡（ANN）法4．Hopfield網絡及其在地球物理資料反演中的應用

Hopfield網絡的最重要的應用之一是最優化問題。這樣應用的關鍵在于：將Hopfield網絡的能量函數和地球物理最優化問題的目標函數聯系起來，找到地球物理反演問題中的模型（mi,i=1,2,…,M）、核函數Gij（i,j=1,2,…,M）在神經元穩定輸出狀態下，和神經元諸要素（如神經元的輸入、輸出和它們之間的連接權等）之關系。

Hopfield網絡在地球物理反演中應用的另一重要內容問題是如何將地球物理的模型參數用二進制的形式表示人工神經網絡（ANN）法4．Hopfield網絡及其在地球物理資料反演中的應用用Hopfield網絡進行地球物理資料反演時，也同樣存在有收斂到局部極小的可能性。初始模型的選擇對反演結果關系很大，應盡量使初始模型逼近待求的真實的模型，這樣既可以減少計算時間，又可避免陷入局部極小。人工神經網絡（ANN）法5．回傳（BackPropagation）理論及其在地球物理資料反演中的應用

BP回傳學習的原理是：把希望輸出與實際輸出之偏差歸結為連接權的“過錯”，通過把輸入層單元的誤差，逐層向輸入層逆向回傳，分攤給各層單元，從而獲得各層單元的參考誤差，以調整相應的連接權。最基本的BP網絡是三層前饋網絡。即輸入層LA，隱含層LB和輸入層LC之間前向連接。通常BP網絡可以有多個隱含層，可以跨層連接，可以有單元自身的反饋連接，也可以有層內單元橫向連接。如圖5-6所示圖5-6最基本的BP網絡的拓撲結構人工神經網絡（ANN）法5．回傳（BackPropagation）理論及其在地球物理資料反演中的應用

BP學習有兩個階段。在第一個學習階段中，對于給定的網絡輸入，通過現有連接權沿其正向傳播，獲得各個元素的實際輸出。如實際輸出和理論輸出一致，則學習終止；否則進入第二階段，將輸出層各單元的誤差，逐層向輸入層方向逆向傳播，并調整各中間層的連接權，直至輸出層的輸出誤差達到最小為止。人工神經網絡（ANN）法5．回傳（BackPropagation）理論及其在地球物理資料反演中的應用利用BP回傳原理進行地球物理資料反演的基本步驟和必須注意的幾個問題：（1）結構設計。確定輸入層、輸出層中神經元（節點）的數目和類型；隱層的層數、類型、內部連接方式；與輸入、輸出層的連接方式。一般采用三層模式：即輸入、隱層和輸出三層。（2）訓練。就是根據期望輸出和實際輸出之誤差去調整輸入層和輸出層之間的各個連接權，以使期望輸出和實際輸出之間的差異達到最小。人工神經網絡（ANN）法5．回傳（BackPropagation）理論及其在地球物理資料反演中的應用利用BP回傳原理進行地球物理資料反演的基本步驟和必須注意的幾個問題：（3）檢查網絡的可信度。用含有誤差的數據輸入神經網絡，檢查網絡的實際輸出和期望輸出之間的偏離，以估計可信度。（4）在專家的監督下用大量數據作輸入，估算神經網絡的成功率。（5）推廣應用。多尺度反演（Multi-ScaleInversion）

1．尺度的概念尺度是指當我們以離散方式描述某一空間（或時間）函數時，均勻離散點之間的距離。尺度是分辨率的倒數。分辨率被定義為單位距離內離散點的個數。多尺度反演時把目標函數分解成不同尺度的分量，根據不同尺度上目標函數的特征逐步搜索全局極小。一般情況下，在大尺度（或低波數）上，目標函數極值點少，且分得很開，且顯示大尺度上的極小。用通常的方法很容易直接搜索出大尺度（總體背景）上的“全局極小點”。多尺度反演（Multi-ScaleInversion）

1．尺度的概念在相對較小尺度（稍大波數）上，目標函數極值點較多，如無大尺度搜索結果之指導，直接尋找全局極值點，雖比作尺度分解之前容易，但仍然比較困難。但是，只要我們以大尺度搜索到的背景“全局極小點”為起點，在其附近繼續搜索，也較容易的搜索到中等尺度上到的“全局極小點”。如此，不斷的縮小尺度，提高分辨力，目標函數的尺度降至原始尺度（即最下尺度）時，對應搜索出的全局極小點，就是真正的總體極小點。多尺度反演（Multi-ScaleInversion）

1．尺度的概念優點是，在大尺度（或低波數）上，反演穩定，反演結果不受初始模型的影響，在一定程度上，能避免其后的反演受局部極小所困擾，使收斂速速加快。多尺度反演（Multi-ScaleInversion）

2．小波與多尺度分析

Goupillaud，Grossmanne和Morlet（1984）引進了小波的概念。根據定義，我們稱滿足條件：（5.31）的函數為小波函數或母小波，式中是的傅氏變換。多尺度反演（Multi-ScaleInversion）

2．小波與多尺度分析

若（5.32）式中：為由母小波生成的依賴于參數a,b的連續小波；a稱為尺度變量；b為位置變量。尺度變量a的改變，標志著相對于母小波發生了伸縮改變；而位置變量b發生變化時，標志著相對于母小波發生了平移。多尺度反演（Multi-ScaleInversion）

2．小波與多尺度分析

若（5.32）式中：是歸一化因子，它使所有的小波具有相同的模。因此，所有的連續小波都具有相同的能量。多尺度反演（Multi-ScaleInversion）

2．小波與多尺度分析對于任一的函數而言，其小波變換定義為：（5.33）式中：為內積；而