曲線曲面擬合第1頁，課件共35頁，創作于2023年2月1非線性回歸分析的任務

非線性關系是最普遍的變數間量化關系，合適的非線性回歸分析對研明變數間的數量關系有重要作用。非線性回歸分析的廣泛應用，將促使試驗研究從定性向定量發展，由粗放向精細發展。線性關系形式單一，而非線性關系多種多樣，選擇合適的非線性模型并非易事。多項式也是一種（簡單的一種）非線性關系，先前已有論述，本章僅討論多項式以外的純非線性關系。對于純非線性回歸分析，非線性回歸統計數的估計、假設測驗等均有很大難度。第2頁，課件共35頁，創作于2023年2月第3頁，課件共35頁，創作于2023年2月非線性回歸分析的主要任務有下列4項：1)建立合適的非線性模型；2)估計非線性方程的統計數——曲線曲面擬合；3)合理的顯著性測驗；4)方程的進一步利用（插值與外推）。第4頁，課件共35頁，創作于2023年2月2非線性回歸方程的選擇主要有3種方法：1）解微分和偏微分方程組dsolve(‘Dy+y+c’,’…’)y=dsolve(‘Dy-b*y+c*y^2’,’y(0)=k/(1+a)’)symscbk;y=subs(y,cb/k);pretty(y)第5頁，課件共35頁，創作于2023年2月2）根據機理或基本數量關系推導每一種函數關系都有一些基本特點，可以根據這些基本要素確定不同的方程。這些基本要素如零點(初值點)、峰值點（極大、極小）、拐點、漸近點等，應符合數據事實。第6頁，課件共35頁，創作于2023年2月3)試算、比較與選擇當變數間的可能關系所知甚少，可對不同方程進行試擬合，比較分析后選出最佳關系模型。除了前述的關鍵點數據應與曲線、曲面有好的吻合外，也應保證數據在前、中、后段都能較好地擬合；另外也應保證較高的擬合度（決定系數）、較小的離回歸平方和以及較好的插值和外推。通常，較少參數的曲線剛性有余、柔性不足，而參數較多的方程有較大的柔性。但參數太多往往會過參數化（over-parameterization），擬合的難度大大增加。第7頁，課件共35頁，創作于2023年2月3參數估計目標函數：當給定Xi與Yi

(i=1,2,…,n)時，Q也是b的函數：

Q=F(b)。擬合即為尋找βopt=min(F(b))的過程。發展穩定高效實現全局最優擬合的算法是非線性回歸的關鍵，難度較大。第8頁，課件共35頁，創作于2023年2月1）線性化法對一些簡單的方程，我們可以采用數據轉換的方式將其化成線性方程，然后用一元或多元線性回歸的方式進行分析。如：其缺陷是該類方法僅適用于簡單的方程，而絕大多數純非線性方程較復雜，不能用線性化方法進行參數估計。第9頁，課件共35頁，創作于2023年2月2）一些通用方法梯度法(快速登山法,Gradient)；第10頁，課件共35頁，創作于2023年2月給定某一起始參數點：

若=0,bj在該點前后的變化不會使Q變化<0,bj在該點的增加將使Q變小

>0,bj

在該點的增加將使Q變大令<0>0朝著使Q減小的方向

因而第11頁，課件共35頁，創作于2023年2月一個實例：b0=[3，20，0.5]XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.195690.004310.73190-0.029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879

-.35275-4.813e-3.16480第12頁，課件共35頁，創作于2023年2月(2)高斯法(Gauss)；(3)高斯-牛頓法(Gauss-Newton)；以新的b值再運行前述過程，反復迭代，直至delta趨于0，或Q已不再變小。第13頁，課件共35頁，創作于2023年2月

f按多元Taylor級數展開（略去二次及二次以上各項）：

則目標函數可以轉化為:令第14頁，課件共35頁，創作于2023年2月得新的優化點:當b與b(0)有差異時，應令b替代b(0)重新計算

由

△=0，或Q的前后差異小于某一定值。第15頁，課件共35頁，創作于2023年2月一個實例：b0=[3，20，0.5]XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.195690.004310.73190-0.029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879第16頁，課件共35頁，創作于2023年2月df/dKdf/dadf/dbY-f00.1197-0.01580.63201-0.058960.2698-0.02962.363990.050660.5011-0.03754.499980.22680.7319-0.02944.709370.004310.8812-0.01573.13958-0.173730.9528-0.00681.62009-0.18830.9821-0.00260.73879-0.14627XY得新的優化點:反復迭代…第17頁，課件共35頁，創作于2023年2月(4)改良高斯牛頓法(Levenberg-Marquardt)

這是梯度法和高斯-牛頓法相結合的一種方法。A很可能是奇異的，需對此陣進行調整:作用:一可解決A陣奇異，無法求解Δ之困；二是A陣對角線元素包含了較大的與求解Δ相關的信息量，加快趨于全局優的進程。

第18頁，課件共35頁，創作于2023年2月(5)極大似然法(maximumlikelihood)。 大多數著名的統計軟件如SAS,Matlab,Sigmaplot等包含了基于這些算法的非線性方程擬合模塊。第19頁，課件共35頁，創作于2023年2月3）通用算法存在的問題：(1)需提供方程的導數或偏導數；(2)需提供合適的初值；(3)一般難于實現全局最優擬合。最后一點往往是最主要、最致命的缺陷。第20頁，課件共35頁，創作于2023年2月4）曲線、曲面擬合新算法(Contraction-ExpansionAlgorithm)CE算法包含三個基本步驟：(1)收縮步，縮小步長的搜索過程；(2)擴張步，擴大步長的搜索過程；(3)調整步，中心點、臨界值的重新調整。第21頁，課件共35頁，創作于2023年2月(1)收縮步第22頁，課件共35頁，創作于2023年2月(2)擴張步第23頁，課件共35頁，創作于2023年2月(3)中心點和步長的確定全局最優擬合的能力和效率很大程度上取決于初始點和步長，初始步長一般總不是很合適的，必須由尋優過程的信息反饋調整。記錄在尋優搜索過程中的度點（即滿足一定要求的參數點）的數量和位置，算出它們平均數和標準差（Sj為bj的二階原點矩）：第24頁，課件共35頁，創作于2023年2月(4)調整臨界值C

若C很小，產生的度點數量太少，若C很大，產生的度點數量太多，這些情形都將使算法的能力和效率受損。臨界值C必須有反饋調節機制。若N是每一輪次的試算節點總數，nE是擴張步一個循環（由3~7個輪次組成）的度點數量，在一次循環后重新計算臨界值（包括步長）。前后兩次循環(v,v+1)使用不同的公式是為了減少循環過程波浪形C值的發生。在mod(v,2)=0時，需將nE清零。第25頁，課件共35頁，創作于2023年2月（5）CE算法的主要優缺點：

不必提供導數與偏導數，利于通用程序的編制；無需提供適合的初值；實現最優擬合的能力較強；搜索效率不高，對多參數非線性問題難于實施。第26頁，課件共35頁，創作于2023年2月(6)縮張算法的一些改進：1每一輪次的試算節點數(z)隨p的增加而指數（爆炸）式增長。5步點時，z=5^p=exp(1.60944p)；在3步點時，z=3^p=exp(1.09861p)。因此在p>7（5步點）或p>13（3步點）時，算法負荷量已超出普通pc機的上限（每輪次試算節點數以1m計），該法不適宜用于參數數p>15的非線性方程的擬合。在參數較多（p=5~10）時，改5點法為3點法，參數很多(p>10)時，只在p維參數空間中均勻隨機產生一定量的試算節點，盡可能減少一輪搜索的步點數。第27頁，課件共35頁，創作于2023年2月2與解析法中的改良高斯牛頓法相結合，在給定的參數初值（或中間值）點處，利用參數微小差量Δ的差分方程獲得方程對某一參數的近似偏導函數值，再將各（觀察值）點的偏導函數值的乘積累加，得到近似的Jaccobi矩陣(A，或A*)和常數陣K，再由AΔ=K，解出Δ=A-1K（Δ=A*-1K），當Δ接近0或RSS(Q)小于收斂標準時結束。第28頁，課件共35頁，創作于2023年2月

f依第j個參數bj的近似偏導數為：是Xi及參數點bj(0)處僅第bj

參數具微小差值時的回歸值。是bj

微小差值參數增量；第29頁，課件共35頁，創作于2023年2月bi(0)第30頁，課件共35頁，創作于2023年2月基于數值微分基礎的改良高斯-牛頓法：當b與b(0)有差異時，應令b替代b(0)重新計算Δ，當Δ接近0或小于收斂標準時結束。構建矩陣第31頁，課件共35頁，創作于2023年2月4非線性回歸統計數的假設測驗Jaccobi陣A的逆陣C(C=A-1)對角線元素為相應回歸統計數標準化的方差，所謂標準化的方差是指離回歸誤差方差為1時的方差。因此，第j個回歸統計數bj（與0的差異顯著性）測驗可用t測驗：第32頁，課件共35頁，創作于2023年2月5曲線、曲面擬合的matla