1、Estimation with SAArlion notes series No.6Chapter 6非線性估計方法這些筆記是西安交大經濟歷次的資料。因為我本人了 4 次，所以就寫了 4 份筆記。現在拿出來供大家批評指正，希望在閱讀的時候不吝其中的錯誤和不妥之處。因為我本人接觸計量的時間也非常有限。同時，如果大家有任何需要共同的地方，請光臨計量版。 HYPERLINK http:/j/ http:/j/index.asp：本人同意，不得以任何方式、本文。1:Estimation with SAArlion notes series No.6Chapter 6非線性估計方法6.1簡介經典的計量經

2、濟學模型理論與方法是性模型的基礎上發展、完善起來的，因而線性計量經濟學模型領域的理論與方法已經相當成熟。但是，現實經濟活動并不都能抽象為線性模型，所以非線性計量經濟學模型在計量經濟學模型中占據重要的位置，關于它的理論與方法的研究是計量經濟學理論與方法研究中的一個廣泛的領域。非線性模型理論與方法已經形成了一個與線性模型相對應的體系，包括從最小二乘原理出發的一整套方法和從最大似然原理出發的一整套方法1，也包括隨機誤差項尾部基本假設的非線性問題的估計方法。本章中，簡要介紹非線性估計的基本原理，估計過所采用的數值計算方法，重點介紹如何利用 SA 編寫程序來實現非線性模型的估計。非線性關系解釋變量非線性

3、問題性計量經濟學模型中曾經提及，現實經濟現重重的變量之間往往呈現非線性關系，但在許多情況下，又可以通過簡單的變換使之變換成線性關系。解釋變量非線性問題就屬于這種情況。例如需求函數模型中需求量與價格之間的關系為1Q 1 （1）p通過變量置換就可以轉化為線性模型。一般而言，解釋變量非線性模型都可以轉化為線性模型。2可以轉化為線性的包含參數非線性模型中一旦包含參數非線性，一般情況下通過簡單的變換難以轉化為線性問題。但是，由于非線性模型的估計遠比現行模型的估計復雜，所以還應該盡可能的將它們轉化為線性問題。例如著名的 C-D 生產函數模型1關于最大似然方法的應用請參考本講義第五章。更為詳細的解釋請參考老

4、師講義第七章。2:Estimation with SAArlion notes series No.6Q AK L（2）在假設隨機誤差項的對數形式服從正態分布的情況下，即引入隨機誤差誤差可以寫成Q AK L （3）盡管包含參數非線性，仍然可以通過對兩邊同時取對數首先化為線性問題，ln Q ln A ln K ln L ln （4）然后進行模型的估計。3不可以化為線性的包含參數非線性這種問題是本章中的重點。他的一般表達式為yi f ( Xi , ) ii =1，2， ，n（5）x2i , xki ) ， (1, 2 , k ) ， n 為樣本容量。其中 f 是非線性函數，例如，上述生產函數模型，

5、如果隨機誤差項直接服從正態分布，在引入隨機誤差后模型寫成Q AK L （6）就是典型的非線性模型。又如，擴展的消費函數C Y （7）也是一個典型的非線性模型。對于這類模型，經典線性模型的估計方法已經不再適用，必須發展新的方法估計模型，主要有非線性最小二乘法和非線性最大似然法。非線性最大似然法在第五章有所介紹，這里只介紹非線性最小二乘法。6.1.2數值方法簡介對于模型（5），如果隨機誤差項服從 i N (0, ) ，且無序列相關，則可以從2普通最小二乘原理出發，構造模型的估計方法。對于只有一個參數的非線性模型，（5）可以寫成yi f (xi , ) ii =1，2， ，n（8）3:Estimat

6、ion with SAArlion notes series No.6如果參數估計值已經得到，則應是的殘差平方和最小。即nS () ( y f (x , )2（9）iii1最小。（9）取得最小值的一階條件為df (x , ) dS 2ni1( y f (x , ) 0id d ii即df (x , )n f (x , ) 0( yid （10）iii1現在在于如何求解非線性方程（10）。下面簡單介紹兩種最為常用的數值算法。21-（Gauewton）迭代法（1）原理迭代是從（9）式出發的。根據經驗給出參數估計值 的初始值 ，將(0)（9）中的 f (xi , ) 在 處展開(0)級數，取一階近似

7、值。即有) df ( xi , )f ( x , ) f ( x , ( )（11）d ii(0 )(0 )(0 )df (x , )z ( ) id 令i) df (xi , )z (于是d i(0)(0) 代入（9）中，得到S () y f (x , ) z ()( n)2ii(0)i(0)(0)i1 y f (x , ) z () z () 2n i1ii(0)i(0)(0)i(0)y () z () 2n i1（12）i(0)i(0)2關于數值算法更為詳細的解釋請參考、鄧建中編著的數值計算方法（2002），交大。4:Estimation with SAArlion notes seri

8、es No.6其中， y i (0) ) yi f (xi , ) z ()，可見，一旦給出參數估計值 的初(0)i(0)(0)始值 ，就可以計算出（12）式中 y () 和 z () 的確定的觀測值。于是，(0)i(0)i(0)將（9）取極小值變成對（12）取極小值。如果有一個線性模型y i (0) ) zi () (0)i（13）很容易求得其參數 的普通最小二乘估計值 (1) ，該估計值使得殘差平方和2nS ( ) y () z ()（14）(1)i(0)i(0)(1)i1最小。比較（12）和（14）后發現，滿足使（14）達到最最小的估計值 (1) 同時也是使（12）達到最小的 。換言之，

9、線性模型（13）的普通最小二乘估計值就是模型（8）的一個近似估計值。因為它是在給定參數估計值 的初始值 的(0)情況下得到的，將它記作參數估計值 的第一次迭代值 (1) 。它是通過對線性模型（13）進行普通最小二乘估計而得到的，而線性模型（13）實際上并不存在，故稱之為線性偽模型。將 (1) 作為 的新的給定值，將（9）中的 f (xi , ) 在 處展開(1)級數，取一階近似值，又可以構造一個新的線性偽模型，對其進行普通最小二乘估計，得到 的第二次迭代值 。如此迭代下去，直到收斂（連續兩次得到的參(2)數估計值之差滿足確定的標準）。至此完成了非線性模型（8）的普通最小二乘估計。（2）步驟在對

10、上述采用-迭代法實現非線性模型參數最小二乘估計的原理了解之后，可以將其步驟簡潔地歸納如下：Step1: 給出參數估計值 的初始值 ，將 f (x , ) 在 出展開級數，(0)i(0)取一階近似值； df (xi , )和 y y f (x , ) z 的樣本觀測值；Step2: 計算 zd iiii(0)i (0)( 0) 5:Estimation with SAArlion notes series No.6采用普通最小二乘估計模型 y i zi i ，得到 的估計值 ；(1)用 (1) 代替第一步中的 ，重復這一過程直至收斂。(0)Step3:Step4:2-森（Newton-Raphs

11、on）迭代法迭代法的改進，當給出參數估計值 的初始值-森迭代法是-，將（9）式在 處展開(0)(0)級數，取二階近似值。即dS ()d 1 d 2S ()S ( ) S () ( ) ( )2（15）(0)(0)d 2(0)2( 0) ( 0) -迭代法有兩點不同：一是直接對S () 展開這里與級數，而不是對其中的 f (xi , ) 展開；二是取二階近似值，而不是一階近似值。使（15）達到極小的條件是dS () 0d 注意，這里的S () 已經用（15）的近似式代入，而不是（9）。再對 dS () 取一d 階近似，則有dS () dS () d S ()2( (0) )d d d 2( 0)

12、 ( 0) = 0于是得到 1 d S ( )i d S ( )2（16）d 2d (0 )(0 )(0 )由（16）式得到的 并不是最后的參數估計值，將它作為第一次迭代值 ，在(1)進行上述過程，直至收斂。需明的是，無論是-迭代法還是-森迭代法，都存在一個問題，即如何保證迭代所近的是總體的極小值（即最小值）而不是局部極小值？這就需要選擇不同的初始值3，進行多次迭代求解。3初始值的選擇是一個非常重要但又往往比較，在后面將會進行專門。6:Estimation with SAArlion notes series No.66.2非線性估計的 S就目前常用的計量經濟學A 實現方法（如 Eview4.

13、0、TSP6.5、Guass5.0、SA8.0）而言，進行簡單的非線性模型的估計并不是一件的事情,但是當所要估計的模型非常復雜，或者模型的設定中包含了多個方程時，選擇 SA8.0 編寫程序進行估計的優勢就變得非常明顯了。因為，SA8.0 所特有的暫時性物件，如暫元、暫時變量，使可以非常靈活地對程序進行控制。下面首先介紹在SA8.0 中進行非線性模型估計的程序的基本架構，繼而輔以幾個簡單的實例來說明其具體實現方法。6.2.1基本架構在 sa 中可以用 nl 命令來估計任何非線性的模型。其原理就是前面我們介紹的普通最小二乘法，只是進行級數展開時所采用的是數值方法，這里不作詳細介紹。也就是說，對于模

14、型（8）nl 可以找到使得殘差平方和最小的參數估計值 。4在使用該命令時唯一要做的就是告訴 sa 所要估計模型的具體函數形式，相應的 sa 程序具有如下基本架構：其中，可以定義任何復雜的函數形式，行數也沒有任何限制。在上面的架構中只包含了一個簡單令：replace，如果有必要的話，定義過可以包含許多命令。例如，暫時性變量、條件語句都可以用于函數的定義。在程序的定義過，以下幾點需要注意：（1）程序的名稱一定要以 nl 開頭；（2）在定義的第二行一定要定義該程序時 sa 的版本，以保證在以后 sa 升級后的程4利用nl 也可以獲得最小二乘估計量。7:programve8.0if 1=? globa

15、l S_1 parameter names (initialize parameters)exitreplace 1= .endEstimation with SAArlion notes series No.6序仍然可以正常執行；（3）參數的定義要使用全域暫元。6.2.2實例分析實例 1：5考慮如下一般消費函數C Y （17）如果放松 1的限制，就可以得到如下一般性的消費函數C Y （18）顯然，擴展后的消費函數模型是非線性的，（18）的估計。可以編寫如下程序來完成模型的程序名定義為 nlchp6_1，三個參數分別為 alpha、在這個簡單的程序中，beta 和 gamma，相應的初始值分別

16、設定為 10、0.1 和 1.0，要執行模型的估計只需輸入如下命令即其中，nl 是非線性估計的基本命令，chp6_1 是定義的程序名的 fcn 部分，而consumption 則是被解釋變量。命令執行會輸出以下結5該實例主要參考Gree e (4th，英文 ) 一Exle10.3。所用到的數據為A6_1.dta，用于完成模型估計的程序為nlchp6_1.ado，整個處理所用do 文件為chp6_1_co d .d 。6如果ado 文件沒有保存在s a8.0 指定的目錄下，要先點擊Do-fil s editor 內的“run”圖標，這樣程序就會自動到體內，接下來再執行下面令即 。8:. nl c

17、hp _1 consumpt onprog am def ne nlchp vers onif = ?/* if qu ry c llglo al _1 al ha b ta gam/* ident fy paramet s glo al alpha/* nd initial ze tm glo al b ta =glo al gamma= e/* otherwi e, calcul te funct on repl ce 1=$alpha+$beta*(e$gam nEstimation with SAArlion notes series No.6作為對比，還估計了線性模型（17），對比結

18、果如下：會發現，采用不同的模型進行估計，得到的結果會有很大的差異。9:Variable | linear(m_17)nonlinear(m_18)-+-alpha | 11.374187.549*beta |0.898*0.247*gamma | 1.0001.156*-legend: * p0.05; * p0.01; * p F= 0.0000Residual | 8424.0471133 255.274155R-squared= 0.9990-+-Adj R-squared = 0.9989 Total | 8369954.0735 239141.545Root MSE= 15.9773

19、Res. dev. = 298.5553(chp6_1)-consumption |Coef.Std. Err.tP|t|95% Conf.erval-+- alpha |187.548640.719544.610.000104.7041270.3931beta |.2470924.08338952.960.006.0774353.4167496gamma |1.15583.041016128.180.0001.0723821.239278-* Parameter alpha taken as constant term& ANOVA table (SEs, P values, CIs, an

20、d correlations are asymptotic approximations)Estimation with SAArlion notes series No.6實例 2：7在 6.1.1 節中曾經介紹了 C-D 函數的兩種因隨機項設定的不同而有所差異的模型，分別為（3）式和（6）式，即Q AK L （3）Q AK L （6）也已經提到，（3）是可以通過對模型兩邊取對數而轉化為線性模型ln Q ln A ln K ln L ln （4）而（6）卻只能采用非線性最小二乘法進行估計。可見，模型中隨機項的設定非常重要。下面分別采用 OLS 和 nl 對模型（4）和（6）進行估計，比較二者

21、的參數估計值有何差別。用于進行非線性估計的程序為：在這個程序的第 5 行加入了一條新令“global S_2”，其中“”內可以放入任何文字用于對所估計模型進行說明。當然，不加入該命令程序同樣可以正常運行，結果就是在實例 1 種看到的。輸入如下命令，即可完成模型的估計，最終的輸出結果如下：7該實例主要參考Greene (4th，英文版) 一計的程序為nlchp6_2.ado。Exle10.5。所用到的數據為A6_2.dta，用于完成模型估10:nl chp6_2yprogram define nlchp6_2 ver8.0if 1 = ? global S_1 cons alpha betagl

22、obal S_2 nonlinear mof C-D function: global cons = 3.0global alpha = 0.2 global beta = 0.8 exitreplace 1 = $cons*(c$alpha)*(l$beta)endEstimation with SAArlion notes series No.6可見，迭代 4 次后，模型就收斂了，這主要是因為初始值的選擇比較恰當，后面還會分析這個問題。結果中加了陰影的部分就是S_2”產生的效果。輸入如下命令可以完成對模型（4）的估計使用命令“global模型（6）和（4）的估計結果對比如下：11:quie

23、tly reg ln_y ln_c ln_l(obs = 25)Iteration 0: residual SS = 116.5228Iteration 1: residual SS = 6.290644Iteration 2: residual SS = 5.915114Iteration 3: residual SS = 5.914612Iteration 4: residual SS = 5.914612Source |SSdfMSNumber of obs = 25-+-F(3, 22)=346.96M| 279.8376083 93.2792028Prob F=0.0000Resid

24、ual | 5.9146121722 .268846008R-squared=0.9793-+-Adj R-squared = 0.9765 Total |285.7522225 11.4300888Root MSE= .5185036Res. dev.= 34.91068nonlinear m of C-D function:-y |Coef.Std. Err.tP|t|95% Conf.erval-+- cons |8.162813.567048914.400.0006.9868269.338801alpha |.1900072.04829513.930.001.0898493.29016

25、51beta |.8557859.085349610.030.000.67878171.03279-(SEs, P values, CIs, and correlations are asymptotic approximations)Estimation with SAArlion notes series No.6可看出，由于隨機誤差項設定的不同，模型（4）從兩個模型結果的對比中和（6）分別代表了不同的含義，因此得到的參數估計也有很大的差別。6.2.3初始值的設定前面已經提到，在非線性估計過，初始值的選擇是一個非常重要。因為它關系到模型的估計是否可以收斂到全局最小值，另一方面，如果初始值選擇不當，會導致程序需要很長時間才能后收斂，更糟糕的情況下的程序根本無法收斂。盡管如此，在初始值的選擇問題上，仍然沒有一個確定的標有助于進行初始值的確定。（1）通過分析模型中參數的準，但是以下方經濟漢以來確定其估計值的大致范圍。比如，在實例 2 種，知道 和 的和大致應該等于 1。（2）將非線性模型簡化，得到其情況下對應的線性模型，用線性模型的參數估計作為初始值。比如，實例 2 中，的參數估計值作為非線