第四章經典單方程計量經濟學模型：多元線性回歸模型

一、多元線性回歸模型的概念二、多元線性回歸模型的估計三、擬合優度四、非線性關系的處理五、假設檢驗六、預測七、參數的穩定性檢驗八、虛擬變量一、多元線性回歸模型的概念

1、多元線性回歸模型

2、多元線性回歸模型的基本假定

1、多元線性回歸模型

多元線性回歸模型:表現在線性回歸模型中的解釋變量有多個。

一般表現形式：i=1,2…,n其中:k為解釋變量的數目，j稱為回歸參數（regressioncoefficient）。也被稱為總體回歸函數的隨機表達形式。它的非隨機表達式為:表示：各變量X值固定時Y的平均響應。

習慣上：把常數項看成為一虛變量的系數，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數目為（k+1）

總體回歸模型n個隨機方程的矩陣表達式為:

j也被稱為偏回歸系數，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。用來估計總體回歸函數的樣本回歸函數為：其中其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數中隨機擾動項ui的近似替代。

樣本回歸函數的矩陣表達:

或其中：基本形式小結矩陣形式2、多元線性回歸模型的基本假定

例：在一項調查大學生一學期平均成績Y與每周在學習（X1）、睡覺（X2）、娛樂（X3）和其它活動（X4）所用時間關系的研究中，建立了如下模型：如果這些活動所用時間的總和為一周的總小時數168小時。問：保持其它變量不變，而改變其中一個變量的說法是否有意義？該模型是否有違背基本假定的情況？如何修改此模型使其更合理？二、多元線性回歸模型的估計

1、普通最小二乘估計2、極大似然估計3、參數估計量的性質4、樣本容量問題說明估計方法：兩大類方法：OLS、ML在經典模型中多應用OLS在非經典模型中多應用ML在本節中，ML為選學內容1、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數的參數估計值已經得到，則有：

i=1,2…n

根據最小二乘原理，參數估計值應該是右列方程組的解

其中

于是得到關于待估參數估計值的正規方程組：

解該（k+1）

個方程組成的線性代數方程組，即可得到(k+1)個待估參數的估計值$,,,,,bjj=012L。k正規方程組的矩陣形式即由于X’X滿秩，故有

將上述過程用矩陣表示如下：

即求解方程組：即補充：得到：

于是：售價X銷售量Q2.0412.5383.0343.5324.0294.5285.0255.5226.020例：利用下表數據，計算和正規方程組的另一種寫法對于正規方程組

于是

或

(*)或（**）是多元線性回歸模型正規方程組的另一種寫法。

(*)(**)樣本回歸函數的離差形式i=1,2…n

其矩陣形式為：其中：

在離差形式下，參數的最小二乘估計結果為

隨機誤差項u的方差2的無偏估計

可以證明，隨機誤差項u的方差的無偏估計量為：

2、極大似然估計對于多元線性回歸模型易知Y的隨機抽取的n組樣本觀測值的聯合概率

對數似然函數為對對數似然函數求極大值，也就是對

求極小值。即為變量Y的似然函數

因此，參數的極大似然估計為結果與參數的普通最小二乘估計相同。3、參數估計量的性質

在滿足基本假設的情況下，其結構參數的普通最小二乘估計及最大或然估計仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數估計量具有：一致性。

（1）線性性

其中,C=(X’X)-1X’

為一僅與固定的X有關的行向量。

（2）無偏性

U))

（3）有效性（最小方差性）

這里利用了假設:E(X’u)=0其中利用了

和4、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和極大似然原理出發，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。（1）最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數目（包括常數項）,即

n

≥

k+1因為，無多重共線性要求：秩(X)=k+1（2）滿足基本要求的樣本容量

從統計檢驗的角度：

n30時，Z檢驗才能應用；

n-k≥8時,t分布較為穩定

一般經驗認為:

當n≥30或者至少n≥3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質只有在大樣本下才能得到理論上的證明。三、擬合優度檢驗1、可決系數與調整的可決系數則

總離差平方和的分解=0

可決系數該統計量越接近于1，模型的擬合優度越高。

問題：在應用過程中發現，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。——

但是，現實情況往往是，由增加解釋變量個數引起的R2的增大與擬合好壞無關，R2需調整。

調整的可決系數（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數對擬合優度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。說明

例設n=20,k=3,R2=0.70求。

若n=10，則=0.55;若n=5，則=－0.20下面改變n的值，看一看的值如何變化。由本例可看出，有可能為負值。這與R2不同（）解

*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數不同的多元回歸模型的擬合優度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

四、非線性關系的處理

1、模型的類型與變換

2、非線性回歸在實際經濟活動中，經濟變量的關系是復雜的，直接表現為線性關系的情況并不多見。如著名的恩格爾曲線(Englecurves)表現為冪函數曲線形式、宏觀經濟學中的菲利普斯曲線（Pillipscuves）表現為雙曲線形式等。但是，大部分非線性關系又可以通過一些簡單的數學處理，使之化為數學上的線性關系，從而可以運用線性回歸模型的理論方法。說明

（1）倒數模型、多項式模型與變量的直接置換法

例如，描述稅收與稅率關系的拉弗曲線：拋物線

s=a+br+cr2+uc<0s：稅收；r：稅率設X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2+uc<0

1、模型的類型與變換（2）冪函數模型、指數函數模型與對數變換法

例如，Cobb-Dauglas生產函數：冪函數

Q=AKLeuQ：產出量，K：投入的資本；L：投入的勞動

方程兩邊取對數：

lnQ=lnA+lnK+lnL+u（3）復雜函數模型與級數展開法

方程兩邊取對數后，得到：

Q:產出量，K：資本投入，L：勞動投入

：替代參數，1、2：分配參數例如，常替代彈性CES生產函數2、非線性回歸

對于不可線性化的模型，可采用非線性回歸技術對參數進行估計，常用的非線性回歸技術有非線性最小二乘法（NLS）,該方法的原則仍是使殘差平方和達到最小。其步驟如下：（1）給出各參數的初始估計值；（2）用上述參數值及X的觀測值計算Y的預測值?；（3）計算殘差平方和Σe2;（4）對一個或多個參數的估計值作微小變動；（5）計算Y的新預測值?；（6）再計算殘差平方和Σe2;（7）若殘差平方和減小了，則說明新參數的估計值優于老的，則以它們為新的起點；（8）重復步驟（4），（5），（6），直至無法減少殘差平方和為止；（9）最后的參數估計值即為非線性最小二乘估計值。

五、假設檢驗1、系數的顯著性檢驗（1）單個系數顯著性檢驗

目的是檢驗某個解釋變量的系數βj是否為0，即該解釋變量是否對被解釋變量有影響。原假設：H0：

βj

=0檢驗統計量是自由度為n-k-1的t

統計量：

～t(n-k-1)其中，為矩陣主對角線上第j+1個元素。而例：柯布-道格拉斯生產函數用柯布和道格拉斯最初使用的數據（美國1899-1922年制造業數據）估計經過線性變換的模型得到如下結果（括號內數字為標準誤差）：請檢驗“斜率”系數和的顯著性。解：(1)檢驗的顯著性

原假設：H0：

=0由回歸結果，我們有：t＝0.23/0.06=3.83用自由度為24－3＝21，查t表，5%顯著性水平下，t/2

＝2.08.∵t＝3.83t/2

＝2.08，故拒絕原假設H0。結論：顯著異于0。(2)檢驗的顯著性原假設：H0：

=0由回歸結果，我們有：t＝0.81/0.15=5.4∵t＝5.4t/2

＝2.08，故拒絕原假設H0。結論：顯著異于0。

有時需要同時檢驗若干個系數是否為0，這可以通過建立單一的原假設來進行。設要檢驗g個系數是否為0，即與之相對應的g個解釋變量對因變量是否有影響。不失一般性，可設原假設和備擇假設為：

H0:β1

=β2

=…=βg

=0H1:

H0不成立(即X1,…Xg中至少有一個變量對Y有影響)

（2）若干個系數的顯著性檢驗（聯合假設檢驗）分析：這實際上相當于檢驗g個約束條件

β1=0，β2

=0，…，βg

=0是否同時成立。若H0為真，則正確的模型是：

據此進行回歸（有約束回歸），得到殘差平方和

SR是H0為真時的殘差平方和。

若H1為真，正確的模型即原模型：

據此進行無約束回歸（全回歸），得到殘差平方和

S是H1為真時的殘差平方和。如果H0為真，則不管X1,…Xg這g個變量是否包括在模型中，所得到的結果不會有顯著差別，因此應該有：

S≈SR如果H1為真，則由前面所討論的殘差平方和∑e2的特點，無約束回歸增加了變量的個數，應有

S<SR

通過檢驗二者差異是否顯著地大，就能檢驗原假設是否成立。所使用的檢驗統計量是：

～F(g,n-k-1)其中，g為分子自由度，n-k-1為分母自由度。使用的作用是消除具體問題中度量單位的影響，使計算出的F值是一個與度量單位無關的量。假設已得到下面結果：（1）全回歸估計得到：S=∑e2=25

（2）有約束回歸

估計得到：SR=∑e2=30例：給定20組Y,X1,X2,X3的觀測值，試檢驗模型中X1和X3對Y是否有影響？解原假設H0:β1

=

β3

=0

備擇假設H1:

H0不成立我們有：n=20,g=2,K=3

用自由度（2，16）查F分布表，5%顯著性水平下，Fα=3.63∵F=1.6<Fα=3.63,故接受H0。結論：X1和X3對Y無顯著影響

上一段結果的一個特例是所有斜率系數均為0的檢驗，即回歸方程的顯著性檢驗：

H0：

β1

=β2

=…=βk

=0

也就是說，所有解釋變量對Y均無影響。注意到g=k，

則該檢驗的檢驗統計量為：

（3）全部斜率系數為0的檢驗（即方程的顯著性檢驗）

分子分母均除以，有從上式不難看出，全部斜率為0的檢驗實際是檢驗R2的值是否顯著異于0，如果接受原假設，則表明被解釋變量的行為完全歸因于隨機變化。若拒絕原假設，則表明所選擇模型對被解釋變量的行為能夠提供某種程度的解釋。

2、關于擬合優度檢驗與方程顯著性檢驗關系的討論

由得你認為建立的模型質量如何？假設檢驗小結：模型：假設：方差分析表變差來源平方和自由度H0成立時的RSSH1為真時的RSS檢驗統計量：

上面所介紹的檢驗若干個系數顯著性的方法，也可以應用于檢驗施加于系數的其他形式的約束條件，如

檢驗的方法仍是分別進行有約束回歸和無約束回歸，求出各自的殘差平方和SR和S，然后用F統計量進行檢驗。當然，單個系數的假設檢驗，如H0：3=1.0，亦可用t檢驗統計量進行檢驗。3、檢驗其他形式的系數約束條件檢驗步驟如下：例：Cobb-Douglas生產函數Y=AKαLβu，試根據美國制造業1899-1922年數據檢驗規模效益不變的約束：α+β=1解：（1）全回歸（2）有約束回歸：將約束條件代入，得Y=AKαL1-αu，為避免回歸系數的不一致問題，兩邊除以L，模型變換為：Y/L=A(K/L)αu

回歸，得：

可得到約束回歸和全回歸的殘差平方和為SR=0.0716，S=0.0710（3）檢驗原假設備擇假設本例中，g=1,k=2,n=24

用自由度（1，21）查F表，5%顯著性水平下，Fα=4.32∵F=0.18<Fα=4.32，故接受原假設結論：我們的數據支持規模收益不變的假設。4、參數的置信區間

參數的置信區間用來考察：在一次抽樣中所估計的參數值離參數的真實值有多“近”。在變量的顯著性檢驗中已經知道：六、多元線性回歸模型的預測

1、E(Y0|X0)的置信區間

2、Y0的置信區間對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預測值：

它可以是總體均值E(Y0|X0)或個值Y0的預測。但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。

為了進行科學預測，還需求出預測值的置信區間，包括E(Y0|X0)和Y0的置信區間。

1、E(Y0|X0)的置信區間易知

容易證明:

于是，得到(1-)的置信水平下E(Y0|X0)的置信區間：其中，t/2為(1-)的置信水平下的臨界值。2、Y0的置信區間如果已經知道實際的預測值Y0，那么預測誤差為：容易證明

e0服從正態分布，即

構造t統計量

可得給定(1-)的置信水平下Y0的置信區間：

七、參數的穩定性檢驗鄒氏參數穩定性檢驗

建立模型時往往希望模型的參數是穩定的，即所謂的結構不變，這將提高模型的預測與分析功能。如何檢驗？

假設需要建立的模型為在兩個連續的時間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應的模型分別為：U1U2

合并兩個時間序列為(1,2,…，n1

，n1+1,…，n1+n2)，則可寫出如下無約束回歸模型

如果=，表示沒有發生結構變化，因此可針對如下假設進行檢驗：

H0:=(*)式施加上述約束后變換為受約束回歸模型(*)（**）因此，檢驗的F統計量為：

記RSS1與RSS2為在兩時間段上分別回歸后所得的殘差平方和，容易驗證，于是參數穩定性的檢驗步驟：

（1）分別以兩連續時間序列作為兩個樣本進行回歸，得到相應的殘差平方：RSS1與RSS2

（2）將兩序列并為一個大樣本后進行回歸，得到大樣本下的殘差平方和RSSR

（3）計算F統計量的值，與臨界值比較：若F值大于臨界值，則拒絕原假設，認為發生了結構變化，參數是非穩定的。該檢驗也被稱為鄒氏參數穩定性檢驗（Chowtestforparameterstability）。2、鄒氏預測檢驗

上述參數穩定性檢驗要求n2>k。如果出現n2<k

，則往往進行如下的鄒氏預測檢驗（Chowtestforpredictivefailure）。

鄒氏預測檢驗的基本思想:

先用前一時間段n1個樣本估計原模型，再用估計出的參數進行后一時間段n2個樣本的預測。

如果預測誤差較大，則說明參數發生了變化，否則說明參數是穩定的。

分別以、表示第一與第二時間段的參數，則:其中，(*)U2U1U2U2

如果

=0，則

=，表明參數在估計期與預測期相同(*)的矩陣式：

可見，用前n1個樣本估計可得前k個參數的估計，而是用后n2個樣本測算的預測誤差X2(-)(**)如果參數沒有發生變化，則=0，矩陣式簡化為(***)（***）式與（**）式這里：kU-kR=n2RSSU=RSS1

分別可看成受約束與無約束回歸模型，于是有如下F檢驗：

第一步，在兩時間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和RSSR

；

第二步，對前一時間段的n1個子樣做OLS回歸，得殘差平方和RSS1

；

第三步，計算檢驗的F統計量，做出判斷：鄒氏預測檢驗步驟：

給定顯著性水平，查F分布表，得臨界值F(n2,n1-k-1)，如果F>F(n2,n1-k-1)

，則拒絕原假設，認為預測期發生了結構變化。

例中國城鎮居民食品人均消費需求的鄒氏檢驗。

參數穩定性檢驗1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)

1981~2001:

(14.83)(27.26)(-3.24)(-11.17)給定=5%，查表得臨界值F0.05(4,13)=3.18結論：F值>臨界值，拒絕參數穩定的原假設，表明中國城鎮居民食品人均消費需求在1994年前后發生了顯著變化。解H0:=（2）鄒氏預測檢驗給定=5%，查表得臨界值F0.05(7,10)=3.18

結論：

F值>臨界值，拒絕參數穩定的原假設

在回歸分析中，常常碰到這樣一種情況，即被解釋變量的波動不僅依賴于那種能夠很容易按某種尺度定量化的變量（如收入、產出、價格、身高、體重等），而且依賴于某些定性的變量（如性別、地區、季節）。在經濟系統中，許多變動是不能定量的。如經濟體制的改革、固定匯率變為浮動匯率、從戰時經濟轉為和平時期經濟等。些變動都可以用大家所熟悉的0-1變量來表示，用1表示具有某一“品質”或屬性，用0表示不具有該“品質”或屬性。這種變量在計量經濟學中稱為“虛擬變量”。虛擬變量使得我們可以將那些無法定量化的變量引入回歸模型中。下面給出幾個可以引入虛擬變量的例子。八、虛擬變量（Dummyvariables）1、虛擬變量的概念例1：研究學歷和收入之間的關系，在你的樣本中，既有女性又有男性，你打算研究在此關系中，性別是否會導致差別。例2：研究某省家庭收入和支出的關系，采集的樣本中既包括農村家庭，又包括城鎮家庭，你打算研究二者的差別。例3：研究通貨膨脹的決定因素，在你的觀測期中，有些年份政府實行了一項收入政策。你想檢驗該政策是否對通貨膨脹產生影響。上述各例都可以用兩種方法來解決，一種解決方法是分別進行兩類情況的回歸，然后看參數是否不同。另一種方法是用全部觀測值作單一回歸，將定性因素的影響用虛擬變量引入模型。引入虛擬變量個數的原則：如果一個屬性變量有m種類型，則只需引入m-1個虛擬變量。引入虛擬變量的形式：（1）如果斜率系數不變，只研究截距的變化，則以加法形式引入虛擬變量；（2）如果斜率系數不同，則以乘法形式引入虛擬變量；

設Y表示消費，X表示收入，我們有：

}假定β不變。對于5年戰爭和5年和平時期的數據，我們可分別估計上述兩個模型，一般將給出的不同值。現引入虛擬變量D,將兩式并為一式：

其中

2、虛擬變量的使用方法（1）截距變動

此式等價于下列兩式：