1、第二章 回歸模型 學習要求：掌握一元及多元線性回歸模型的基本理論與方 法、參數的普通最小二乘估計式及相關性質、對模型的經濟意義檢驗和統計檢驗，能應用Eviews軟件進行最小二乘估計與統計檢驗，利用模型進行預測。本章主要教學內容： 第一節 一元與多元線性回歸模型 第二節 最小二乘估計及其性質 第三節 回歸系數的區間估計與假設檢驗 第四節 回歸模型的統計檢驗 第五節 回歸預測 第六節 非線性回歸模型 第一節 一元與多元回歸模型一、回歸與相關 經濟變量之間的關系通?？煞殖蓛深悾?確定性函數關系一個（一些）變量的值給定后，另一個變量的值完全確定； 不確定性的統計關系一個（一些）變量的值給定后，另一個變

2、量的值不能完全確定。例： 無息票債券的面值、到期期限與債券的現價完全決定債券的到期收益率，y = f(x)。 居民的可支配收入不能完全決定居民的消費支出， y = f(x,u)，u為一個隨機變量。 1. 兩個變量之間的線性相關關系 若一個變量變化時，另一個變量傾向于同向變化，稱兩個變量間存在正相關關系； 若一個變量變化時，另一個變量傾向于反向變化，稱兩個變量間存在負相關關系； 若一個變量的變化不會造成另一個變量的具有傾向性的變化，稱兩個變量不相關。 相關關系不是確定的函數關系。例：兩個變量的相關關系 * 小學生年齡與60米短跑的用時（負相關） * 企業信用等級與企業債券（貸款）的利率（負相關）

3、 * 一般情況下，債券的期限與債券的利率（正相關） * 一般商品的價格與商品的供應量（正相關） * 汽油的價格與對冰淇淋的需求量（不相關） 2. 兩個變量線性相關的度量方法 * 兩個變量的分布已知，得到相關系數的精確值： * 若只有變量的樣本數據，得到相關系數的估計值： 相關系數的估計值與樣本取值有關。)(),cov( , )()(),cov(EyyExxEyxyVarxVaryxxyniiniiniiixyyyxxyyxxr12_12_1_)()()(注意: * 相關系數只能度量兩個變量是否具有線性相關性，而不能度量其他，如： x服從-1，1上的均勻分布，顯然，y與x存在確定的函數關系，但它

4、們的線性相關系數為0。 * 相關關系不是因果關系，經濟變量之間的因果關系只能從經濟理論中導出，而不能從統計分析中直接得到。 例： 太陽黑子爆發的次數與澳大利亞的野狼數2xy 3. 條件均值與總體回歸函數 y與x之間存在不確定的關系： ，x給定后y的數學期望， ，稱為y關于x的條件均值，g(x)也稱為總體回歸函數。 在許多實際經濟、金融問題中，真正需要了解的是一個變量關于另一個（另一些）變量的總體回歸函數： 4. 回歸分析 回歸分析研究變量y與變量x之間的具體的統計依存關系，特別是研究y關于x的條件均值的具體形式，即研究總體回歸函數g（x）。 回歸分析中，x看成解釋變量，y為被解釋變量，回歸分析

5、研究y的條件平均值如何隨x的變化而變化，即回歸關系研究變量之間的隨機因果關系，這與相關關系不同。 ),( uxfy)(| ),()|(xgxuxfExyE),()|( )()|(21nxxxgyExgxyEX 二、一元線性回歸模型與基本假設1. 概念 假設總體回歸函數為線性函數,即: 我們關心參數究竟取什么值。 考慮模型： ，稱為一元線性回歸模型，其中 稱為隨機擾動項（隨機誤差項），加入此項的原因在于： * 未知的對y有較大影響的因素； * 已知但無法獲得觀測數據的對y有較大影響的因素； * 眾多對y有很小影響的因素；其他還包括： * 模型的設定誤差； * 變量的觀察誤差；等。xxyE10)|

6、(iiiuxy10iu2. 回歸分析方法 * 采集樣本數據: * 采用適當的方法估計模型參數； * 得到樣本回歸函數： ， * 將樣本回歸函數作為總體回歸函數的估計。3. 一元回歸模型的基本假設 在回歸分析中，為采用適當的方法估計模型參數,需要對回歸模型提出一些基本假設，這些假設包括： * 解釋變量為非隨機變量 * ，意味著 ，表明模型設置無系統性偏差； * 同方差：各隨機擾動項的方差相同 * 無自相關：各隨機擾動項互不相關 * 誤差項與解釋變量不相關； * 隨機擾動項均服從正態分布。 niyxii , , ,2 1),(xxyE10)|(0)|(iixuEiiixxyE10)|(2)|(ii

7、xuVarjiuuEuujiji , 0)(),cov(4.由基本假設衍生的性質 ),( ), 0( *0),cov( 0),cov( *)|( )|( *)|( 0)|( *21022210iiijijiiiiiiiiiixNyNuyyuuxyVarxuVarxxyExuE三、多元線性回歸模型與基本假設 1. 多元線性回歸模型 一般形式: 矩陣形式: ikikiiiuxxxy22110UX Y 1 1 1211021222121211121nkknnnkknuuuxxxxxxxxxyyy 2. 多元線性回歸模型的基本假設 * 解釋變量為非隨機變量； * ； * 各隨機擾動項的方差相同； *

8、各隨機擾動項互不相關； * 隨機擾動項與各解釋變量互不相關； * 隨機擾動項均服從正態分布； * 無多重共線性，即滿足： 思考題：從多元線性回歸模型的基本假設，可以得到哪些衍 生性質 ？0)|(iixuE1)( , 1)(/kRankkRankXXX第二節 最小二乘估計及性質 一、最小二乘估計 1. 概念 一元回歸模型 中，使 達到最小值的 稱為模型參數的最小二乘估計（OLS） 2. 最小二乘估計的計算方法 iiiuxy10niiixyf121010)(),(10,0),(0),(20/210/1ff_1_02_2_112110n1i110/2_10_110/1)()()()( 0)(0 0)

9、(0 xyxxyxxxxyyxxxxyxxyxfxyxyfiiiiiiniiniiiiniiiiniii3. 最小二乘估計的Eviews實現 例1: sjk21給出我國1985-1998年期間每年稅收收入y和國內生產總值（GDP）x 的統計資料，假設y與x的關系可以表示為試利用Eviews軟件計算模型參數的最小二乘估計。 解： * 啟動Eviews、建立工作文件：filenewworkfile,確定頻率 項; * 導入sjk1: procsimportread text-lotus-Excel,輸入相關項; * 在主窗口輸入命令: ls y c x,回車后,系統輸出模型參數的最小二乘估計 (附

10、后),估計得到的方程為 iiiuxy10 xy0946. 05 .9874. 隨機擾動項的方差的估計 當解釋變量取 時,模型預測的y的條件期望值令 則 可看成隨機擾動項的估計值，隨機擾動項的方差的估計可表示為： ixiiixxyEy10)|(iiiyyeieniien12221 5. 多元線性回歸模型的最小二乘估計 多元線性回歸模型中，使 達到最小時的參數值，稱為模型參數的最小二乘估計。 多元線性回歸模型的矩陣形式： 由一階條件得到（證明附后）： 于是 ikikiiiuxxxy22110nikikiikxxyf1211010)(),(UXY0/UXYXXXXXYX/1/)( 0ikiiiink

11、nkknikikikiikiiikikiiiikikiiuxuxuuuuxxxxxxuxxxyxuxxxyxuxxy121211211111011101110 1 1 1 0)( 0)(0)(例2： 我國國有獨立核算工業企業生產函數。根據生產函數理論，生產函數的基本形式為 其中，L、K分別為生產過程中投入的勞動與資金，時間變量t反映技術進步的影響。Sjk22給出我國1978-1994年期間國有獨立核算工業企業的有關統計資料，其中y為工業總產值（可比價）， L、K分別為年末職工人數和固定資產凈值（可比價）。試利用Eviews軟件建立線性生產函數解： 在主窗口輸入命令： Ls y c t L k，

12、估計得到的方程 ),(KLtfy KLty3210KLty804.001.136.3117206. 多元回歸模型中擾動項方差的估計)(11110122kikiiiniixxyeekn二、最小二乘估計的性質1.參數估計量的評價標準 無偏性: ，參數估計無系統性偏差 有效性，即最小方差性，參數估計精度較好、 更接近于真值； 一致性： E1)|(|limnnprob 2. 最小二乘估計的數值性質 無須對回歸模型作任何假設，就可得到的最小二乘估計的性質稱為最小二乘估計的數值性質，這些性質有： 樣本回歸直線通過樣本均值點性質由同學自己推導，作為今天的一個作業。011 1 111）（iiiiiiyynen

13、eyxxyxxynyxy100 , 0iiiiexey 3. 最小二乘估計的統計性質 統計性質：滿足模型基本假設時所擁有的性質。 最小二乘估計為線性估計 由于模型參數為線性估計，因此當隨機擾動項服從正態分布時，參數估計量與服從正態分布，這為對模型的統計推斷提供了便利。 ininiiiniiniiiyxxxxxnyxxxx11201121 )()(1 )()( 最小二乘估計為無偏估計 同樣可以證明， 。 在所有的線性估計中，最小二乘估計具有最小方差（證明見后） 高斯馬爾柯夫定理 在滿足線性回歸模型基本假設的條件下，模型參數的最小二乘估計具有線性性、無偏性、最小方差性。 111101101 )(n

14、iiiniiniiiikxkEuxkE00E)()()(0)(1)(1 )()(2)( )()()(1 , 0 , 1n1i22n1i22n1i22*1n1i2n1i2n1i2n1in1in1i2n1i22n1i22n1i22n1i*1n1in1i1*1n1in1i1n1i0n1i*1n1i1VarkkkdVarxxxxkkdkkdkkdkkdkkdydVarVarxddEudxddydykiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii第三節 回歸系數的區間估計與假設檢驗 一、最小二乘估計量的分布 滿足基本假設時，參數的最小二乘估計量服從正態分布 n1i2n1i2222

15、2n1i2n1i2200n1i2_21121)(21)2( )2() )( , ( )( , ( iiiiiienyynnnxxnxNxxN參數估計量標準差 2212220)(1)()()(xxSexxnxSeiii二、回歸系數的顯著性檢驗 回歸系數的顯著性檢驗，就是檢驗以下假設是否為真 很顯然，如果第二個原假設為真，則x的變動對y的變動沒有影響，已建立的模型不適當。 數理統計知識復習： 0 0 1000:HH或 1 0212122122），（相互獨立，），（），（）（）（，），（mmFmmmmmtmmN當第二個原假設為真時 構造檢驗統計量： ）（）（）（），（）（）（，（2/ 1 0/ 01

16、122221221221ntSexxNxxxxNiii）（11Set同樣，當第一個原假設為真時，檢驗統計量 對多元回歸模型，檢驗統計量為 )2()(t00ntSe) 1()(kntSetii檢驗方法： 給定顯著性水平 ， 時拒絕原假設，回歸系數通過顯著性檢驗； 時接受原假設，回歸系數沒有通過顯著性檢驗。 在Eviews中，回歸分析后系統直接給出檢驗統計量（t）值和伴隨概率Prob，檢驗方法為： 若伴隨概率小于給定的顯著性水平，拒絕原假設，回歸系數通過顯著性檢驗； 若伴隨概率小于等于給定的顯著性水平，接受原假設，回歸系數沒有通過顯著性檢驗，模型需要調整。 2/|tt 2/|tt 例：對例1、例1

17、中所構建的模型，進行各回歸系數的顯著性檢驗，取顯著性水平為0.05。 例1中，回歸系數均能通過顯著性檢驗。 例2中，除資本k的系數外，其余回歸系數（包括截距）均不能通過顯著性性檢驗，模型需要調整。三、回歸系數的區間估計 有時人們關心回歸系數在一定置信度下的置信區間，這比系數的點估計更有價值。如何進行區間估計？在一元線性回歸模型中 這樣，從數理統計知識，對選定的置信度 ，參數的置信區間為 在多元回歸模型中，有 )2()( )( , (1112211ntSexxNi)1()( , )(12/112/1SetSet)1()( kntSeiii 例：給定置信度為95%，給出例4中參數 的置信區間 解

18、置信區間為 1003626. 0)( , 094631. 0179. 2)12( , 1411025. 0Setn)10253.0 , 08673.0(第四節 回歸模型的統計檢驗 一、擬合優度檢驗 如果模型適當，回歸直線與樣本的擬合程度應較好，擬合優度檢驗就是對擬合程度的一種檢驗。1 . 平方和分解公式 總平方和 = 回歸平方和 + 殘差平方和 （TSS） （ESS） （RSS）222222222)()( )( )(2)( )()()(iiiiiiiiiiiiiieyyyyeyyyyeeyyyyyyyy 2. 可決系數 顯然，回歸平方和占總平方和的比例越大，回歸直線與樣本的擬合度越好，可用以下

19、系數（可決系數）度量擬合度 可決系數取值落在0 1，越接近1，樣本與回歸直線擬合越好；越接近0，樣本與回歸直線擬合越差。 參數估計后，Eviews給出可決系數的值（R-squared）。例4中，這個值為0.9827，樣本與模型的擬合程度較好。 TSSRSSTSSESSR123. 可決系數與相關系數的關系 考慮一元回歸模型，相關系數是x與y線性相關程度的度量，相關系數越強， x與y就越接近于線性相依關系，線性回歸模型與樣本的擬合程度就越好。22222221222)()()( )()()()()(ryyxxyyxxyyxxTSSESSRyyxxyyxxriiiiiiiiii4.修正的可決系數 在模

20、型中增加解釋變量數一般會提高可決系數，在多元回歸模型中，為消除因增加不必要的解釋變量對可決系數的影響，通采用修正后的可決系數來檢驗回歸直線與樣本的擬合程度。 參數估計后，Eviews給出修正的可決系數的值（Adjusted R-squared）。例2中，可決系數與修正的可決系數的值分別為0.996085、0995181。 修正的可決系數總是小于可決系數。11)1(122knnRR二、回歸方程的顯著性檢驗 1. 回歸模型的F檢驗 在多元回歸模型中，除對回歸系數作顯著性檢驗外，還需要對回歸方程本身進行顯著性檢驗，即對下面原假設進行檢驗，不能通過此項F檢驗的模型是無意義的。 此項檢驗的檢驗統計量為

21、因此可對原假設進行F檢驗。 參數估計后，Eviews給出對模型的F檢驗統計量值，以及對應的相伴概率。 0 0 1210不全為ikHH:) 1 , () 1/(/knkFknRSSkESSF2 . F統計量、可決系數、修正可決系數的關系 kFknnRRRkknFknRSSkESSFTSSESSRRSSESSTSS11111)1/(/,2222 系數與模型的統計檢驗 對一元回歸模型，需進行系數的顯著性檢驗、模 型的擬合優度檢驗，這些檢驗都能通過的模型是適當 模型。 對多元回歸模型，需要進行系數的顯著性檢驗、 模型的修正的擬合優度檢驗、模型的F檢驗，這些檢 驗都能通過的模型是適當的，若某些系數的顯著

22、性檢 驗不能通過，模型需要調整；若F檢驗不能通過，模 型沒有意義。例：對例2模型的調整 在例2的回歸結果中，模型的F檢驗可以通過、修正的擬合優度較高，但某些系數的顯著性檢驗通不過，說明模型整體有價值，但需要調整，通常做法是首先剔除最不顯著的變量，建立模型： 參數估計與統計檢驗的結果附后，調整后的模型的系數均能通過顯著性檢驗、模型的F檢驗和擬合優度檢驗較好。 于是我國國有獨立核算企業的生產函數為 iiiiuKLy210KLy8280.02195.19 .2388第五節 回歸預測 回歸模型的主要應用之一是預測，即利用解釋變 量的預期值對應變量的取值作預測。預測的前提條件 是經濟結構在樣本期與預測期

23、無多大變化，回歸模型 描述的解釋變量與應變量的關系(經濟結構)在預測期依 然成立。 回歸預測包括點預測與區間預測，前者用一個值、 后者用一個區間(置信區間)對應變量作預測。一、點預測 1 . (條件)平均值的點預測 給定解釋變量的值的條件下，對應變量的平均取值進行預測。樣本回歸函數是總體回歸函數 的估計，給定解釋變量取值后，平均值的點預測為 2. 個別值的點預測 給定解釋變量值的條件下，對應變量的取值進行預測。由于 而對殘差的預測為0，因此對個別值的預測為 xxyE10)|(FFxxyE10)|(exyFF10FFxy10二、區間預測 1. 平均值的置信區間 ），（置信區間為）（2/2/2_2

24、2221010 )2()()(1)()()(1)()( , aFaFFFiFFFiFFFFFFtytyntyEyxxxxnyEytxxxxnyVarxyExy2.個別值的置信區間 ），（置信區間為）（2/2/2_22221010 )2()()(11)()()(11)()( , aFaFFFiFFFiFFFFFFtytyntyEyxxxxnyEytxxxxnyVarxyEuxy3. 平均值估計與個別值估計的精度比較 由于平均值估計量的標準差 小于個別值估計量的標準差 ,平均值估計的精度大于個別值估計的精度。 同樣在區間估計中，在相同的置信水平下，平均值的置信區間長度要小于個別值的置信區間長度。

25、例3： 研究某省城鎮居民消費支出與可支配收入之間的關系。 由經濟理論可知，收入是影響居民消費支出的主要因素， 消費支出y隨收入x的增加而增加，但支出增加的幅度小于收入 增加的幅度。若忽略其他因素對居民消費支出的影響，可建立 線性回歸模型 該省城鎮居民19781998年的數據由sjk23給出，試估計模型參 數，并對模型進行經濟意義與統計檢驗。 如果預測1999年該省城鎮居民的可支配收入為5500元，試估計1999年該省城鎮居民消費支出的平均值的點估計與置信區間（置信水平為0.05)。iiiuxy10回歸分析與檢驗： 輸入命令：range 1978 1998， ls y c x，回歸分析結果見下頁

26、。 模型可以通過經濟意義檢驗、統計檢驗，模型擬合程度較高。 平均值的點預測： 輸入命令：expand 1978 1999，forecast 1999 1999， 得到平均值的點估計為4680。平均值的置信區間： 在x的數據框中 view / Descriptive stats / Histogram and stats現在： ），置信區間為：（，4722 463807.20 41.35 , 64.13911482)( ,39.50859384)1()(093.2)19( , 669.1594 , 19.1770222_025.0 xxnxxtxFxix第六節 非線性回歸模型 前面討論的線性回歸模型的形式為：模型中解釋變量與應變量的關系是線性關系，應變量與模型參數的關系也是線性關系，但在實際中，許多經濟變量之間的關系為非線性關系，如 C-D生產函數的形式為： 本節討論當經濟變量之間為非線性關系時，如何通過變量的適當變化來構造線性回歸模型。tttKALQ一、可線性化模型 在對經濟變量間的關系建立計量經濟模型時，有些模型從本身看解釋變量與應變量之