1、第二章 簡單線性回歸 模型的建立及其假定條件 普通最小二乘估計(OLS) 參數估計的顯著性檢驗 回歸方程檢驗 普通最小二乘估計的特性 預測 模型應用及有關軟件操作 Monte Carlo 模擬模型的建立及其假定條件回歸的由來回歸(Regression)一詞來源于19世紀英國生物學家葛爾登(Francis Galton, 1822-1911)對人體遺傳特征的實驗研究。他根據實驗數據發現，雙親高的孩子個子高，雙親矮的孩子個子矮，然而高和矮卻不是無限制的，總是越來越趨向于人的平均身高，他稱這種現象為“回歸”。 現在統計學上回歸指的是變量之間的依存關系。兩變量線性模型 由于所有點不可能恰在直線上，因此

2、上式需添加一隨機擾動，誤差或隨機項 ，這樣上式成為： 反映因變量和自變量之間的近似線性關系因變量或被解釋變量參數自變量或解釋變量簡單線性回歸模型的重要假設1) X與Y之間的關系是線性的；2) X是非隨機的變量，它的值是確定的；3) 誤差項的期望為0；4) 對于所有觀測值，誤差項具有相同的方差；5) 隨機誤差之間相互獨立；6) 誤差項服從正態分布。例： 某農場1971年至1980年每英畝的谷物產量(bushel)和化肥施用量(pound)之間的數據見表，求出產量與化肥施用量之間的關系。 data21.xlsYear19711972197319741975197619771978197919804

3、04446485258606874806101214161822242632 注：蒲式耳(谷物,水果等容量單位,美=35.238升,英=36.368升)1 pound (磅)=0.4536 kilogram (千克)1 acre (英畝)=0.405 hectare (公頃)谷物產量和化肥施用量之間散點圖利用Eviews所作普通最小二乘估計(OLS)普通最小二乘法(ordinary least-squares method) OLS用來擬合XY觀測值樣本的一條最好的直線，涉及到求如下的最小值： 其中 表示實際觀測值， 表示相應的擬合值，稱為殘差。參數估計令得從而正規方程參數估計的另一種表達式令

4、則誤差和殘差的區別誤差殘差谷物產量和所用化肥量的計算谷物產量和所用化肥量的計算(續)當說明？參數的顯著性檢驗參數的顯著性檢驗參數估計的方差由于 未知，因此常用 的無偏估計殘差方差 來替代2表示估計參數的個數其算術根稱回歸標準誤參數估計的標準誤谷物-化肥一例的參數顯著性檢驗谷物-化肥一例的參數顯著性檢驗(續)因此由于自由度為8顯著性水平為0.05的t分布的臨界值為2.306，因此我們得到估計的參數在5%的顯著性上是統計顯著的。P值單側：P值=雙側：P值=若P值小于給定的顯著性水平，則拒絕原假設?；貧w方程檢驗平方和分解SST總平方和(Total Sum of Squares)SSE解釋平方和(Ex

5、plained Sum of Squares)SSR殘差平方和(Residual Sum of Squares)兩種不同的解釋Jeffrey M. Wooldridge等的解釋。SST表示Y的總體變異。它分為兩部分，一部分SSE，這部分可以由模型解釋，另一部分SSR，這是模型解釋不了的部分。另一種解釋。William H. Greene和Robert S. Pindyck等SSE(Error Sum of Squares)殘差平方和SSR(Regression Sum of Squares)回歸平方和 注意千萬不要混淆。一般軟件都采用前一種說法，有的稱解釋平方和為模型平方和，如STATA等。決

6、定系數取值范圍01前例中決定系數計算回歸方程檢驗檢驗統計量原假設成立時服從自由度為1，n-2的F分布給定顯著性水平，查表得臨界值若，則拒絕原假設相關系數范圍：-11前例中相關系數計算樣本相關系數的檢驗提出假設構造統計量給定顯著性水平，得出相應的臨界值決策若，則拒絕原假設正態性檢驗JB統計量偏度峰度n是樣本容量，S為樣本標準差正態性假定下，有：殘差的正態性檢驗若模型正確，則殘差應服從正態分布通過JB統計量或QQ圖(qqnorm)進行驗證如果真是正態分布的一個樣本，那么其分位數應該與正態分布的分位數接近。OLS估計的特性OLS估計的特性OLS估計量是最優線性無偏估計量(BLUE)該特性也稱為高斯-

7、馬爾科夫定理Best, Linear, Unbiased, Estimator 一致性是指隨著樣本容量趨于無窮，估計量值接近真實值。OLS估計量具有無偏性、有效性和一致性線性都是關于Y的線性函數無偏性注：因此有效性估計量的方差協方差有效性滿足高斯馬爾柯夫條件時，OLS估計是最優線性無偏的(Best Linear Unbiased Estimator, BLUE)高斯-馬爾柯夫條件有效性預測預測建立模型的主要目的之一是為了預測。1)、點預測平均值個別值為個別值預測誤差預測(續)2)、預測的置信區間均值預測的置信區間個別值預測的置信區間注：離開 越遠的估計(或預測)，其結果也就越不可靠。置信區間、

8、預測區間、回歸方程YX預測上限置信上限預測下限置信下限預測評價均方誤的平方根(RMSE，root mean squared error)平均絕對值誤差(MAE,mean absolute error)西爾不相等系數(Theils inequality coefficient)是預測期數值在0，1之間，等于1則說明模型預測能力最差模型應用及相關軟件操作案例分析估計保健支出和收入之間的關系。數據data22.xlsEviews操作簡介界面數據輸入(鍵盤輸入)File New WorkfileObject New objectFile Open Foreign Data as Workfile.出現

9、下面的界面，找到相應數據文件后點擊打開。數據輸入(外部文件)數據輸入(結果)作散點圖Quick Graph Scatter出現下圖界面，中間填入變量income exphlth即可，注意順序！作散點圖(續)顯示兩者有很強的線性關系回歸分析Quick Estimate Equation.再分別如圖填入因變量、常數項和自變量，點確定。exphlth=c(1)+c(2)*income回歸分析(續)系數標準誤t統計量P值F統計量結果解釋Dependent Variable: 因變量Method：估計方法 Date: 09/22/06 Time: 10:29結果輸出的日期和時間Sample：樣本區間In

10、cluded observations：觀測值個數Variable：自變量，C是常數項Coefficient：系數Std.Error：系數估計的標準誤t-Statistic：t統計量值 Prob：P值R-squared: 判定系數Adjusted R-squared: 調整后的判定系數解釋(續)Mean dependent var：因變量均值S.D. dependent var：因變量標準差S.E. of regression：回歸標準誤Sum squared resid：殘差平方和Log likelihood：對數似然Akaike info criterion：赤池信息準則Schwarz c

11、riterion：施瓦池信息準則Durbin-Watson stat：杜賓統計量F-statistic：F統計量Prob(F-statistic)：F統計量的P值n是調整后的樣本容量，k是參數個數，簡單回歸時為2殘差正態性檢驗View Descriptive Statistics Histogram and Stats打開殘差序列對象窗口EViews命令操作create u 51read D:Econometrics15zdatadata22.xls exphlth incomescat income exphlthequation eq1.ls exphlth c incomeeq1.res

12、ultshist resid更為簡潔、便利！創建一空工作表讀數據觀察散點圖使用ols方法估計模型查看估計結果殘差的正態性檢驗或這樣查看有關結果eq1.R2 eq1.coefs(i)eq1.RBAR2 eq1.stderrs(i)eq1.dw eq1.tstats(i)eq1.aic eq1.cov(i,j)eq1.F 注：Office07以后的后綴為xlsxgretl*打開命令輸入窗口File-Script files-New script-gretl scriptopen D:Econometrics15zdatadata22.xlsmodel1 - ols exphlth const in

13、comemodel1.show點擊RunOLS estimates using the 51 observations 1-51Dependent variable: exphlth VARIABLE COEFFICIENT STDERROR T STAT P-VALUE const 0.176496 0.467509 0.378 0.70741 income 0.141652 0.00287491 49.272 0.00001 * Mean of dependent variable = 15.0689 Standard deviation of dep. var. = 17.9266 Su

14、m of squared residuals = 317.899 Standard error of residuals = 2.5471 Unadjusted R-squared = 0.980216 Adjusted R-squared = 0.979812 Degrees of freedom = 49 Log-likelihood = -119.028 Akaike information criterion (AIC) = 242.057 Schwarz Bayesian criterion (BIC) = 245.921 Hannan-Quinn criterion (HQC) =

15、 243.533結果附：Anscombes quartet數據：data23.txt (1) (2) (3) (4)X1 Y1 X2 Y2 X3 Y3 X4 Y410.0 8.04 10.0 9.14 10.0 7.46 8.0 6.58 8.0 6.95 8.0 8.14 8.0 6.77 8.0 5.76 13.0 7.58 13.0 8.74 13.0 12.74 8.0 7.719.0 8.81 9.0 8.77 9.0 7.11 8.0 8.8411.0 8.33 11.0 9.26 11.0 7.81 8.0 8.4714.0 9.96 14.0 8.10 14.0 8.84 8.

16、0 7.046.0 7.24 6.0 6.13 6.0 6.08 8.0 5.254.0 4.26 4.0 3.10 4.0 5.39 19.0 12.5012.0 10.84 12.0 9.13 12.0 8.15 8.0 5.567.0 4.82 7.0 7.26 7.0 6.42 8.0 7.915.0 5.68 5.0 4.74 5.0 5.73 8.0 6.89回歸結果四組變量回歸結果都是：(2.67)(4.24)回歸標準誤 1.24create u 11read D:Econometrics15zdatadata23.txt X1 Y1 X2 Y2 X3 Y3 X4 Y4equat

17、ion eq1.ls y1 c x1equation eq2.ls y2 c x2equation eq3.ls y3 c x3equation eq4.ls y4 c x4eq1.resultseq2.resultseq3.resultseq4.resultsAnscombes quartet散點圖Monte Carlo 模擬回歸系數的Monte Carlo模擬(EViews)create mc u 10matrix(2000,2) mvector(10) vv.fill 9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8mtos(v,x)rndsee

18、d 12345for !k=1 to 2000series y=2+5*x+5*nrndequation eq1.ls y c xm(!k,1)=eq1.coefs(1)m(!k,2)=eq1.coefs(2)nextshow mexpand 1 2000smpl 1 2000mtos(m,gr)freeze ser02.qqplotfreeze ser02.histgenr mb1=mean(ser02)genr sdb1=sqrt(var(ser02)genr sigb1=sqrt(25/sum(x-mean(x)2)show mb1show sdb1show sigb1回歸系數的Mont

19、e Carlo模擬(R)x-c(9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8)b1-numeric(2000)set.seed(20)for(i in 1:2000) y-2+5*x+rnorm(10,0,5) b1i-coef(lm(yx)2hist(b1)mean(b1);sd(b1)sqrt(25/sum(x-mean(x)2)#require(tseries)jarque.bera.test(b1)#正態性檢驗回歸系數的Monte Carlo模擬(Gretl)nulldata 10set seed 2012loop 2000 -progre

20、ssive -quiet series x=9.7,10.1,10.0,10.4,10.1,10.2,9.7,10.4,9.6,9.8genr y1 = 2 + 5*x + 5*normal()ols y1 const xgenr b2 = $coeff(x)print b2store d:coeff.gdt b2endloopopen d:coeff.gdtnormtest b2 -jbera教材案例分析程序create P38 a 1980 1998read D:Econometrics15zdataP38.xls 2equation eq1.ls y c xshow eq1scalar n=eq1.regobsscalar k=eq1.ncoefpagestruct(end=last+2) *expand 1980 2000 x(n+1)=1763x(n+2