1、精選課件經濟計量學的幾種檢驗精選課件多重共線性n .Multicollinearity arises because we have put in too many variables that measure the same thing.nAs the degree of multicollinearity increases, the regression model estimates of the coefficients become unstable and the standard errors for the coefficients can get wildly infla

2、ted. nMeasure :vif, tol=1/vif,condition index;etc.kXXrank )(精選課件多重共線性的后果n1.存在完全多重共線性時,參數(shù)的估計值無法確定,而且估計值的方差變?yōu)闊o窮大.n2.存在不完全多重共線性時,可以估計參數(shù)值,但是數(shù)值不穩(wěn)定,而且方差很大.n3.多重共線性會降低預測的精度,甚至失效,增大零假設接受的可能性(t值變小).精選課件多重共線性的檢測方法(1)樣本可決系數(shù)法n如果樣本的可決系數(shù)R-square 比較大，且回歸系數(shù)幾乎沒有統(tǒng)計上的顯著性，則可認為存在多重共線性。nTheil 提出了一個指標：多重共線性效應系數(shù)，存在多重共線性。接近

3、于線性；，則認為不存在多重共若該系數(shù)接近于數(shù)后的回歸方程的可決系去掉指標10;);( 22212jjjpjxRRRRTheil精選課件Theil test resultsnSas 結果：n結果表明有多重共線性。19376. 0tcoefficien effects l9828. 0;9473. 0;9913. 0;9919. 02322212theiRRRR精選課件多重共線性檢測方法（2）輔助回歸檢驗法n若存在多重共線性，則至少有一個解釋變量可精確或近似地表示為其余皆是變量的線性組合。n相應的檢驗統(tǒng)計量為：因；是造成多重共線性的原則可認為性；若顯著則存在多重共線的可決系數(shù)量的回歸個自變量對其余

4、解釋變?yōu)榈趇iiiixiRpTpFpTRpRF;), 1()/()1 () 1/(222精選課件輔助回歸檢驗結果nSas 結果：nKlein經驗法則：若存在一個i,使得nR(i)-squareR-square,則認為多重共線性嚴重；本例中x1,x3有多重共線性。;9946. 0);01. 0(44.740;0186. 0);9278. 0(0186. 0;9946. 0);01. 0(99.739233212211RprobFRprobFRprobF精選課件多重共線性檢驗方法（3）樣本相關系數(shù)檢驗法否則不存在；，則認為有多重共線性如果拒絕檢驗統(tǒng)計量：共線性嚴重。進一步，共線性；較大，則認為存在

5、多重如果之間的相關系數(shù)和兩個變量0202);1(5 . 0();log(det()52(611(; 1)det(; 1)det(:,HppFGRpTFGRHRHRrrrxxaijijijji精選課件FG test resultsnfg=20.488013401 p=0.0001344625；n拒絕零假設，認為存在多重共線性。n具體那些變量之間存在多重共線性，除了上面提到的輔助回歸的方法外，還有以下提到的條件數(shù)檢驗和方差膨脹因子法。精選課件多重共線性檢驗方法：（4）特征值分析法所用的檢驗統(tǒng)計指標n ; 為第k各自變量和其余自變量回歸的可決系數(shù). VIF10,有多重共線性;TOL=1/VIF;n條

6、件指數(shù): n條件數(shù)條件數(shù): ;C20,共線性嚴重.12)1 (kkRVIF2kRminiiC minmaxC精選課件多重共線性的檢驗和補救n例一:進口總額和三個自變量之間回歸;nSas 結果如下:Pearson Correlation Coefficients, N = 11 Prob |r| under H0: Rho=0n x1 x2 x3nx1 1.00000 0.02585 0.997260.99726nGDP 0.9399 .0001.0001nx2 0.02585 1.00000 0.03567n存蓄量 0.9399 0.9171nx3 0.997260.99726 0.03567

7、 1.00000n總消費 .0001 |t| InflationnIntercept 1 -10.12799 1.21216 -8.36 .0001 0nx1 1 -0.05140 0.07028 -0.73 0.4883 185.99747nx2 1 0.58695 0.09462 6.20 0.0004 1.01891nx3 1 0.28685 0.10221 2.81 0.0263 186.11002n發(fā)現(xiàn)x1的系數(shù)為負,和現(xiàn)實經濟意義不符,出現(xiàn)原因就是x1 和x3之間的線性相關.精選課件補救措施n增加樣本;嶺回歸或主分量回歸;n至少去掉一個具有多重共線性的變量;對具有多重共線性的變量進

8、行變換.n對所有變量做滯后差分變換(一般是一階差分),問題是損失觀測值,可能有自相關.n采用人均形式的變量（例如在生產函數(shù)估計中）n在缺乏有效信息時,對系數(shù)關系進行限制,變?yōu)橛屑s束回歸(Klein,Goldberger,1955),可以降低樣本方差和估計系數(shù)的標準差,但不一定是無偏的(除非這種限制是正確的).n對具有多重共線性的變量,設法找出其因果關系,并建立模型和原方程構成聯(lián)立方程組.精選課件嶺回歸n嶺回歸估計: nK=0, b(k)=b即為OLSE;nK的選取: n即使b(k)的均方誤差比b的均方誤差小.YXkIXXkb1)()()()(minkbkbk精選課件嶺跡圖精選課件嶺回歸結果Ob

9、s _MODEL_ _TYPE_ _DEPVAR_ _RIDGE_k _PCOMIT_ _RMSE_ Intercept x1 x2 x3 y 1 MODEL1 PARMS y 0.48887 -10.1280 -0.051 0.58695 0.287 -1 2 MODEL1 RIDGEVIF y 0.00 方差膨脹因子方差膨脹因子 185.997 1.01891 186.110 1 3 MODEL1 RIDGE y 0.00 0.48887 -10.1280 -0.051 0.58695 0.287 1 4 MODEL1 RIDGEVIF y 0.01 8.599 0.98192 8.604

10、 -1 5 MODEL1 RIDGE y 0.01 0.55323 -9.1805 0.046 0.59886 0.144 1 6 MODEL1 RIDGEVIF y 0.02 2.858 0.96219 2.859 -1 7 MODEL1 RIDGE y 0.02 0.57016 -8.9277 0.057 0.59542 0.127 -1 8 MODEL1 RIDGEVIF y 0.03 1.502 0.94345 1.502 -1 9 MODEL1 RIDGE y 0.03 0.57959 -8.7337 0.061 0.59080 0.120 -1 10 MODEL1 RIDGEVIF

11、 y 0.04 0.979 0.92532 0.979 -1 11 MODEL1 RIDGE y 0.04 0.58745 -8.5583 0.064 0.58591 0.116 -1 精選課件主分量回歸n主分量回歸是將具有多重相關的變量集綜合得出少數(shù)幾個互不相關的主分量.n兩步:(1)找出自變量集的主分量,建立y與互不相關的前幾個主分量的回歸式.(2)將回歸式還原為原自變量結果.n詳見,方開泰;精選課件主分量回歸結果Obs _MODEL_ _TYPE_ _DEPVAR_ _PCOMIT_ _RMSE_ Intercept x1 x2 x3 y 1 MODEL1 PARMS y 0.48887

12、 -10.1280 -0.05140 0.58695 0.28685 1 2 MODEL1 IPCVIF y 1 0.25083 1.00085 0.25038 1 3 MODEL1 IPC y 1 0.55001 -9.1301 0.07278 0.60922 0.10626 14 MODEL1 IPCVIF y 2 0.24956 0.00095 0.24971 -15 MODEL1 IPC y 2 1.05206 -7.7458 0.07381 0.08269 0.10735 -1精選課件主分量回歸結果n由輸出結果看到在刪去第三個主分量（pcomit=1)后的主分量回歸方程：nY=-9.

13、1301+0.07278x1+0.60922x2+0.10626x3;n該方程的系數(shù)都有意義，且回歸系數(shù)的方差膨脹因子均小于1.1；主分量回歸方程的均方根誤差（_RMSE=0.55) 比普通OLS方程的均方根誤差（_RMSE=0.48887) 有所增大但不多。精選課件Sas 程序ndata ex01;ninput x1 x2 x3 y;nlabel x1=國內生產總值;nlabel x2=存儲量;nlabel x3=消費量;nlabel y=進口總額;ncards;n149.3 4.2 108.1 15.9n161.2 4.1 114.8 16.4n171.5 3.1 123.2 19.0n1

14、75.5 3.1 126.9 19.1n180.8 1.1 132.1 18.8n190.7 2.2 137.7 20.4n202.1 2.1 146 22.7n212.4 5.6 154.1 26.5n226.1 5.0 162.3 28.1n231.9 5.1 164.3 27.6 n239.0 0.7 167.6 26.3n;nrun;nproc corr data=ex01;nvar x1-x3;nrun;n*嶺回歸*;nproc reg data=ex01 outest=ex012 graphics outvif;nmodel y=x1-x3/ridge=0.0 to 0.1 by

15、0.01;nplot/ridgeplot;nrun;nproc print data=ex012;run;n*主分量回歸法*;nproc reg data=ex01 outest=ex103;nmodel y=x1-x3/pcomit=1,2 outvif;*pcomit表示刪去最后面的1或2個主分量,用前面m-1或 m-2各主分量進行回歸*;nrun;nproc print data=ex103;run;精選課件Sas 程序n/*theil test*/;nproc reg data=ex01;nequation3:model y=x1 x2;nequation2:model y=x1 x3

16、;nequation1:model y=x2 x3;nrun;/*r-.9473;r3s=0.9828*/;ndata theil;nrsq=0.9919;r1s=0.9913;r2s=0.9473;r3s=0.9828;ntheil=rsq-(3*rsq-(r1s+r2s+r3s);put theil=;nrun;n/*輔助回歸檢驗法*/;nproc reg data=ex01;nequation3:model x3=x1 x2;nequation2:model x2=x1 x3;nequation1:model x1=x2 x3;nrun;n/*FG test*/;nproc corr d

17、ata=ex01 outp=corr nosimple;var x1-x3;run;nproc print data=corr;run;ntitle 計算相關矩陣的行列式;nproc iml;nR=1.000 0.026 0.997,0.026 1 0.036,0.9152 0.6306 1;nd=det(R);nprint d;nrun;/*d=0.081371*/;ntitle 計算檢驗統(tǒng)計量及其p值;ndata fg;nn=11;p=3;d=0.081371;nfg=-(n-1-1/6*(2*p+5)*log(d);df=p(p-1)/2;np=1-probchi(fg,df);nput

18、 fg= p=;nrun;/*fg=20.488013401 p=0.0001344625,拒絕零假設*/;精選課件異方差的檢驗和補救n nOLSE unbiased,inefficient;t, F test invalid; forecast accuracy decreased.nIf the model is well-fitted, there should be no pattern to the residuals plotted against the fitted values. If the variance of the residuals is non-constant

19、, then the residual variance is said to be heteroscedastic. matrix; positive diagonal a ,)(2isVar精選課件異方差的檢測nThere are graphical and non-graphical methods for detecting heteroscedasticity. A commonly used graphical method is to plot the residuals versus fitted (predicted) values. nExample :grade:educ

20、ated years;potexp:working years;exp2=potexp2;union:dummy variable.unionpotgradewage432102expexp)log(精選課件收入方程回歸的結果n Dependent Variable: LNWAGE n Analysis of Variancen Sum of Meann Source DF Squares Square F Value Pr Fn Model 4 12.42236 3.10559 14.06 |t|n Intercept 1 0.59511 0.28349 2.10 0.0384n GRADE

21、 1 0.08354 0.02009 4.16 Fn Model 12 1.18881 0.09907 0.88 0.5731n Error 87 9.83078 0.11300nCorrected Total 99 11.01958n Root MSE 0.33615 R-Square 0.1079n Dependent Mean 0.20989 Adj R-Sq -0.0152n Coeff Var 160.15281n Parameter Standardn Variable DF Estimate Error t Value Pr |t|n Intercept 1 -0.07767 0

22、.98580 -0.08 0.9374n GRADE 1 -0.01220 0.12502 -0.10 0.9225n POTEXP 1 0.07784 0.07188 1.08 0.2819n EXP2 1 -0.00399 0.00409 -0.97 0.3325n UNION 1 0.64879 0.86160 0.75 0.4535n grade2 1 0.00220 0.00425 0.52 0.6065n exp4 1 -3.34378E-7 0.00000151 -0.22 0.8256n exp3 1 0.00006170 0.00014192 0.43 0.6648n gx2

23、 1 0.00011683 0.00011102 1.05 0.2955n gp 1 -0.00375 0.00494 -0.76 0.4498n gu 1 -0.05137 0.04430 -1.16 0.2494n pu 1 0.00193 0.06061 0.03 0.9746n eu 1 -0.00022185 0.00126 -0.18 0.8605n殘差項平方對所有一階,二階及交叉項回歸.n1.由左邊的結果可知:n故同方差的假設未被拒絕.n2.Proc reg data=aa;nModel y=x/spec;nRun;n可得到相同的結果。03.21)12(79.10205. 02n

24、R精選課件布羅施-帕甘/戈弗雷檢驗懷特檢驗的特例（1）OLS殘差額et和一個估計的干擾誤差 n（2）用OLS將 對選中的解釋變量進行回歸，并計算解釋平方和(ESS);n(3)在零假設下，有 n(4)一個更簡單且漸進等價的做法是直接利用殘差平方對選中的解釋變量進行回歸.在零假設(同方差)下,221ten22te)1(212kasyESS)1(22kasynR精選課件 Dependent Variable: rsqn Sum of MeanSource DF Squares Square F Value PrFModel 12 1.18881 0.09907 0.88 0.5731Error 87

25、 9.83078 0.11300Corrected Total 99 11.01958 Root MSE 0.33615 R-Square 0.1079Dependent MeanDependent Mean 0.209890.20989 Adj R-Sq -0.0152BPG test results(1)2099.0122ten精選課件BPG test results(2)nDependent Variable: rsqadjustnAnalysis of Variancen Sum of Meann Source DF Squares Square F Value Pr FnModel

26、3 10.7041510.70415 3.56805 1.43 0.2386nError 96 239.41116 2.49387 Corrected Total 99 250.11531 Root MSE 1.57920 R-Square 0.0428 Dependent Mean 0.99997 Adj R-Sq 0.0129nCoeff Var 157.92443nESS=10.70415ESS=10.70415精選課件BPG test results(3)n*ESS=5.35 FnModel 3 0.47160 0.15720 1.43 0.2386nError 96 10.54798

27、10.54798 0.10987nRoot MSE 0.33147 R-Square 0.0428R-Square 0.0428815.7)3(205.035.52099.0*9572.0*15480.10*0428.012122RSSRR精選課件戈德菲爾德-匡特(Goldfeld-Quandt)檢驗n按potexp的值將數(shù)據(jù)從小到大進行排列.n取前后個35個觀測值分別回歸.c=30;n回歸的主要結果:nRSS1=6.39573;RSS2=7.2517;RSS2/RSS1=1.13; 而 ;該比值不顯著,不能拒絕同方差的原假設;n去掉的中間觀測值的個數(shù)要適中,否則會降低功效,一般取觀測值個數(shù)的

28、1/3.84. 1)30,30(05. 0F精選課件補救措施-已知方差的形式n1.廣義最小二乘法(GLS);n請參考講義中的例子;n2.模型變換法,適用于函數(shù)型異方差;已知方差的函數(shù)形式;n3.加權最小二乘法(WLS);實質上是一種模型變換法;具體參見講義中的例子;n 采用面板數(shù)據(jù),增加信息量.精選課件未知方差的形式nFurnival(1961)提出了一種擬合指數(shù)進行不斷的修正,最后找出最佳的權重(使得該指數(shù)值最小).精選課件處理盲點-robust regressionn1.迭代加權最小二乘法(IRLS),Neter提出了2中加權函數(shù), Huber and Bisquare,但是不易操作.SA

29、S v8中常使用Proc NLIN迭代.n2.非參數(shù)回歸.Proc Loess.n3.SAS v9.0中有一個過程Proc robustregnStata 中有一個比較好的命令:rreg直接進行魯棒回歸(robust),采用迭代過程.精選課件序列相關性(serial correlation)n nOLSE unbiased,but inefficient and its standard error estimators are invalid;nBLUE of the Gauss-Markov Theorem no longer holds. nThe variance formulas f

30、or the least squares estimators are incorrect.nAR,MA,or ARMA forms of serial correlation.nTake the AR(1) for instance:stst, 0)(精選課件Dw 檢驗需要注意的地方n假定了殘差是服從正態(tài)分布,而且是同方差;自變量是外生的,如果包含了內生滯后變量,就需要用修正的dh檢驗(proc autoreg).n只適用于一階自相關,對高階或非線性自相關不適用.n樣本容量至少為15.精選課件自相關檢驗的標準n德賓和沃森根據(jù)顯著水平,n,k,確定了二個臨界值du(上界),dl(下界);然后進

31、行比較;n(1)ddu,不拒絕零假設;n(3)dlddu,無結論;n直觀: ;d2,負自相關;d=2,無自相關;)1(2d精選課件Eg:Ice cream demand(Hildreth,Lu(1960)nCons:consumption of ice cream per head(pints);nIncome:average family income per week($);nPrice :price of ice cream(per pint);nTemp: average temperature(in Fahrenheit);nData:30 four-weekly obs from

32、March 1951 to 11 July 1953;精選課件殘差的散點圖精選課件回歸結果n Parameter Estimatesn Parameter StandardnVariable DF Estimate Error t Value Pr |t|nIntercept 1 0.19732 0.27022 0.73 0.4718nprice 1 -1.04441 0.83436 -1.25 0.2218nincome 1 0.00331 0.00117 2.82 0.0090ntemp 1 0.00346 0.00044555 7.76 .0001n Durbin-Watson D 1.

33、021Durbin-Watson D 1.021n Number of Observations 30n 1st Order Autocorrelation 0.330精選課件1.DW testn查表可得:在0.05的顯著水平上,dl=1.21(N=30,k=3);du=1.65;n直接在回歸的語句中加上一個dw選項;nDw=1.021 ;n因此拒絕零假設,認為有自相關;且顯著一階正相關;n Parameter Estimatesn Parameter StandardnVariable DF Estimate Error t Value Pr |t|nresid 1 0.384540.384

34、54 0.17029 2.26 0.03190.03198 . 3) 1 (205. 02R精選課件補救方法n1.已知rho時,采用廣義差分變換.n2.未知rho時,先求相關系數(shù),然后進行廣義差分.n求相關系數(shù)的方法有:n(1)Cochrane-Orcutt迭代方法;n(2)Hildreth-Lu.n(3)Durbin 2 step.精選課件對嚴格外生回歸元的序列相關的校正AR(1)模型-可行的廣義最小二乘法(FGLS)n采用估計的相關系數(shù)值n回歸方程:nFGLS步驟:n1. .yt對做xt1,xt2,xtk回歸,得到殘差t. n2. t = t-1+et,求出相關系數(shù)的估計值n3.對上面的方

35、程進行回歸.常見的標準誤,t統(tǒng)計量和F統(tǒng)計量都是漸進正確的.采用相關系數(shù)估計值的代價是FGLS有限樣本性質較差,可能不是無偏的(數(shù)據(jù)弱相關時),但仍然是一致的.n盡管FGLS不是無偏的,不是BLUE,但是當序列相關的AR(1)模型成立時,比OLS更漸進有效2/121001100)1 (; 2),1 (.xtxxxxyttkktt精選課件區(qū)分科克倫-奧克特(Cochrane-Orcutt)和普萊斯-溫斯登(Paris-Winsten)估計nCo 估計省略了第一次的觀測值,使用的是t = t-1+et 滯后項系數(shù)估計值,而Pw估計方法使用了第一次的觀測值,見上面的回歸式.n大體來說是否使用第一次的

36、估計值并不會帶來很大的差別,但是時間序列的樣本很小,實際中還是有很大差別.n注意下面的估計結果中沒有還原到原方程,還原時要寫正確.n高階序列相關的校正,類似于一階的修正,廣義的差分方法.精選課件Sas 程序ndata ice;ninput cons income price temp time;ncards;.;nproc reg data=ice;nmodel cons=price income temp/dw;noutput out=ice1 p=consp r=resid;nrun;nsymbol1 i=none v=dot c=blue h=.5;nproc gplot data=ic

37、e1;nplot resid*time=1/vref=0;nrun;n/*BG test*/ndata tt1;nset ice1;nresid1=lag(resid);nrun;nproc reg data=tt1;nmodel resid=resid1/noint;nrun;/*rh0=0.40063,R-square=0.1541*/;ndata bgt;nbg=29*0.1541;nchisq=cinv(0.95,1);nif bgchisq then t=1;else t=0;nput t=;nrun;/*t=0*/;精選課件Sas 程序n高階的BG檢驗:n/*高階BG test p

38、=3*/;ndata tt2;nset ice1;nresid1=lag(resid);nresid2=lag(resid1);nresid3=lag(resid2);nrun;nproc reg data=tt2;nmodel resid=resid1 resid2 resid3/noint;nrun;/*R-square=0.1792*/;ndata bgt2;nbg=(29-3)*0.1792;nchisq=cinv(0.95,3);nif bgchisq then t=1;else t=0;nput t= chisq= bg=;nrun;/*t=0,無高階自相關*/;精選課件Sas 程

39、序n/*yule-walker estimates*/;nproc autoreg data=ice;nmodel cons=price income temp/nlag=1 method=yw ;nrun;n* COCHRANE-ORCUTT;nproc reg data=ice;nmodel cons=price income temp/dw;noutput out=tt p=chat r=res;nrun;nproc print data=tt;run;ndata tt; nset tt;nrelag=Lag(res);nrun;nproc print data=tt;run;nproc

40、 reg data=tt outest=b1;nmodel res=relag/noint;nrun;/*可算出rh0=0.40063*/;ndata pp;nset tt;nc1=lag(cons);nt1=lag(temp);ni1=lag(income);np1=lag(price);nrun;nproc print data=pp;run;ndata pp1;nset pp;nif _n_=1 then delete;nc2=cons-0.40063*c1;nt2=temp-0.40063*t1;ni2=income-0.40063*i1;np2=price-0.40063*p1;nr

41、un;nproc print data=pp1;run;nproc reg data=pp1;nMODEL c2=t2 i2 p2/dw;nrun;n/*dw=1.541.65,因此不拒絕平穩(wěn)性假設*/;精選課件Sas 程序n上頁的科克倫-奧科特迭代只用了1次;n對小樣本情況,迭代多次的仍然很難收斂,我做了三次迭代發(fā)現(xiàn)仍然不收斂;所以說多次迭代效果和一次的效果相差不大.從理論上來說兩者的漸進性一樣.n大樣本情況只需幾步就可收斂;n/*下面采用fgls進行估計校正*/;ndata fgls;nset tt1;nif _n_=1 then int=sqrt(1-0.40063*0.40063);e

42、lse int=1-0.40063;nif _n_=1 then cons1=cons*sqrt(1-0.40063*0.40063);else cons1=cons-0.40063*cons;nif _n_=1 then price1=price*sqrt(1-0.40063*0.40063);else price1=price-0.40063*price;nif _n_=1 then income1=income*sqrt(1-0.40063*0.40063);else income1=income-0.40063*income;nif _n_=1 then temp1=temp*sqrt

43、(1-0.40063*0.40063);else temp1=temp-0.40063*temp;nrun;nproc reg data=fgls;nmodel cons1=int price1 income1 temp1/noint;nrun;精選課件Sas 程序nproc autoreg data=ice;nmodel cons=price income temp/nlag=1 dwprob archtest;nrun;n估計方法缺省為yule-walker估計;又稱為兩步完全變換法;已知自回歸參數(shù)下的GLS估計;n其他方法:在model /method=ML;ULS;ITYW;n分別為極大似然估計,無條件最小二乘估計,以及迭代yule-walker估計;自回歸參數(shù)較大時ml方法uls(又稱NLS)方法較好.n詳見SAS/ETS中的autoreg過程.精選課件Yuler-walker esti