1、第一部分第一部分 線性回歸線性回歸模型模型Chp 3 雙變量模型：假設檢驗雙變量模型：假設檢驗主要內容主要內容n古典線性回歸模型的假定古典線性回歸模型的假定nOLS估計量及其性質估計量及其性質nOLS估計量的方差與標準誤估計量的方差與標準誤nOLS估計量的抽樣分布（概率分布）估計量的抽樣分布（概率分布）n假設檢驗假設檢驗n擬合優度擬合優度n正態性檢驗正態性檢驗n預測預測3.1 3.1 古典線性回歸模型古典線性回歸模型線性回歸模型的基本假設線性回歸模型的基本假設假設假設1. 回歸模型是參數線性的，但不一定是變量回歸模型是參數線性的，但不一定是變量線性；線性； Yi=B1+B2Xi+ui假設假設2

2、. 解釋變量解釋變量X與擾動誤差項與擾動誤差項u不相關。不相關。 Cov(X, u)=0 假設假設3. 給定給定Xi，擾動項的期望或均值為零，即：，擾動項的期望或均值為零，即：E(u|Xi)=0； PRF : E(Y|Xi)=B1+B2Xi擾動項擾動項ui的條件分布的條件分布 假設假設4. ui的方差為常數，即同方差假定：的方差為常數，即同方差假定： Var(ui)= 2 PRF : Yi=B1+B2Xi同方差同方差PRF : Yi=B1+B2Xi異方差異方差 假設假設5. 無自相關假定，即：無自相關假定，即： Cov(ui, uj)=0, i j由該假定可得，由該假定可得，Cov(Yi, Y

3、j)=0, i j ，即，即Y也不相也不相關。關。 假設假設6. 回歸模型是正確設定的，即模型不存在設回歸模型是正確設定的，即模型不存在設定誤差（錯誤）無自相關假定，即：定誤差（錯誤）無自相關假定，即： Cov(ui, uj)=0, i j由該假定可得，由該假定可得，Cov(Yi, Yj)=0, i j ，即，即Y也不相關。也不相關。 假設假設7. 隨機誤差項隨機誤差項ui具有零均值、同方差具有零均值、同方差( u2)的正態分布：的正態分布： ui N(0, u2)3.2 最小二乘估計量的方差與標準誤最小二乘估計量的方差與標準誤在估計的參數在估計的參數b0和和b1的方差表達式中，都含有隨的方差

4、表達式中，都含有隨機擾動項機擾動項u的方差的方差 2。由于由于 2實際上是未知的，因此，實際上是未知的，因此， b0和和b1的方差實的方差實際上無法計算，這就需要對其進行估計。際上無法計算，這就需要對其進行估計。 2又稱為總體方差。又稱為總體方差。2i22en 222iYn-2e 其其中中是是的的估估計計量量，是是殘殘差差平平方方和和，即即 的的真真實實值值與與估估計計值值差差的的平平方方和和。稱稱為為自自由由度度，可可以以理理解解為為獨獨立立的的觀觀察察值值的的個個數數。由于隨機項由于隨機項ui不可觀測，只能從不可觀測，只能從ui的估計的估計殘差殘差ei出發，對總體方差進行估計。出發，對總體

5、方差進行估計。 可以證明可以證明， 2的的最小二乘估計量最小二乘估計量為為它是關于它是關于 2的無偏估計量。的無偏估計量。 12bYb X（2.162.16）22iiix ybx （2.172.17）OLS（2.162.16）和和（2.172.17）的的估估計計量量的的方方差差和和標標準準誤誤為為12i2212ivar=bXbnx （ ）11sevarbb （ ）（ ） 在隨機誤差項在隨機誤差項u u 的方差的方差 2估計出后，參數估計出后，參數b b1 1和和b b2 2的的方差方差和和標準差標準差的估計量分別是：的估計量分別是：22222ivar=bbx （ ）22sevarbb （ ）（

6、 ）2varsei 其其中中表表示示方方差差， 表表示示標標準準誤誤，是是擾擾動動項項 的的方方差差。22OLS 一一旦旦知知道道了了，就就可可以以求求出出等等式式右右邊邊的的項項，從從而而求求出出的的方方差差和和標標準準誤誤。通通常常根根據據下下式式估估價價22i=2en 222i2RSSY) .iieYY 其其中中是是的的估估計計量量，是是殘殘差差平平方方和和（），即即 的的真真實實值值與與估估計計值值差差的的平平方方和和， ( (n-2稱稱為為自自由由度度，可可以以理理解解為為獨獨立立的的觀觀察察值值的的個個數數。數學數學S.A.T一例的方差和標準誤一例的方差和標準誤數學數學S.A.T一

7、例小結一例小結數學數學S.A.T一例的估計函數為一例的估計函數為Y432.41380.0013(16.9061)(0.000245)iiXse 括號里的數字表示估計的標準誤。括號里的數字表示估計的標準誤。3.3 最小二乘估計量的性質最小二乘估計量的性質 當模型參數估計出后，需考慮參數估計值的當模型參數估計出后，需考慮參數估計值的精度，即是否能代表總體參數的真值，或者說需精度，即是否能代表總體參數的真值，或者說需考察參數估計量的統計性質。考察參數估計量的統計性質。 一個用于考察總體的估計量，可從如下幾個一個用于考察總體的估計量，可從如下幾個方面考察其優劣性：方面考察其優劣性： （1）線性性）線性

8、性，即它是否是另一隨機變量的線性，即它是否是另一隨機變量的線性函數；函數；1. 系數系數B0, B1的的OLS估計估計（2）無偏性）無偏性，即它的均值或期望值是否等于總，即它的均值或期望值是否等于總體的真實值；體的真實值；（3）有效性）有效性，即它是否在所有線性無偏估計量，即它是否在所有線性無偏估計量中具有最小方差。中具有最小方差。n 這三個準則也稱作估計量的這三個準則也稱作估計量的小樣本性質小樣本性質。 擁有這類性質的估計量稱為擁有這類性質的估計量稱為最佳線性無偏估計最佳線性無偏估計量量（best liner unbiased estimator, BLUE）。）。 （4）漸近無偏性）漸近無

9、偏性，即樣本容量趨于無窮大時，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值；是否它的均值序列趨于總體真值；（5）一致性）一致性，即樣本容量趨于無窮大時，它是，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值；否依概率收斂于總體的真值；（6）漸近有效性）漸近有效性，即樣本容量趨于無窮大時，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方是否它在所有的一致估計量中具有最小的漸近方差。差。 當不滿足小樣本性質時，需進一步考察估計當不滿足小樣本性質時，需進一步考察估計量的量的大樣本大樣本或或漸近性質漸近性質：高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov th

10、eorem) 在給定經典線性回歸的假定下，在給定經典線性回歸的假定下，最小最小二乘估計量二乘估計量是具有是具有最小方差最小方差的的線性線性無偏無偏估估計量。計量。蒙特卡洛試驗蒙特卡洛試驗OLSOLS估計量的無偏性可以通過蒙特卡洛試驗驗證。估計量的無偏性可以通過蒙特卡洛試驗驗證。假設有如下信息：假設有如下信息：與相應的真實值1.5、2、4很接近，反復的應用最小二乘法，平均的看，估計值將等于真實值。3.4 OLS3.4 OLS估計量的抽樣分布估計量的抽樣分布( (概率分布概率分布) )及及隨機干擾項方差的估計隨機干擾項方差的估計 12227(0,)iiiiiYBB XuuuN 假假設設在在總總體體

11、回回歸歸函函數數中中，誤誤差差項項服服從從均均值值為為0 0方方差差為為的的正正太太分分布布，即即這這一一假假設設的的理理論論基基礎礎是是統統計計學學中中的的中中心心極極限限定定理理。中心極限定理中心極限定理 設隨機變量設隨機變量,21nXXX相互獨立，具有相同的分布相互獨立，具有相同的分布, ), 2 , 1(0)(,)(2kXDXEkknXnnXYnkkn/21記記則對于任意實數則對于任意實數x,x,有有)(21lim2/2xdtexYPxtnn02nXXX,21nkkX1nXnnXYnkkn/21中心極限定理表明中心極限定理表明：均值為：均值為，方差為，方差為的獨立同分布的隨機變量的獨立

12、同分布的隨機變量的和的和的標準化變量的分布函數，當的標準化變量的分布函數，當n n充分大時，有充分大時，有) 1 , 0(N近似地普通最小二乘估計量普通最小二乘估計量b1 、 b2分別是分別是Yi的線性組的線性組合，因此，合，因此， b1和和b2的概率分布取決于的概率分布取決于Y的分布的分布特征。特征。在在u是正態分布的假設下，是正態分布的假設下，Y是正態分布，則是正態分布，則b1 、 b2也服從正態分布，因此，也服從正態分布，因此，2221122221,iiiXbNBbNBnxx ，1、參數估計量、參數估計量b1和和b2概率分布概率分布b1和和b2的標準差的標準差1222222ibbiiXn

13、xx ，3.5 假設檢驗假設檢驗n回歸分析回歸分析是要通過樣本所估計的參數來代是要通過樣本所估計的參數來代替總體的真實參數，或者說是用樣本回歸替總體的真實參數，或者說是用樣本回歸線代替總體回歸線。線代替總體回歸線。n盡管從盡管從統計性質統計性質上已知，如果有足夠多的上已知，如果有足夠多的重復重復 抽樣，參數的估計值的期望（均值）抽樣，參數的估計值的期望（均值）就等于其總體的參數真值，但在一次抽樣就等于其總體的參數真值，但在一次抽樣中，估計值不一定就等于該真值。中，估計值不一定就等于該真值。n那么，在一次抽樣中，參數的估計值與那么，在一次抽樣中，參數的估計值與真值的差異有多大，是否顯著，這就需真

14、值的差異有多大，是否顯著，這就需要進一步進行要進一步進行統計檢驗統計檢驗。主要內容有：。主要內容有：參數的參數的區間估計區間估計；變量的變量的顯著性檢驗顯著性檢驗擬合優度檢驗擬合優度檢驗。2222(,)ibN Bx 2222222(0,1)()ibBbBZNse bx 對于一元線性回歸方程中的對于一元線性回歸方程中的b2，已經知道它，已經知道它服從分布服從分布2222tien 要要使使用用上上式式需需要要知知道道真真實實的的，而而是是未未知知，可可以以根根據據對對其其進進行行估估算算。如如果果用用代代替替 ，則則上上式式的的右右邊邊服服從從自自由由度度為為n-2n-2的的 分分布布，而而不不是

15、是正正態態分分布布，即即在這種情況下用在這種情況下用t統計量代替統計量代替Z統計量進行檢驗。統計量進行檢驗。2222 (2)ibBtt nx 22ien 要判斷樣本參數的估計值在多大程度上可以要判斷樣本參數的估計值在多大程度上可以“近近似似”地替代總體參數的真值，往往需要通過構造地替代總體參數的真值，往往需要通過構造一個以樣本參數的估計值為中心的一個以樣本參數的估計值為中心的“區間區間”，來，來考察它以多大的可能性（概率）包含著真實的參考察它以多大的可能性（概率）包含著真實的參數值。這種方法就是參數檢驗的數值。這種方法就是參數檢驗的置信區間估計置信區間估計。 （1 1）檢驗檢驗 置信區間置信區

16、間 法法0212HB =0HB0 ：，：，如果存在這樣一個區間，如果存在這樣一個區間，稱之為稱之為置信區間置信區間（confidence interval）；）； 1- 稱為稱為置信系數置信系數（置信度置信度）（）（confidence coefficient），）， 稱為稱為顯著性水平顯著性水平（level of significance）；）；置信區間的端點稱為置信區間的端點稱為置信限置信限（confidence limit）或）或臨界臨界值值（critical values）。）。 1P bBb 要判斷估計的參數值要判斷估計的參數值b離真實的參數值離真實的參數值B有多有多“近近”，可預先

17、選擇一個概率，可預先選擇一個概率 (0 1) ，并求一，并求一個正數個正數 ，使得隨機區間，使得隨機區間(b- , b+ )包含參數的直包含參數的直值的概率為值的概率為1- ，即：，即：在數學在數學S.A.T一例中，共有觀察值一例中，共有觀察值10個，自由個，自由度為度為n-2=8，假定顯著性水平為，假定顯著性水平為5%，查，查t分布表分布表得得P(-2.306t2.306P(-2.306t2.306）=0.95=0.95即即t值位于上、下限（值位于上、下限（-2.306,2.306）之間的概）之間的概率為率為95%，這個上、下限就是臨界，這個上、下限就是臨界t值，得值，得2222ibBx P

18、(-2.3062.306P(-2.3062.306）=0.95=0.952222222+iibxBbx P(-2.3062.306 P(-2.3062.306）=0.95=0.95整整理理得得2B95%上上式式給給出出了了的的一一個個的的置置信信區區間間。22=ix 在在數數學學分分數數一一例例中中0.0002450.000245，于于是是可可求求得得置置信信區區間間為為222+bBb -2.306 -2.306（0.0002450.000245）2.3062.306（0.0002450.000245）20.000740.00187B0不不在在這這個個區區間間范范圍圍內內，因因此此拒拒絕絕零零

19、假假設設。表表明明收收入入與與數數學學分分數數有有關關系系。（2 2）假設檢驗的顯著性檢驗）假設檢驗的顯著性檢驗 回歸分析是要判斷解釋變量回歸分析是要判斷解釋變量X是否是被解釋變量是否是被解釋變量Y的一個顯著性的影響因素。的一個顯著性的影響因素。在一元線性模型中，就是要判斷在一元線性模型中，就是要判斷X是否對是否對Y具有顯具有顯著的線性性影響。這就需要進行變量的顯著性檢著的線性性影響。這就需要進行變量的顯著性檢驗。驗。 變量的顯著性檢驗所應用的方法是數理統計變量的顯著性檢驗所應用的方法是數理統計學中的學中的假設檢驗假設檢驗。 計量經濟學中，主要是針對變量的參數真值計量經濟學中，主要是針對變量的

20、參數真值是否為零是否為零來進行顯著性檢驗的。來進行顯著性檢驗的。 這種假設檢驗方法涉及兩個重要概念檢驗統這種假設檢驗方法涉及兩個重要概念檢驗統計量和零假設下檢驗統計量的抽樣分布。其核心計量和零假設下檢驗統計量的抽樣分布。其核心思想是根據從樣本數據求得到統計量的值決定接思想是根據從樣本數據求得到統計量的值決定接受或拒絕零假設。受或拒絕零假設。2222 (2)ibBtt nx 前前面面已已經經介介紹紹(2)tn 服服從從自自由由度度為為的的 分分布布，如如果果令令*022HB =B：*22BB是是的的某某個個給給定定的的數數值值，則則根根據據樣樣本本數數據據求求得得*2222-=ibBtx 估估計

21、計值值 假假設設值值 （3.293.29）估估計計值值的的標標準準誤誤tn-2tt將將上上面面計計算算出出的的 值值作作為為檢檢驗驗統統計計量量。服服從從自自由由度度為為（）的的 分分布布。相相應應的的檢檢驗驗稱稱為為 檢檢驗驗。n-2;%PP檢檢驗驗時時，需需要要知知道道：（1 1）對對于于雙雙變變量量模模型型，自自由由度度為為（2 2）常常用用的的顯顯著著性性水水平平有有1 1 ，5 5，1010，為為了了 避避免免選選擇擇顯顯著著水水平平的的隨隨意意性性，通通常常求求出出 值值 如如果果 值值充充分分小小，則則拒拒絕絕零零假假設設。（3 3）可可用用單單邊邊或或雙雙邊邊檢檢驗驗。0212

22、1. HB =0HB0 雙雙邊邊檢檢驗驗：，：，利利用用（3.293.29）得得S.A.T繼繼續續數數學學一一例例0.0013-0=5.43540.000245t 02122. HB0HB0.單單邊邊檢檢驗驗：，：數學分數函數中系數為正的，因此實際中檢驗是數學分數函數中系數為正的，因此實際中檢驗是單邊的。單邊的。T檢驗的過程是相同的，只是犯第一類檢驗的過程是相同的，只是犯第一類錯誤的概率不是均勻的分布在錯誤的概率不是均勻的分布在t分布的兩側，而是分布的兩側，而是集中于一側，左側或右側。集中于一側，左側或右側。3.6 3.6 擬合優度檢驗擬合優度檢驗 判定系數判定系數擬合優度檢驗擬合優度檢驗對樣

23、本回歸直線與樣本觀測對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。值之間擬合程度的檢驗。 度量擬合優度的指標：度量擬合優度的指標：判定系數判定系數（可決系數可決系數）R21 1、總離差平方和的分解、總離差平方和的分解已知由一組樣本觀測值（已知由一組樣本觀測值（Xi,Yi），），i i=1,2,n得得到如下樣本回歸直線到如下樣本回歸直線 01iiYbb XiiiYYe 前前面面講講過過 eiiiiYYYYYY對對上上式式進進行行恒恒等等變變化化（即即 ） eiiiiYYYYYY（即即 ）對對上上式式進進行行恒恒等等變變化化Yi的變異由X變異所解釋的部分未解釋的部分或殘差部分 如果如果Yi=i 即

24、實際觀測值落在樣本回歸即實際觀測值落在樣本回歸“線線”上，則上，則擬合最好擬合最好。 可認為，可認為，“離差離差”全部來自回歸線，而與全部來自回歸線，而與“殘差殘差”無關。無關。 iieYY iiyYY是樣本回歸擬合值與觀測值的平均是樣本回歸擬合值與觀測值的平均值之差，可認為是由回歸直線解釋值之差，可認為是由回歸直線解釋的部分；的部分；是實際觀測值與回歸擬合值之差，是實際觀測值與回歸擬合值之差，是回歸直線不能解釋的部分；是回歸直線不能解釋的部分； 用小寫字母表示與均值的離差，得用小寫字母表示與均值的離差，得iiiyye =iiybx由由得得=iiiybxe 上式兩邊求和，經過數學變換得上式兩邊

25、求和，經過數學變換得 對于所有樣本點，則需考慮這些點與樣本均對于所有樣本點，則需考慮這些點與樣本均值離差的平方和，值離差的平方和，可以證明可以證明：222=iiiybxe 或或者者TSS=ESS+RSS22)(YYyTSSii記記22)(YYyESSii22)(iiiYYeRSS總體平方和總體平方和（Total Sum of Squares）回歸平方和回歸平方和（Explained Sum of Squares）殘差平方和殘差平方和（Residual Sum of Squares ）Y的觀測值圍繞其均值的總離差的觀測值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來

26、自回可分解為兩部分：一部分來自回歸線歸線(ESS)，另一部分則來自隨機因素，另一部分則來自隨機因素(RSS)。n在給定樣本中，在給定樣本中，TSS不變，不變，n如果實際觀測點離樣本回歸線越近，則如果實際觀測點離樣本回歸線越近，則ESS在在TSS中占的比重越大，因此中占的比重越大，因此n擬合優度擬合優度：回歸平方和：回歸平方和ESS/Y的總離差的總離差TSS2221=1iieESSRSSRTSSTSSy 2、可決系數、可決系數R2 2統計量統計量 稱 R2 為（樣本）（樣本）可決系數可決系數或或判定系數判定系數（coefficient of determination)。 可決系數可決系數的取值范圍取值范圍：0，1 R2越接近越接近1 1，說明實際觀測點離樣本線越近，說明實際觀測點離樣本線越近，擬合優度越高擬合優度越高。記：記：注：注：（1 1）可決系數可決系數是一個非負的統計量。是一個非負的統計量。 （2 2）可決系數可決系數的取值范圍取值范圍：0，1。 數學分數一例中，數學分數一例中，2222rXY()()()()iiiiXX YYrXXYYx yx