1、第四章 多元回歸分析推論b 的分布對單個參數的檢驗 參數檢驗，t-檢驗，P-值，置信區間對多個參數的檢驗 F-檢驗多元回歸分析模型yi = b0+ mik xikæ b0 öæ m1 öæ y1 öæ1öx11Mxn1x1kLy = ç M ÷, x = çMM ÷, b = ç M ÷, m = ç M ÷ç÷ç÷ç÷ç÷ç÷ç

2、;1÷ç÷ç÷bmyxnkLèøèøèøèønkny = xb + m估計b =' y推論經典線性模型的假設 (CLM)到現在為止，我們知道，給定高斯-馬爾科夫假設(MLR1到MLR5)，OLS是 BLUE,為了能夠做經典的假設檢驗，我們需要增加一個假設（在MLR1到MLR5假設之外）MLR6. 假設u 與 x1, x2, xk，且 u 是均值為0方差為s2的正態分布： u Normal(0,s2)CLM 假設 (接上頁)在CLM情況下(MLR1-MLR6)

3、， OLS 不僅是BLUE，而且是所有無偏估計中方差最小的我們可以總結關于CLM的總體假設如下：y|x Normal(b0 + b1x1 + bkxk, s2) 盡管我們現在假設正態分布，但是顯然，事實并不總是如此大樣本情況下，我們不需要正態分布假設一個自變量情況下，同方差正態分布yf(y|x).E(y|x) = b0 + b1x.正態分布x1x2的分布b 定理1、在MLR1到MLR6的假設下，b N (b ,s 2 (x ' x)-1)其中：s 2b N (b,)jjSST (1-2R )jjb - bjjN (0,1)s2SST (1 - R 2 )jj參數檢驗虛擬假設H0：通常是

4、母體中參數的值，一般是我們希望推翻的理論；對立假設H1：是我們希望證明是正確的理論；檢驗統計量：用來決定是否拒絕虛擬假設，如t統計量，F統計量；拒絕區域：在一定顯著程度（例如1%，5%或10%）下虛擬假設被拒絕的區域計算出檢驗統計量的值； 結論參數檢驗如果計算出的檢驗統計量的值落在拒絕區域里，則拒絕虛擬假設。此時我們得出錯誤結論（即拒絕正確的虛擬假設）的概率是 a ， a是顯著程度。類型I錯誤：拒絕正確的虛擬假設如果計算出的檢驗統計量的值落在拒絕區域外，則不能拒絕虛擬假設。此時我們得出錯誤結論（即沒有拒絕錯誤的虛擬假設）錯誤稱為類型II錯誤。類型II錯誤：沒有拒絕錯誤的虛擬假設類型II錯誤的概

5、率一般不容易計算，但與發生類型I錯誤的概率成反比。根據對立假設的不同，參數檢驗分單側和雙側檢驗。t檢驗定理2、在MLR1到MLR6的假設下，b b-jjtn -k - 1s2(1 -2jS S T其中：R)j'm m 2s =n - k- 1t檢驗（接上頁）知道標準化的估計量的樣本分布，我們就可以進行假設檢驗了從一個虛擬假設（Null hypothesis)開始例如： H0: bj=0如果接受虛擬假設，那么就接受了“控制其它 x 之后，xj 對 y沒有影響”。t檢驗（接上頁）為了進行我們的檢驗，首先需要為bj一個t統計量：構造º bjtse (b)b jj然后我們用這個t統計

6、量和一個拒絕原則來決定是否接受虛擬假設t 檢驗：單邊對立假設除了我們的虛擬假設H0之外，我們需要另一個對立假設H1和一個顯著性水平aH1 可以是單邊的，也可以是雙邊的H1: bj > 0 和 H1: bj < 0 是單邊的H1: bj ¹ 0 是一個雙邊對立假設如果我們希望錯誤地拒絕（當它為真，卻被拒絕）H0 的概率只有5%，那么我們說我們的顯著性水平是 5%單邊替代假設（接上頁）選擇了一個顯著性水平a之后，我們找自由度為 n k 1 的t 分布的第1 a個百分位（percentile）處的值，把它叫做 c：臨界值如果t 統計量的值大于臨界值，我們拒絕虛擬假設如果t 統計

7、量的值小于臨界值，我們不能拒絕虛擬假設單邊對立假設（接上頁）= b0b1xi1+ bkxik + uiH1: bj > 0yi+ H0: bj = 0不能拒絕拒絕a(1 - a)c0單邊檢驗 vs 雙邊檢驗因為t 分布是對稱分布，檢驗H1: bj < 0 是直截了當的，臨界值正是上例中臨界值的相反數如果t 統計量 < c，那么我們可以拒絕虛擬假設，如果 t 統計量 > c 那么我們不能拒絕虛擬假設在雙邊檢驗中，我們以a/2為基礎確定臨界 值，并且當t 統計量的絕對值> c 時，拒絕虛擬假設雙邊對立假設= b0b1Xi1+ bkXik + uiyi+ H1: bj

8、¹H0: bj = 00不能拒絕拒絕拒絕a/2(1 - a)a/2-cc0虛擬假設 H0: bj= 0總結除非特別說明，對立假設都是雙邊的如果拒絕了虛擬假設，我們通常說：“在a 的水平上，xj 統計上顯著”如果我們不能拒絕虛擬假設，我們通常說：“在a 的水平上，xj 統計上不顯著”檢驗其他假設當我們要檢驗類似H0: bj = aj 這樣的假設的時候，我們需要t 檢驗的一個更一般的形式這種情況下，正確的 t統計量是：(bj- a j )t =), 其中se (bj= 0在標準檢驗中：a j置信區間使用經典統計檢驗的另一方式是的臨界值構造一個置信區間A (1 - a) % 置信區間定義為

9、：邊檢驗中± c · se (b j ), 其中c 是bj分布的 æ1- a ö 百分位的值tç2 ÷n-k -1èø計算t檢驗的P值（p-value）經典方法的一個替代方法是問“虛擬假設被拒絕的最小的顯著性水平是什么？”所以，計算t 統計量，然后查到它在相應的t 分布中的百分位，這就是P值P值是如果虛擬假設為真，我們觀察到現有t 統計量的概率Eviews和P值，t 檢驗等大多數計算機軟件包(computer packages)都會為你計算雙邊檢驗的P值。如果你真的想做單邊檢驗，那么把雙邊檢驗的P值除以2Eview

10、s提供 H0: bj = 0 的t 統計量， P值和95%置信區間，分別列在標為 “t”, “P > |t|” 和 “95% Conf. Interval”列中檢驗一個線性組合假想我們要檢驗的不是b1 是否為0或是否等于一個常數，而是你希望檢驗它是否等于另一個參數： H0 : b1 = b2用構造t統計量的基本步驟，可以得到：b- bt =()12se b- b12檢驗一個線性組合（接上頁）因：se (b - b ) =Var (b - b )，故：1212Var (b- b ) = Var (b )+ Var (b)- 2Cov (b , b)1212121se (b - b ) =(

11、)+ ése (b)222éùùse b- 2sëûëû121212()其中 s12 是Cov b, b的估計值12檢驗一個線性組合（接上頁）所以，要應用這個公式，我們需要知道 s12， 但是它在標準輸出結果中得不到許多軟件包包含一個選項，你可以選擇計算這個變量，或者也可以讓它直接為你做檢驗在Eviews中，“reg y x1 x2 xk”之后，你鍵入：“test x1 = x2” 就可以得到檢驗的P值更一般的情況下，你總可以通過重新表述你的問題得到你想要得到的檢驗例：假設你對競選費用對競選結果的影響感模型是vot

12、eA = b0 + b1log(expendA) +b2log(expendB) + b3prtystrA + uH0: b1 = - b2, 或者 H0: q1 = b1 + b2 = 0b1 = q1 b2, 所以代入方程，整理得到Þ voteA = b0 + q1log(expendA) +b2log(expendB - expendA) + b3prtystrA+ u例（接上頁）：這個模型和原始模型是一個模型，但是現在你從基本回歸中直接得到了b1 b2 = q1 的方差估計任何參數的線性組合都可以類似地進行檢驗。其他關于單個線性參數組合的例子：ÿ b1 = 1 +

13、b2 ; b1 = 5b2 ; b1 = -1/2b2 ; 等等多元線性約束到現在為止，我們所做過的所有檢驗都只牽涉到一個單個的線性約束 (例如： b1 = 0 或b1 = b2 )然而，我們可能想要同時檢驗多個關于參數的假設一個典型的例子是：檢驗“排除性約束”（exclusions)我們想要知道是否一組參數全都是0檢驗排除約束現在虛擬假設大約是：H0: bk-q+1= 0對立假設是：H1: H0 非真= 0, . , bk我們不能只是一個一個進行t 檢驗，因為我們想要知道是否q 個參數在一個給定的水平上聯合顯著，可能在聯合顯著的情況下每一個單個參數都不顯著排除約束（接上頁）要進行這個檢驗，我

14、們需要估計不包含 xk-q+1, , xk的“受約束模型”（restrictedmodel)，還要估計所有自變量都包含的“無約束模型”(unrestricted model)直覺上，我們想要知道，SSR的變化是否足夠大，以保證 xk-q+1, , xk 應該加入進來：F º (SSRr - SSRur )q , 其中：SSRur(n - k -1)r表示受約束，ur表示不受約束F統計量F 統計量總是正的，因為受約束模型的SSR 不可能比無約束模型的 SSR 小事實上， F 統計量度量的是從無約束到受約束模型， SSR 的相對增加量q = 約束的個數，或者 dfr dfurn k 1

15、=dfurF統計量（接上頁） 要確定當我們的模型變為受約束時，SSR 的增加是否“足夠大”，讓我們有理由拒絕排除條件（exclusions），我們需要知道我們的F統計量的樣本分布信息 可以證明，F Fq,n-k-1，其中 q 被稱為自由度，n k 1 被稱為分母自由度F統計量（接上頁）如果F > c在a的f(F)顯著性水平上拒絕 H0不能拒絕拒絕a(1 - a)0cFF 統計量的 R2形式因為SSR可能大而難處理，有上面公式的替代形式我們利用恒等式SSR = SST(1 R2) 把公式中的 SSRu 和 SSRur 掉()-22RRqurrF º(1- R) (n - k -1

16、)2ur其中仍然有： r表示受約束，ur表示不受約束整體顯著性排除約束的特殊例子是檢驗H0: b1 = b2= bk = 0因為一個只含常數項的模型的R2 統計量形式比較簡單：是0，FR2kF = (1- R2 ) (n - k -1)一般線性約束F 統計量的基本形式對任意一組線性約束都適用首先估計無約束模型，然后估計受約束模型兩種情況下都記下SSR對模型施加限制可能需要技巧可能必須再次重新定義變量例：還用剛才的選舉模型模型是 voteA = b0 + b1log(expendA) +b2log(expendB) + b3prtystrA + u現在零假設是： H0: b1 = 1, b3 = 0把約束代入模型: voteA = b0 + log(expendA)+ b2log(expendB) + u, 所以用voteA - log(expendA) = b0 +b2log(expendB) + u 作為受約束模型()R- Rq此時不能用22。urrF º(1- R) (n - k -1)2urF 統計量總結正如有了t 統計量，P值可以通過查t 分布表得到，有了F統計量，P值也可以通過查對應的F分布的百分位得到Eview可以做到這些，只需鍵入： display fprob(q, n k 1,