1

多元回歸分析

y=b0+b1x1+b2x2+...bkxk+u6. 異方差(Heteroskedasticity，HSK)2本章提要OLS中異方差的影響OLS估計后“對異方差穩健”的統計推斷檢驗異方差加權最小二乘估計3本課提要什么是異方差異方差的影響OLS估計后的“對異方差穩健”統計推斷HSK－異方差穩健標準差HSK－異方差穩健t,F,LM統計量4什么是異方差同方差假定意味著條件于解釋變量，不可觀測誤差的方差為常數如果u的方差隨x變化，那么誤差是異方差的。例子：估計教育回報并且能力不可觀測，認為能力的方差隨教育水平變化。5.Educationlevelprimarysecondaryf(y|x)異方差圖示college..E(y|x)=b0+b1xwage6

當存在異方差時…OLS無偏且一致R平方和調整后的R平方仍可以很好地度量擬合優度。它們是對總體R平方1

–[Var(u)/Var(y)]的估計，其中的方差是總體中的“非條件”方差。無論Var(u|x)

=Var(y|x)是否依賴于x，它們都可以一致地估計總體R平方。7

為何關心異方差？如果存在異方差，那么估計值的標準差是有偏的。如果標準差有偏，我們就不能應用通常的t統計量或F統計量來進行統計推斷。8

怎么辦？計量經濟學家已經知道如何調整標準差，t，F，LM量，使得它們當未知形式的異方差存在時仍然有效。White（1980）指出，在存在異方差時，方差也是可以估計的。9

異方差存在時的方差10

異方差存在時的方差11

異方差存在時的方差

開平方被稱為對異方差穩健的標準差，或White標準差，或Huber標準差，或Eicker標準差12

穩健標準差穩健標準差可以用來進行推斷。有時可以將估計的方差乘以n/(n–k–1)來修正自由度當n→∞時，沒有區別。13例子：穩健標準差與常規標準差1LogWageEquationwithHeteroskedasticity-RobustStandarderrors142Heteroskedasticity-RobustFStatistic15

例子：穩健標準差與常規標準差我們學到了什么？穩健標準差可能比常規標準差大，也可能小。但是實證中常常發現穩健標準差要大些。如果這兩種標準差的差異很大，那么統計推斷的結論可能有很大差異。16

為何要考慮常規標準差？如果穩健標準差無論異方差存在與否都是適用的，為什么我們還需要常規標準差？我們應當注意到，穩健標準差的適用性依賴于大樣本。17

穩健標準差如果是小樣本同方差情形，那么常規的t統計量精確地服從t

分布，但是這并不適用于穩健標準差，因此，在這種情況下使用穩健標準差就可能導致推斷錯誤。

在大樣本情形下，特別是應用截面數據的時候，我們推薦報告穩健標準差（或同時報告常規的標準差）。18OLS估計后的HSK-穩健推斷記rse為對異方差穩健的標準差

trse=(估計值-假設值)/(異方差穩健的標準差)對異方差穩健F統計量在異方差下，常規F統計量不再服從F分布。HSK－穩健F統計量也稱為Wald統計量19

穩健的LM統計量在有限制模型下進行OLS，保存殘差?將每一個排除變量對全部未排除變量進行回歸（q個回歸）并將每一組殘差?1,?2,…,?q保存將1向量對?1?,?2?,…,?q?進行無截矩回歸。LM定義為n

–SSR1其中SSR1

為最后一次回歸的殘差平方和。20本章提要OLS中異方差的影響OLS估計后“異方差－穩健”的統計推斷檢驗異方差加權最小二乘估計21本課提要檢驗異方差B-P檢驗White檢驗加權最小二乘法當在比例意義上已知異方差時的加權最小二乘法當異方差具有未知形式時的加權最小二乘法：可行GLS22

檢驗異方差雖然我們有辦法計算HSK－穩健的t、F和LM統計量，我們仍然有理由去尋找可以識別異方差的簡單檢驗。理由1：除非有證據顯示異方差存在，我們仍會偏好于常規OLS的標準差及檢驗統計量。理由2：如果異方差存在，OLS不再是BLUE，那么就有可能得到比OLS更好的估計量。23

用B-P檢驗檢驗異方差本質上，我們想檢驗H0:Var(u|x1,x2,…,xk)=s2這等價于檢驗H0:E(u2|x1,x2,…,xk)=E(u2)=s2

如果我們假設u2

和xj之間具有線性關系，則可以通過一組線性約束來完成檢驗。所以,對于u2=d0+d1x1+…+dkxk+v

這意味著檢驗H0:d1=d2=…=dk=024

用B-P檢驗檢驗異方差在零假設下，通常可以假定誤差v與x1,…,xk獨立那么，如果將u2視為被解釋變量，檢驗全部解釋變量顯著性的F或LM統計量就可以用來檢驗異方差。由于u2在樣本中不是正態分布，這些統計量只在漸近的意義下適用。不可觀測的誤差可以通過OLS殘差進行估計。將殘差平方對所有的x回歸之后，可以通過R2構造F或LM檢驗。25

用B-P檢驗檢驗異方差26

用B-P檢驗檢驗異方差27用B-P檢驗檢驗異方差如果我們懷疑HSK僅依賴于某些特定的解釋變量，我們可以做一些調整：將第一步的殘差只對那些解釋變量回歸，并進行適當的F或LM檢驗。28Example:HeteroskedasticityinHousingPriceEquationsR2=0.1601，n=88,k=3，F≈5.34,p=0.002LM=88×0.1601≈14.09,p=0.0028R2=0.0480，F=1.41,p=0.245，LM=4.22,p=0.23929

用White檢驗檢驗異方差B-P檢驗可以識別任意線性形式的異方差White檢驗通過加入x平方項和交叉項引入了一定的非線性。仍然是用F和LM檢驗來檢驗xj,xj2,xjxh是否聯合顯著30

用White檢驗檢驗異方差這個辦法很快就會顯出其笨重之處。例如，如果我們有三個解釋變量x1,x2,x3那么White檢驗有9個約束，三個對線性項，三個對平方項，三個對交叉項。在小樣本情形，自由度將會隨著解釋變量數目增加而迅速減少。31

White檢驗的變形考慮到OLS的預測值?是所有x的函數。因此，?2是平方項和交叉項的函數。?

和?2可以用來替代所有的xj,xj2,xjxh將殘差平方對?

和?2回歸，用R2來構建F或LM統計量現在只需要檢驗兩個約束32

對HSK檢驗的最后評價即便真實的情況并無異方差，HSK檢驗可能由于重要變量的遺漏而錯誤的拒絕零假設。HSK可能意味著模型設定錯誤，因此，如果可能的話，應當在HSK檢驗之前進行模型設定檢驗。33

加權最小二乘法對OLS估計穩健標準差總是可能辦到的，但是，如果我們知道一些關于異方差結構的信息，我們可以將原模型轉化為具有同方差的新模型，這稱為加權最小二乘法。在這些情況中，加權最小二乘法比OLS更為有效。對應的t和F統計量具有t和F分布。34

異方差結構在比例意義上已知的情況假設異方差可以由模型Var(ui|xi)=s2i=s2

hi刻畫，其中hi=h(x)只依賴于可觀測特征x在這種情況下，定義ui*=ui/√hi并考慮轉化后的模型是否服從Gauss-Markov假設。35

異方差結構在比例意義上已知的情況36

異方差結構在比例意義上已知的情況37

異方差結構在比例意義上已知的情況38

廣義最小二乘法通過OLS估計變換后的方程可以作為廣義最小二乘法（GLS）的一個例子GLS在這種情形下為BLUEGLS是加權最小二乘法（WLS）在權重為Var(ui|xi)倒數時的特例。39

加權最小二乘法盡管對變換后的模型做OLS是直觀的，但是變換本身可能很繁瑣。加權最小二乘法可以完成相同的目的，但是不需要進行變換。想法是最小化加權平方和（權重為1/hi）40

加權最小二乘法41MoreonWLS如果我們知道Var(ui|xi)的形式，WLS很棒但在大多數情況下，我們并不清楚異方差的形式此時，你需要估計h(xi)我們可以從一個非常靈活的方程形式入手 Var(u|x)=s2exp(d0+d1x1+…+dkxk)由于d未知，我們必須對它進行估計。42

可行GLS我們的假定意味著 u2=s2exp(d0+d1x1+…+dkxk)v,

其中E(v|x)=1.ln(u2)=a0

+d1x1+…+dkxk+e其中E(e)=1且e

獨立于x現在，我們知道?

是u的一個估計，所以我們可以通過OLS對其進行估計。43

可行GLS對h的估計可以通過?=exp(?)得到，其倒數為我們的權重那么，我們做了什么呢？對原方程做OLS回歸，保存殘差?，平方之，并取自