模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX歸分析之緒論應用

歸分析李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院1

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX目錄歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX變換廣義最小二乘估計小結與評注李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院2

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX高斯-馬爾可夫李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院3

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX最小二乘法是一種使誤差平方和達到最小以尋求估計值的方法，最常見于線性模型。用最小二乘法得到的估計，叫做最小二乘估計。1805年，法國數學家勒讓德在他的著作《計算彗星軌道的新 方法》的附錄中第一次公開提出了最小二乘法。德國數學家高斯對最小二乘理論的貢獻除了著名的正態誤差 理論之外，還有高斯-馬爾可夫定理。他聲稱從1799年起就 開始使用最小二乘法，導致了當時兩大數學家關于最小二乘 法發明優先權之爭，類似于牛頓和萊布尼茨關于微積分發明 權的爭論，至今都沒有定論。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院4

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX高斯-馬爾可夫定理是最小二乘理論中最重要的理論結果，它 從統計學的角度肯定了最小二乘法的合法性，在此之前，最 小二乘估計只是看上去合理且計算簡便的一種算法。但是實際數據有很多情況不滿足高斯-馬爾可夫定理的條件，這一點在二十世紀中期得到了學者的廣泛關注。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院5

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX高斯-馬爾可夫條件李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院6

/

110

異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理例1.居民收入和消費的關系運用截面數據研究消費和居民收入的關系。用Yi

表示第i

戶的消費額，用Xi

表示第i

戶的收入，一個簡單的消費模型為Yi

=

β0

+

β1Xi

+

εi

,

i

=

1,

...,

n.將家庭以收入數據按照一定方式進行劃分會發現：低收入組家庭用于購買生活必需品的比例相對較大，且購買差異性較小。高收入組家庭購買行為差異很大，自由支配的收入更多意味著更多的購買選擇，消費的分散程度很大。反映在消費模型上則為εi

對回歸直線即均值的偏離程度存在差異，從而出現異方差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院7

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX例2.經濟模型經濟變量的滯后性會給序列帶來自相關性。許多經濟變量都會產生滯后影響，

例如物價指數、基建投 資、國民收入、消費、貨幣發行量等都有一定的滯后性，例 如前期消費額對后期消費額一般會有明顯的影響。經濟變量的滯后有時表現出一種不規則的循環波動，當經濟 處于衰退的低谷時，經濟擴張期隨之開始，這時大多數經濟 時間序列上升得快一些。在經濟擴張期，經濟時間序列內部 有一種內在的沖力，序列一直上升到循環的頂點，在頂點時 刻經濟收縮隨之開始。因此在這樣的時間序列中，序列觀測值之間的相關現象是很自然的。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院8

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX變換廣義最小二乘估計小結與評注李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院9

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX殘差分析在利用最小二乘估計得到參數估計值β?0和β?1后，可以通過下式得到殘差ei

=

Yi

?

β?0

?

β?1Xi

.由于高斯—馬爾可夫條件都是關于誤差項的，所以研究者自 然地可以從分析誤差項的“估計量”——殘差的角度來考察數 據是否滿足假設。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院10

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX考慮線性

歸模型Y

=

Xβ

+

ε,(1)??1?n若用X

,...,X

表示X

的n個行向量，定義第i

次觀測的殘差?i

i

i?e

=

Y

?

X

β,

i

=

1,

...,

n將殘差ei

看作誤差εi

的一次觀測值，如果模型(1)正確，ei

應具有εi

的一些特征。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院11

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COXi記Y?

=X

β?，

稱Y?

為擬合值向量，

稱其第i

個分量Y?i

=X

?β?為第i

個擬合值，則Y?

可以寫成Y?

=

X

(X

?X

)?1X

?Y

=

HY

,其中H

=X

(X

?X

)?1X

?，文獻中通常稱之為帽子矩陣。容易驗證，帽子矩陣H滿足H?

=

H,

H2

=

H,即帽子矩陣是一個對稱冪等陣。利用帽子矩陣H，殘差向量e可表示為e

=

Y

?

Y?

=

(I

?

H)Y

=

(I

?

H)ε.(2)李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院12

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX定理考慮線性

歸模型(1)，則由(2)式所定義的殘差向量具有如下性質：E

(e)

=

0,

Cov

(e)

=

σ2(I

?

H);若進一步假設誤差服從正態分布，即ε

～N(0,σ2I

)，則e

～

N(0,

σ2(I

?

H)).李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院13

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院14

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX根據正態分布的性質，若隨機變量U

～N(μ,

σ2)，則P(μ

?

2σ

<

U

<

μ

+

2σ)

=

95.4%.因此學生化殘差具有如下性質：當μ

=0,σ

=1時，大約應有95.4%的ri

落在區間[?2,2]中。擬合值向量Y?

與殘差e相互獨立，因而與學生化殘差r1,...,rn也獨立。如果以擬合值y?i

為橫軸，ri

為縱軸，那么平面上的點(y?i

,ri

),i

= 1,...,n大致應落在寬度為4的水平帶|ri|≤2區域內，且不呈 現任何趨勢。這種以殘差為縱軸，以擬合值或其它量為橫軸的圖稱為殘差圖，這是回歸診斷的一個重要工具。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院15

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX殘差示意圖李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院16

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院17

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX本章介紹了

歸模型隨機誤差項違背基本假設的診斷與修正方法，以及異常值的識別和處理。隨機誤差序列方差不同或存在相關，分別對應了違背基本假設的異方差性和自相關現象。殘差圖分析是診斷兩者最直觀的方式，但比較粗糙。更準確的診斷方法包括：借助等級相關系數檢驗或其他方法 來診斷是否具有異方差性；通過自相關系數或DW檢驗等方 法考察序列相關是否存在。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院18

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX當根據某種檢驗方法認為存在異方差時，可以用自變量的冪函數作為權函數，作加權最小二乘

歸。但是加權最小二乘估計并不能消除異方差，只是能夠消除或減弱異方差的不良影響；研究者們還常常考慮對因變量進行方差穩定變換，使得對變換過后的數據，誤差方差能夠近似相等，即方差比較穩定；要注意的是方差穩定變換在改變誤差項方差的同時，也會改變誤差項的分布和

歸函數的形式。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院19

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COXDW檢驗是檢驗隨機誤差項自相關性最常用的一種方法，但DW檢驗有一些局限性。不僅因其不適合隨機項具有高階序列相關的檢驗，還因為DW檢驗有兩個不能確定結果的區域。當模型存在序列相關時，常通過迭代法和差分法消除自相關性。要注意的是用迭代法處理序列相關并不總是有效。一階差分法是自相關系數ρ

=1時的迭代法，因此只有當ρ

=1或者接近1時，差分法的效果才會好。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院20

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX異常值的識別和處理是優化

歸方程的必要部分。通過散點圖可以簡單直觀地對某些點進行甄別。更準確地方法，則是通過計算刪除學生化殘差、杠桿值、Cook統計量等對異常值進行判斷。識別出異常值后，需要對異常值產生的原因進行診斷，不能簡單地剔除異常值。有時異常值是正確的觀測，出現的原因可能是由于模型遺漏 了關鍵的自變量，或模型設定錯誤，這時將為模型的修正帶 來啟發。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院21

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX變換廣義最小二乘估計小結與評注李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院22

/

110編號

Y

（億元）X

（萬畝）

編號

Y

（億元）

X

（萬畝）農作物產值播種面積農作物產值播種面積116.31907.516183.6517729.2217.14873.217146.7911061.53125.2413159.218129.6311304.7442.245928.119154.289166.2540.286834.42061.246821.7684.475495.521206.517779.6770.76055.22244.374701.38101.6712694.62351.796036.1916.831018.5243.53316.510211.5112770.92559.457016.5111016542.72637.295252.512155.8712244.3276.33761.71349.723601.52810.071235.21469.78158.12944.784275.115255.9216564.5異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理農作物種植業產值與播種面積關系表

1:1986

年

29

個省市自治區農作物種植業產值和農作物播種面積數據李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院23

/

110歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理

異常值和強影響點BOX-COX1986年29個省市自治區農作物種植業產值和農作物播種面積數據如表所示，以農作物種植業產值作為因變量Y

，以農作物播種面積作為自變量X

，建立一元線性

歸模型。首先利用普通的最小二乘估計得到經驗

歸模型Y?

=

?5.661

+

0.012X

.其次做殘差與自變量農作物播種面積的散點圖如下所示，可以發現有明顯的異方差問題。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院24

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX異方差性產生的原因模型設定錯誤常導致異方差，模型設定主要包括變量的選擇。模型遺漏關鍵解釋變量常導致異方差，此時隨機誤差項、異方差的產生與解釋變量密切相關。設正確模型的形式為Yi

=β0

+β1Xi1

+β2Xi2

+β3Xi3

+εi

，但實際采用的是Yi

=

β0

+

β1Xi1

+

β2Xi2

+

ui

,即略去了解釋變量X3。當X3與X1,X2之間存在相關性或某種函數關系時，其影響將體現在誤差項中。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院25

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院26

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX異方差性的影響當

歸模型出現異方差時，如果仍用OLS估計來估計未知參數，將引起不良后果。參數的OLS估計仍是無偏的，但不再是最小方差線性無偏估計(BLUE)。普通最小二乘估計的無偏性僅依賴于解釋變量非隨機與隨機 誤差項均值為0的假定，而其為BLUE則需要高斯—馬爾可夫 條件均滿足。本章廣義最小二乘估計這一節將介紹當異方差存在時，比OLS更 有效的線性無偏估計。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院27

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

?

將不再服從t分布，并且即使擴大樣本量也不能解決這個問題。類似地，F

統計量不再服從F

分布。因此，異方差的存在使高 斯-馬爾可夫假定下進行的假設檢驗不再有效，檢驗結果不再 值得信任。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院28

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX?歸方程的預測效果不理想。盡管參數的普通最小二乘估計的無偏性使得預測也是無偏的，但參數的OLS估計不再是有效估計。參數的OLS估計不是有效估計導致對被解釋變量的預測也不 再是有效的，

而基于估計量方差的Y

的區間預測將產生困 難。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院29

/

110異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理異方差性的檢驗——殘差圖法

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院30

/

110異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理異方差性的檢驗——殘差圖法等級相關系數法又稱Spearman檢驗，是一種應用較廣泛的異方差檢驗方法，其檢驗步驟為：作Y

關于X

的普通最小二乘

歸，求出εi

的估計值ei

；取ei

的絕對值，將xi

和|ei|按遞增或遞減的次序排列后給出各自的次序等級，按下式計算等級相關系數

服從自由度為n?2的t分布。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒中國人民大學統計學院31

/

110

異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理異方差性的檢驗——Goldfeld-Quanadt檢驗Goldfeld-Quanadt檢驗可用于遞增型或遞減型異方差的檢驗，

其檢驗步驟為：將樣本觀測值按自變量xi

的大小排序；剔除排在中間的m（樣本量的1/5

～1/4）個觀測，并將剩余的觀測值等分為兩個樣本分別進行

歸分析；進行假設檢驗。提出假設：

H0:兩部分觀測的方差相等

v.s.H1:兩部分觀測的方差不相等。?

分樣本的殘差平方和進行假設檢驗。在原假設成立條件下，檢驗統計量李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院32

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX異方差性的處理常假定異方差σ2具有如下形式：i2

?0

iσ

=

g

(α

+

α

Z

).其中g(·)是一個未知的函數。當Z

i

=(Zi

1,...,Ziq

)?是Xj,j

=1,...,p的函數時，異方差可表i

i示為σ2

=σ2f

(Xi

1,...,Xip

)，其中σ2表示第i

個觀測值誤差項的方差，

σ2為常數，f

(Xi

1,...,Xip

)為自變量

X1,...,Xp

的某種函數。以一元線性

歸模型為例，Yi

=

β0

+

β1Xi

+

εi

，模型具有異方差且隨機誤差項與自變量有關，則異方差性可表示為Var

(εi

)=

σ2f

(Xi

).李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院33

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX?2當模型存在異方差時，σ

的不同意味著對模型估計的不同作i用，在進行估計時需要對殘差賦予不同的權重，從而使殘差平方和能夠更好地反映σ2的真實情況。i處理異方差問題的一個經典的方法是加權最小二乘法，該方法在平方和中加入適當的權數ωi

，以調整各項在平方和中的作用。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院34

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX加權最小二乘法同樣以一元線性

歸為例：一元線性

歸的加權最小二乘的離差平方和為

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院35

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX為消除異方差的影響，要使(3)中各項的地位相同，則觀測值的權數應取觀測值誤差項方差的倒數，即?2i然而，

在實際問題中誤差項方差σ

往往是未知的。但若已

代入(3)求解，即可得到該模型的加權最小二乘估計。在一些社會學、經濟學研究中，誤差項方差與自變量的冪函數成比例，可根據相應的函數形式求解。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院36

/

110

序號yxxi

等級殘差ei|ei

||ei

|等級did

2i12648,

7771169.02169.0216-1522521059,

2102-26.6426.643-113909,

9543-104.63104.637-416413110,

5084-110.54110.548-416512210,

9795-159.41159.4115-10100610711,

9126-253.41253.4123

7477-25.1025.102525850313,

49988.238.231749943114,

2699-128.96128.969001058815,

52210-78.0578.0546361189816,

73011129.68129.6810111295017,

66312102.69102.6966361377918,

57513-145.53145.5314-111481919,

63514-195.27195.2719-525151,

22221,

1631578.3678.36510100歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX居民收入與儲蓄額設某地區的居民收入與儲蓄額的歷史統計數據如下表所示（只展示前15行）：表

2:居民收入與儲蓄額李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院37

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX(1)用普通最小二乘法建立儲蓄額Y

與居民收入X

的并畫出殘差散點圖：歸方程，系數估計標準誤差t

值p值截距項-648.124118.163-5.4900.000x0.0850.00517.3400.000從殘差圖來看，殘差隨X

的增加呈現出增加的趨勢，說明誤差項具有異方差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院38

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX(2)計算xi

與|ei|等級相關系數得rs

=0.686，且p值接近于0，表明誤差項存在異方差。其次對模型進行Goldfeld-Quanadt檢驗，p值為0.007<0.05，拒絕原假設，即認為模型存在異方差。(3)采用加權最小二乘法處理異方差問題。2i因為誤差項的方差σ

未知，這里假設誤差項方差與x

的冪函i

xmi數xm

成比例，即權函數為ω

=

1

，m待定。冪函數通常需要經過多次測試才能確定，一般按照?2,?1.5,?1,?0行測試，選擇對應最大對數似然函數值的冪指數，求出相應的加權最小二乘

歸模型。經過測試得到，當m

=1.5時在上述冪指數值中對應最大的對數似然函數值，故取m

=1.5進行加權最小二乘

歸。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院39

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX圖

1:改進模型的殘差圖（左）和改進模型與原始模型的殘差對比圖（右）由左右兩圖可以看出，本例中加權最小二乘法對殘差的改造 是細微的。加權模型的等級相關系數rωs

=0.683，說明異方 差仍然存在。造成這一點的原因可能是誤設了誤差項和自變量的冪函數關系，因此找到合適的函數關系十分重要，同時也較為困難。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院40

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX變換廣義最小二乘估計小結與評注李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院41

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX表

3:1985-2011年農村居民人均收入和消費

單位：元年份人均實際純收入人均實際消費性支出年份人均實際純收入人均實際消費1985397.60317.421999703.26501.881986399.40336.432000717.64531.881987410.43353.412001747.68550.111988411.59360.022002785.41581.951989380.94339.062003818.93606.901990415.69354.112004882.63656.681991419.51366.962005961.07754.531992443.43372.7420061,

043.47822.971993458.52382.9120071,

149.28894.891994492.33410.0020081,

247.83959.521995541.43449.6820091,

360.251,

054.141996612.62500.0320101,

512.481,

119.6819971998648.50677.52501.75498.3820111,

691.571,

265.80李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院42

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX以人均實際純收入為自變量，人均實際消費性支出為因變量建立農村居民消費的線性

歸模型。使用普通的最小二乘估計求解

歸方程并作出殘差圖如下：殘差圖顯示，殘差的變動有系統模式，連續為正和連續為負，這表明殘差項可能存在一階正自相關。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院43

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

(4)

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院44

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX隨機誤差序列產生自相關的原因具體有:模型設定偏誤。和模型設定偏誤將導致異方差一樣，有兩種 情形將產生系統誤差，而該誤差存在于隨機誤差項中，從而 導致序列產生自相關。模型遺漏關鍵自變量;模型函數形式錯誤。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院45

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX經濟系統的慣性。經濟行為具有時間上的慣性，如GDP、物價、就業等經濟指標隨經濟系統的周期而波動;經濟高速增長時期，較高的經濟增長率會持續一段時間，經 濟衰退時，較高的失業率將持續一段時間，也因此經濟時間 序列數據常出現自相關。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院46

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX經濟行為的滯后效應。滯后效應指一個變量對另一個變量的影響不僅限于當期，而且會延續若干期，由此帶來變量的自相關。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院47

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX蛛網現象。蛛網理論是一種引入時間因素考察價格和產量均衡狀態變動 過程的理論。將其均衡的變動過程反映在二維座標圖上，其 形如蛛網。許多農產品的供給呈現為蛛網現象，

供給對價格的反應要 滯后一段時間，因為供給需要經過一定的時間才能實現。如 果時期t的價格Pt

低于上一期的價格Pt?1，農民就會減少時 期t

+1的生產量，如此則形成蛛網現象。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院48

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX數據處理造成的自相關。構建模型前期，需要對原始數據進行一些處理，處理后的數據可能產生自相關。為消除季節性，對數據進行修勻，可能因此導致數據前后期出現自相關。對缺失數據采用某些統計方法填補時可能導致自相關。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院49

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX自相關現象的影響當線性

歸模型的隨機誤差項存在序列相關時，

就違背了線性歸方程的基本假設，若仍然直接用普通最小二乘法估計未知參數，將會造成嚴重后果：參數的OLS估計仍是無偏的，但不再是最小方差線性無偏估計。均方誤差可能嚴重低估誤差項的方差。對方差的低估將導致t值的高估，從而更傾向于拒絕原假設，這時F

檢驗和t

檢驗失效。如果直接使用參數的最小二乘估計進行預測和分析，將會帶來較大的方差甚至錯誤的解釋。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院50

/

110BOX-COX

設x

和y

已經過中心化處理。當基本假定都滿足時，β1的普通最小二乘估計記Var

(ε)=σ2，則β?1的方差為現在假設隨機誤差項存在一階自相關εt

=

ρεt?1

+

ut,式中，εt

為當期隨機誤差，εt?1為前期隨機誤差，ρ為自相關系數，

ut

則是滿足古典假定的誤差項。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院51

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX此時，參數的普通最小二乘估計仍然是無偏的，因為OLS估計的無偏性僅需要滿足E

(ε)=0的假定；雖然參數的OLS估計仍然是無偏的，但其不再是有效的，例如β

的方差?

?1

1

下面推導當存在自相關問題時參數OLS估計的方差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院52

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院53

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX根據推導結果可知：

在實際中含有經濟變量的模型常常表現為正的自相關，即ρ>0，同時X

序列自身也呈正相關。此時上式表示的估計量方

β

的方差，將會低估參數估計值的真實方差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院54

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX再來看看σ2估計量σ?2

=(y

?X

β?)?(y

?X

β?)，這里p

=1。當n?p?1歸模型所有的基本假定都滿足時，σ?2是σ2的無偏估計。而當隨機誤差項存在一階自相關時，類似可以證明(5)若隨機誤差項和自變量X

存在正的一階自相關，

式(5)將小于(n?2)σ2。?2這時若仍用σ?=??

?(y

?X

β)

(y

?X

β)n?p?1估計σ2，將會低估真實的σ2，且又將使參數最小二乘估計值的方差進一步低估。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院55

/

110

異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理自相關的診斷-圖示檢驗法圖示檢驗法是一種直觀的診斷方法，殘差et

的散點圖通常有兩種繪制形式。第一種是以(et?1,et

),t

=2,3,...,n作為散布點繪圖：●●●●●●●●●●●●●●●●●●

●ei

1eiOIIIIIIIV(a)●●●●●●●●●●●●●●●●●●●ei

1ei●OIIIIIIIV李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院56

/

110(b)異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理第二種是按時間順序繪制

歸殘差et

的散點圖：●●●●●●●●●●●tet(a)●●●●●●●●●●●tet(b)?

t如果e

,t

=1,2,...,n隨著t

的變化逐次有規律地變化，呈現鋸齒形或循環形狀的變化，表明εt

存在自相關性。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院57

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX自相關的診斷-DW檢驗

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院58

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院59

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

-1

4(-1,0)

(2,4)0

2(0,1)

(0,2)完全負自相關負自相關無自相關正自相關

1

0

完全正自相關

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院60

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX根據樣本量n和解釋變量的數目k

（包括常數項）查DW分布表，得到臨界值dL和dU

，然后依下列準則考察計算得到的DW值，以決定模型的自相關狀態：表3.3

DW檢驗0

≤

DW

≤

dL誤差項ε1,·

·

·

,εn間存在正自相關dL

≤

DW

≤

dU不能判定是否存在自相關dU

≤

DW

≤

4

?

dU誤差項ε1,·

·

·

,εn間無自相關4

?

dU

≤

DW

≤

4

?

dL不能判定是否存在自相關4

?

dL

≤

DW

≤

4誤差項ε1,·

·

·

,εn間存在負自相關李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院61

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX需要注意的是，DW檢驗盡管有著廣泛的應用，但也有明顯的缺點和局限：DW檢驗有兩個不能確定的區域，

一旦DW值落在這兩個區域，就無法判斷，這時，只有增大樣本量或選取其它檢驗方法；DW統計量的上下界表要求n

>15，這是因為樣本量如果再小，

利用殘差就很難對自相關的存在性作出比較正確的診斷；DW檢驗不適合隨機誤差項具有高階自相關的檢驗。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院62

/

110異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理自相關現象的改進-迭代法以一元線性

歸模型為例，設一元線性階自相關歸模型的誤差項存在一

(6)

(7)(8)式(7)表明誤差項εt

存在一階自相關，

式(8)表明ut

滿足

歸模型關于隨機誤差項的基本假定。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院63

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX

(9)

于是(10)就轉化為

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院64

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX由由于自相關系數ρ是未知的，需要用DW值對其進行估計。12ρ?

≈1

?DW

，計算出ρ的估計值ρ?。′

′將ρ?代入模型，計算出變換后的因變量Yt

和自變量Xt

，然后對模型(11)進行最小二乘

歸。如果誤差項確實是(6)的一階自相關形式，那么經過以上變換，模型(11)已經消除自相關，迭代結束。在實際問題中，有時誤差項并不是簡單的一階自相關，而是 更復雜的自相關形式，模型(11)的誤差項

ut

可能仍然存在自 相關。這就需要進一步對(11)的誤差項ut做DW檢驗，以判斷ut

是否存在自相關。如果檢驗表明誤差項ut

存在自相關，那么對

歸模型(11)重 復運用迭代法，直至最終消除誤差項的自相關性。這種通過 迭代消除自相關的過程正是迭代法名稱的由來。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院65

/

110異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理自相關現象的改進-差分法差分法就是用增量數據代替原來的樣本數據，將原來的

歸模型變為差分形式的模型。一階差分法通常適用于原模型存在較高程度的一階自相關的情況。在前面迭代方程(10)中，當ρ

=1時，得Yt

?

Yt?1

=

β1(Xt

?

Xt?1)

+

(εt

?

εt?1).令?Yt

=Yt

?Yt?1，?Xt

=Xt

?Xt?1，則?Yt

=

β1?Xt

+

ut.

(12)觀察(12)式，其不存在序列的自相關，它是以差分數據?Yt

和?Xt樣本的

歸方程。對(12)式進行最小二乘估計，求得β?1，代入(6)式，還原初始歸方程。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院66

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX農村居民收入和消費到本節最開始的農村居民收入和消費實例，以人均實際純收入為自變量，人均實際消費性支出為因變量建立農村居民消費的線性

歸模型。診斷該模型是否存在自相關。前文通過圖示檢驗法發現模型具有自相關現象，殘差存在一階正自相關。計算模型的DW值等于0.530，查詢DW統計量表，對樣本量 為27，含一個自變量的模型，5%顯著性水平下的dL

=1.316，

dU

=1.469，則模型的DW值小于dL，表明該消費模型存在自 相關。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院67

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX采用適當的方法處理自相關問題。采用迭代法解決自相關問題。由

歸方程可以得到殘差序列et

，并求出自相關系數的估計ρ?，原模型轉化為：Yt

?

ρ?Yt?1

=

β1(1

?

ρ?)

+

β2(Xt

?

ρ?Xt?1)

+

vt.求得

歸方程為Y??

=13.678

+

0.716X

?.t

t??式中Y

=

Y

?

ρ?Y

，?t

t

t?1

t

t

t?1X

=X

?ρ?X

。此時模型的DW值為1.779。而由DW統計量表，樣本量為26， 含一個自變量的模型，5%顯著性水平下的dL

=1.302，dU

= 1.461，則有dU

<DW

<4

?dU

。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院68

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX新的殘差序列圖如下所示，也呈現出無序的狀態，這都表明在5%的顯著性水平下，廣義差分模型已無自相關。

李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院69

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX變換廣義最小二乘估計小結與評注李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院70

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX影響分析在歸分析中，因變量Y

的取值yi

具有隨機性，而自變量X1,...,Xp取值x

i

=(xi

1,...,xip

)?,i

=1,...,n也只是許多可能取到的值中的n組。??ii研究者希望每組數據(X

,Y

)對未知參數的估計有一定的影?響，但這種影響不能過大，這樣得到的經驗

歸方程就具有一定的穩健性。歸診斷所要研究的另一個重要問題，是探查對參數估計或預測有異常大的影響的數據，其中包括異常值與強影響點，這部分內容在

歸診斷中被稱為影響分析。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院71

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX杠桿點024

68100

5

1015

20XY02

4

68100

5

1015

20XYA點A雖遠離樣本其它部分的X

空間，但它幾乎位于通過其它樣本點的

歸直線上，這是一個杠桿點的例子。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院72

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX強影響點012345051015XY012345051015XYB所標注的B點的橫坐標雖然沒有異常，但其縱坐標是異常的。 這是一個強影響點，

它會將

歸模型“拽”

向它自身的方 向，該點將對

歸系數有顯著影響。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院73

/

110歸模型的診斷異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX異常值的類型：關于因變量Y

的異常值關于自變量X

的異常值李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院74

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX關于因變量Y

的異常值由于普通殘差的方差不相等，不具有可比性。因此引入標準化殘差的定義：標準化殘差使殘差具有可比性，但是沒有解決方差不等的問題。學生化殘差則進一步解決了方差不等的問題，

比標準化殘 差又有所改進。但是當觀測數據中存在關于Y

的異常觀測值 時，普通殘差、標準化殘差、學生化殘差這三種殘差都不再 適用。這是由于異常值把

歸線拉向自身，使異常值本身的殘差減 少，而其余觀測值的殘差增大，這時

歸標準差σ?也會增大， 因而用“3σ”準則不能正確分辨出異常值。解決這個問題的 方法是改用刪除殘差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院75

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX在計算第i

個觀測值的殘差時，用除去第i

個觀測值的其余n?1個觀測值擬合

歸方程，計算出第i

個觀測值的刪除擬合值Y?i

，這個刪除擬合值與第i

個值無關，不受第i

個值是否為異常值的影響。由此定義第i

個觀測值的刪除殘差為?(i

)

i

(i

)e

=

Y

?

Y

.李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院76

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX刪除殘差e(i

)較普通殘差更能如實反映第i

個觀測值的異常性。可以證明進一步，可以給出第i

個觀測值的刪除學生化殘差，記為r(i).刪(i

)ir

=

r

(n

?

p

?

1

?

r2i除學生化殘差r(i

)的表達式為

n

?

p

?

2

12)

.李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院77

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX模擬數據分析到最初強影響點的例子，從圖中可見B點的Y

值是異常的012345051015XY012345051015XYB李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院78

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX在利用最小二乘法得到經驗

歸的一元線性

歸模型后，首 先計算學生化殘差如表4前兩行所示。但是當觀測數據中存 在關于Y

的異常觀測值時，學生化殘差不再適用。其次計算刪除學生化殘差，結果如表4后兩行所示。B點的刪 除學生化殘差為-7.099，其絕對值大于3，因此可以判定B點 為異常值點。表

4:學生化殘差和刪除學生化殘差編號12345678910學生化殘差-0.665-0.057-0.0870.4261.5110.517-0.6710.547-0.754-0.404編號12131415161718192021學生化殘差0.446-0.336-0.5431.988-0.0751.252-0.4690.0820.389-3.742編號12345678910刪除學生化殘差-0.655-0.056-0.0840.4171.5680.507-0.6610.537-0.745-0.395編號12131415161718192021刪除學生化殘差0.437-0.328-0.5332.175-0.0731.272-0.4590.0800.380-7.099李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院79

/

110異常值和強影響點BOX-COX歸模型的診斷

異方差的診斷及其處理

自相關的診斷及其處理關于自變量X

的異常值對

歸的影響在歸分析中，每個觀測x

i

=(xi

1,...,xip

)?在自變量空間中的位置影響

歸系數的確定，較遠的點可能對模型參數的估計值、標準誤差以及預測值等產生不成比例的影響。由Var

(y?)=σ2H且Var

(e)=σ2(I

?H)，所以H確定了因變量和誤差項的方差以及二者的協方差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院80

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院81

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX如下圖所示，并不是所有的杠桿點都將影響歸系數。024

6810024

6810XX0

5

1015

20Y0

5

1015

20YA換言之，帽子矩陣對角線元素僅考察自變量空間中觀測值的位置。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院82

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX為此，研究者們引入Cook統計量。Di

=(i

)(β?

?

β?

)?X

?X

(β?

?

β?

)pσ?2(i

)

,

i

=

1,

...,

n,2?2這里σ? =

||y

?

X

β||

/(n

?

p)，

而?(i

)β

表示剔除第i

行求得的β的最小二乘估計。于是，對一組觀測數據，可以通過一個數量Di

來刻畫它對歸系數估計影響的大小。然而，Di,i

=1,...,n的計算很不方(1)

(n)便，它需要分別計算β?,

β?

,

...,

β?

，涉及n

+1次

歸，計算量太大。下面的定理提供了計算Di

的簡便公式，它只需要計算完全數據的線性

歸模型。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院83

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX定理對于線性

歸模型(1)，Cook統計量可由下式計算這里hii

是帽子矩陣H

=X

(X

?X

)?1X

?的第i

個對角元，ri

是學生化殘差。李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院84

/

110

歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院85

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX到最初杠桿點的例子，從圖中可見A點的X

值遠離其他的點，但是沒有影響

歸系數。024

6810024

6810XX0

5

1015

20Y0

5

1015

20YA李揚/林存潔/王菲菲/孫韜/廖軍歸分析之緒論中國人民大學統計學院86

/

110歸模型的診斷

異方差的診斷及其處理自相關的診斷及其處理異常值和強影響點BOX-COX在利用最小二乘法得到經驗

歸的一元線性

歸模型后，首 先計算各個自變量的杠桿值hii,i

=1,·

·

·

,n如表5前兩行所 示，發現A點的杠桿值大于2倍的hˉ，可以認為A點是杠桿值 點。其次計算各個自變量的庫克距離如表5后兩行所示，發現所 有點的庫克距離均小于1，A點的庫克距離為0.634，所以A點 是杠桿點但不是異常值。表

5:杠桿值和庫克距離編號1234567891011杠桿值0.0480.0630.0480.0630.0610.0480.0510.0500.058