授課教師：葉春輝浙江大學(xué)遠(yuǎn)程教育學(xué)院2007年5月計(jì)量經(jīng)濟(jì)學(xué)基礎(chǔ)第5章多重共線性

異方差和序列相關(guān)性都是隨機(jī)誤差項(xiàng)不滿足經(jīng)典回歸分析條件假設(shè)時(shí)所研究的問(wèn)題。本章將研究解釋變量違背經(jīng)典假設(shè)時(shí)的問(wèn)題。

主要內(nèi)容第一節(jié)多重共線性第二節(jié)多重共線性的后果第三節(jié)多重共線性的檢驗(yàn)第四節(jié)多重共線性補(bǔ)救措施？第一節(jié)多重共線性

對(duì)于模型其基本假設(shè)之一是解釋變量x1，x2，…，xk是相互獨(dú)立的，如果其兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則成為多重共線性。如果存在不全為零的c1，c2，…，ck，使得

稱這些解釋變量之間存在完全共線性。

如果出現(xiàn)這種情況，則說(shuō)明存在某個(gè)解釋變量可以由其余的解釋變量線性表示。

當(dāng)然完全的多重共線性的情況并不多見，往往出現(xiàn)的是一定程度上地近似共線性，即

在進(jìn)行經(jīng)濟(jì)計(jì)量分析時(shí)，如果模型地設(shè)定出現(xiàn)失誤，則容易導(dǎo)致完全共線性

例如：設(shè)定居民消費(fèi)對(duì)工資收入和非勞動(dòng)收入N及總收入T的回歸模型為則出現(xiàn)了多重共線性，這是因?yàn)榭偸杖?工資收入+非勞動(dòng)收入，這個(gè)糟糕的設(shè)定導(dǎo)致了完全共線性!!!!!

在實(shí)踐中，許多經(jīng)濟(jì)變量之間往往存在著一定的相互聯(lián)系，但各自又受到一些隨機(jī)因素的影響，從而表現(xiàn)為高度相關(guān)，但又不是完全相關(guān)。

如：影響家庭消費(fèi)支出的家庭收入及家庭財(cái)富兩個(gè)變量就存在明顯的高度相關(guān)；

又如：影響企業(yè)產(chǎn)出的勞動(dòng)投入和資本投入二者之間也往往具有相當(dāng)高的相關(guān)關(guān)系，這是因?yàn)檫@兩個(gè)投入要素與產(chǎn)出成正比，產(chǎn)出高的企業(yè)，投入的要素自然多，這就導(dǎo)致投入要素線性呈相關(guān)性；

再如：建立一個(gè)服裝需求模型，影響服裝需求量q的收入I，服裝價(jià)格p，以及其它商品的價(jià)格往往存在一定的相關(guān)性，按常規(guī)判斷，收入和價(jià)格之間不應(yīng)該相關(guān)。但細(xì)致地分析后發(fā)現(xiàn)，高收入者經(jīng)常在高檔商場(chǎng)購(gòu)買服裝，低收入者往往在低檔商場(chǎng)購(gòu)買，而同樣的服裝在高檔商場(chǎng)和低檔商場(chǎng)的價(jià)格是不同的，這樣就產(chǎn)生了多重共線性。

例題：小商品銷售量決定因素分析Yi=A1+A2X2i+A3X3i+u計(jì)算機(jī)“拒絕”估計(jì)回歸X3i=300－2X2i收入變量(X3)與價(jià)格變量(X2)完全線性相關(guān)；也即存在完全共線性(或者說(shuō)是多重共線性)Yi=A1+A2X2i+A3(300－2X2i)+ui

=C1+C2X2i+ui其中：C1=A1+300A3

C2=A2－2A3這并不是多元回歸，而是Y對(duì)X2的一個(gè)簡(jiǎn)單的雙變量回歸我們雖然可以估計(jì)方程并獲得C1和C2的估計(jì)值，但根據(jù)這些變量我們無(wú)法求得原始參數(shù)A1，A2和A3的估計(jì)值結(jié)論：當(dāng)解釋變量之間存在完全線性相關(guān)或者完全多重共線性時(shí)，我們不可能獲得所有參數(shù)的惟一估計(jì)值。既然我們不能獲得它們的惟一估計(jì)值，也就不能根據(jù)某一樣本做任何統(tǒng)計(jì)推論(也即假設(shè)檢驗(yàn))第二節(jié)多重共線性的后果

1、完全共線性時(shí)的參數(shù)估計(jì)不存在

這是因?yàn)閰?shù)估計(jì)為：

而當(dāng)完全共線性時(shí)，由于，故不存在。

2、一般共線性（近似）下OLS法的參數(shù)估計(jì)量非有效性

由于此時(shí)，而，此時(shí)將引起的主對(duì)角元素變大，從而導(dǎo)致對(duì)應(yīng)的估計(jì)量非有效。4、變量的顯著性失去意義。

5、模型的預(yù)測(cè)功能失效。3、參數(shù)估計(jì)量的經(jīng)濟(jì)含義不合理或不清晰

例如：如果x1和x2

之間存在某種相關(guān)性，則其中一個(gè)變量可以由另一個(gè)變量來(lái)表征。于是x1和x2的系數(shù)并不能反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對(duì)被解釋變量的共同影響，因而失去各自參數(shù)的應(yīng)有經(jīng)濟(jì)含義，當(dāng)這種狀況出現(xiàn)時(shí)，其模型常出現(xiàn)反常現(xiàn)象，如本該出現(xiàn)正的系數(shù)，結(jié)果卻是負(fù)系數(shù)等。第三節(jié)多重共線性的檢驗(yàn)

首先，當(dāng)模型的解釋變量之間高度相關(guān)時(shí)，經(jīng)常會(huì)出現(xiàn)以下的一些癥狀：

第一，盡管對(duì)模型的整體性檢驗(yàn)值（如F值，判定系數(shù)R2）很高，但是各回歸系數(shù)估計(jì)量的方差很大，這樣會(huì)導(dǎo)致對(duì)各回歸系數(shù)顯著性的t檢驗(yàn)值很低，從而使得對(duì)模型的取舍產(chǎn)生矛盾，這表明模型往往出現(xiàn)了多重共線性。第二，回歸系數(shù)的值很難精確估計(jì)，甚至可能出現(xiàn)估計(jì)出的回歸系數(shù)值令人難以置信或符號(hào)錯(cuò)誤的現(xiàn)象，這也導(dǎo)致我們難以精確鑒別各個(gè)解釋變量對(duì)被解釋變量的不同影響。方差很大t檢驗(yàn)值很低第三，模型闡述的估計(jì)量對(duì)刪除或增添少量的觀察值以及刪除一個(gè)不顯著的解釋變量可能非常敏感，換句話說(shuō)，樣本數(shù)據(jù)的很小變化都會(huì)導(dǎo)致模型參數(shù)估計(jì)量的很大變化。

觀察有無(wú)上述癥狀，將有助于判斷解釋變量之間是否存在較嚴(yán)重的多重共線性。

但是，要準(zhǔn)確的測(cè)度解釋變量之間的多重共線性還需要有一些專門的方法和專門地測(cè)度指標(biāo)來(lái)進(jìn)行。

（1）簡(jiǎn)單相關(guān)系數(shù)測(cè)度法

兩變量間的簡(jiǎn)單相關(guān)系數(shù)r是測(cè)定變量之間線性相關(guān)程度的重要指標(biāo)，因此可用來(lái)測(cè)定回歸模型的解釋變量之間的共線性程度。如果兩個(gè)解釋變量的相關(guān)系數(shù)的平方r2比較高（如0.9以上），那么解釋變量之間的共線性將是很嚴(yán)重的。如果兩個(gè)解釋變量的相關(guān)系數(shù)的平方r2大于被解釋變量對(duì)全部解釋變量的判定系數(shù)R2，則解釋變量之間的共線性是有害的。設(shè)xs和xt是兩個(gè)變量，觀察值分別為：

則相關(guān)系數(shù)為：

【注】此方法的缺點(diǎn)是：用簡(jiǎn)單相關(guān)系數(shù)測(cè)度法的局限性在于相關(guān)系數(shù)只能測(cè)度兩個(gè)解釋變量之間線性相關(guān)的程度，而不能測(cè)度三個(gè)或更多解釋變量之間的線性相關(guān)關(guān)系。而模型的判定系數(shù)為：使模型中每一個(gè)解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸分析計(jì)算，并計(jì)算相應(yīng)的擬合優(yōu)度（判定系數(shù)）。如果在某種形式

中判定系數(shù)較大，則說(shuō)明該形式中作為被解釋變量的xj可以用x1，x2，…xl的線性組合來(lái)表示，即：

xj與x1，x2，…xl之間存在共線性。（2）判定系數(shù)檢驗(yàn)法

另外也可以這樣處理：在模型中排除某一個(gè)解釋變量xj

，然后估計(jì)模型，如果擬合優(yōu)度與包含xj時(shí)的擬合優(yōu)度十分接近，這說(shuō)明xj與其它解釋變量之間存在共線性。（3）逐步回歸法

以y為被解釋變量，逐個(gè)引入解釋變量，構(gòu)成回歸模型進(jìn)行模型估計(jì)，根據(jù)擬合優(yōu)度的變化決定新引入的變量是否可以用其它變量的線性組合代替，而不作為獨(dú)立的解釋變量。如果擬合優(yōu)度變化顯著，則說(shuō)明新引入的變量是一個(gè)獨(dú)立的解釋變量，否則如果擬合優(yōu)度變化很不顯著，則說(shuō)明新引入的變量不是一個(gè)獨(dú)立的解釋變量，它可以用其它的變量的線性組合代替（即它與其它變量間存在共線性）。

說(shuō)明(1)多重共線性是一個(gè)程度問(wèn)題而不是存在與否的問(wèn)題。(2)由于多重共線性是在假定解釋變量是非隨機(jī)的條件下出現(xiàn)的問(wèn)題，因而它是樣本的特征，而不是總體的特征。因此，我們不僅可以“檢測(cè)多重共線性”，而且可以測(cè)度任何給定樣本的多重共線性程度。一些經(jīng)驗(yàn)法則(1)R2較高但t值顯著的不多。(2)解釋變量?jī)蓛筛叨认嚓P(guān)(highpairwisecorrelations)。(3)檢驗(yàn)解釋變量相互之間的樣本相關(guān)系數(shù)。(4)從屬(subsidiary)或者輔助(auxiliary)回歸。第四節(jié)多重共線性的補(bǔ)救措施1、排除引起共線性的變量

找出引起多重共線性的解釋變量，將它排除出去，這是較有效的克服多重共線性的方法，因此上述用于檢驗(yàn)多重共線性的方法，同時(shí)也是克服多重共線性的方法，其中以逐步回歸法得到最廣泛的應(yīng)用。2、采用差分模型或增長(zhǎng)率模型

以時(shí)間序列數(shù)據(jù)為樣本，以直接線性關(guān)系為模型關(guān)系的計(jì)量經(jīng)濟(jì)模型，常用差分方法來(lái)克服共線性問(wèn)題

將模型變換為差分模型一般說(shuō)來(lái)，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多，這是由經(jīng)濟(jì)時(shí)間序列數(shù)據(jù)的內(nèi)在性質(zhì)決定的。

例如：設(shè)原模型為如果x1和x2之間存在很強(qiáng)的線性相關(guān)性，為進(jìn)行估計(jì)參數(shù)，改用差分模型

可以證明和的相關(guān)系數(shù)【注】這里的ui已不是不相關(guān)的序列，當(dāng)為不相關(guān)時(shí)，因?yàn)?/p>

故用OLS法得到的估計(jì)不是最小方差線性無(wú)偏估計(jì)。但是，當(dāng)本身是序列相關(guān)時(shí)，如：反而近似為不相關(guān)，此時(shí)用OLS法可得較好的估計(jì)量。不是相關(guān)序列。在實(shí)際應(yīng)用中，除了差分模型外，對(duì)于一些指數(shù)型的問(wèn)題，采用增長(zhǎng)率模型會(huì)更好，例如p為價(jià)格指數(shù)，則在研究?jī)r(jià)格指數(shù)p同價(jià)格指數(shù)p1和p2的關(guān)系時(shí)，若采用模型

往往碰到多重共線性，而若采用模型

則可以避免共線性問(wèn)題。

同樣對(duì)于季節(jié)模型，往往采取與去年同期比的形式來(lái)計(jì)算：在利用模型：后，（對(duì)應(yīng)）（對(duì)應(yīng)）轉(zhuǎn)換成價(jià)格指數(shù)模型。

事實(shí)上，在許多經(jīng)濟(jì)問(wèn)題中，利用增長(zhǎng)率往往比利用絕對(duì)量本身更說(shuō)明問(wèn)題。3、使用非樣本先驗(yàn)信息

非樣本信息來(lái)自于對(duì)經(jīng)濟(jì)理論的分析，如果回歸模型中某些參數(shù)之間有線性關(guān)系，則可以將這種線性關(guān)系轉(zhuǎn)化為某些約束條件，將約束條件和樣本信息結(jié)合起來(lái)進(jìn)行估計(jì)。

如：對(duì)于生產(chǎn)函數(shù)

建立回歸模型

由于勞動(dòng)投入增長(zhǎng)與資本投入增長(zhǎng)往往同步，因此lnL和lnK之間可能高度相關(guān)。如果按照經(jīng)濟(jì)理論“生產(chǎn)規(guī)模報(bào)酬不變”()的假定，代入得回歸模型變?yōu)椋?/p>

因此只要以模型：估計(jì)參數(shù)就可以了，從而達(dá)到避免多重共線性的目的。4、減少參數(shù)估計(jì)量的方差

多重共線性的主要后果是參數(shù)估計(jì)量具有較大的方差，因此采用適當(dāng)方法減少參數(shù)估計(jì)量的方差，雖然不一定能消除模型中的多重共線性，但是確能消除多重共線性產(chǎn)生的后果，常用的做法有：（1）增加樣本的容量

多重共線性本質(zhì)上是一種樣本現(xiàn)象：即使在模型中解釋變量沒(méi)有線性關(guān)系，但在具體獲得樣本時(shí)仍可能有線性關(guān)系。因此多重共線性往往是由于樣本信息不夠充分所致，追加樣本信息是克服多重共線性的有效方法。增加樣本容量通常會(huì)使參數(shù)估計(jì)量的方差減少。（2）嶺回歸法

可以證明，當(dāng)?shù)淖钚√卣髦到咏诹銜r(shí)，將會(huì)很大，在此情況下不是的好估計(jì)。

為了克服這一困難，1970年Hoere和Kemard提出了提高XTX的最小特征值，降低的方差的一種方法，叫做嶺回歸法。

具體方法為：引入矩陣D，將參數(shù)估計(jì)量修正為：

其中α的選取是該方法的關(guān)鍵！先討論的性質(zhì)。的性質(zhì):

（１）估計(jì)的數(shù)學(xué)期望因此當(dāng)a≠0時(shí)，不是的無(wú)偏估計(jì)。

（２）估計(jì)的協(xié)方差協(xié)方差矩陣的跡

（３）系數(shù)估計(jì)的誤差平方和可以看出實(shí)際上是嶺回歸參數(shù)估計(jì)的方差平方和，也就是協(xié)方差矩陣的對(duì)角線元素之和（協(xié)方差矩陣的跡

），它隨a的增加而減少，估計(jì)值同實(shí)際值的差距事實(shí)上，Hoerl與Kennard證明：存在這樣的a0，使得OLS估計(jì)量若以估計(jì)值同真實(shí)值的誤差平方和為準(zhǔn)則的話，嶺回歸估計(jì)比OLS估計(jì)更精確。實(shí)際上是估計(jì)的均值同實(shí)際值的差，它隨a的增加而增加。而因此如果從估計(jì)值同實(shí)際值的差距來(lái)度量估計(jì)的精度的話，就是說(shuō)從的角度來(lái)看估計(jì)的精度，并不一定在a=0時(shí)是最好的，也即最小二乘估計(jì)從來(lái)看，不一定是最好的。在處達(dá)到最小值。現(xiàn)在的問(wèn)題是如何找到a0。下面是一個(gè)簡(jiǎn)便的近似求法：第一步，對(duì)原模型的解釋變量與被解釋變量進(jìn)行標(biāo)準(zhǔn)化和中心化處理。設(shè)第s個(gè)變量的觀察值為xs1，xs2，…，xsn，

得如下模型

第二步：用OLS法估計(jì)新模型，得到參數(shù)與誤差項(xiàng)的估計(jì)量

第三步，a0的估計(jì)量選擇為

代替

用（3）主成分回歸估計(jì)法

設(shè)回歸模型為：并且假定各變量的觀察值是規(guī)范化的，即假定：樣本均值：樣本方差：對(duì)于一般情況，可以用變換將其標(biāo)準(zhǔn)化：對(duì)于上述規(guī)范化的樣本觀察值，令：易知Ｒ是一個(gè)半正定矩陣，故存在一個(gè)正交矩陣使得：其中：是R＝XＴX的k+1個(gè)特征值。于是回歸模型可以寫為：其中：于是的正規(guī)方程為：故有：記：這就是說(shuō)：原來(lái)的數(shù)據(jù)矩陣中的各個(gè)列向量經(jīng)過(guò)正交變換后，得到一組相互正交的列向量若某一個(gè)特征值，則：，由此有得：若，則有：這說(shuō)明的數(shù)據(jù)之間存在多重共線性。

【注】正好等于零很少見，但經(jīng)常存在很近似于零的情形，這表明這些數(shù)據(jù)之間存在著近似的多重共線性。例如：若某問(wèn)題的解釋變量對(duì)應(yīng)的相關(guān)矩陣的特征值如表所示。將這些特征值按大小次序排列。i14.782395.64%20.154398.73%30.040299.53%40.019399.93%50.0036100%

觀察發(fā)現(xiàn)：最大的與最小的相差1328倍，

與

之間也相差244倍。若以全部特征值的和為100％，則前三個(gè)占了99.53％，由此可見

與

可以認(rèn)為是接近零的。從而認(rèn)為解釋變量存在著兩種多重共線性關(guān)系。若把特征值按大小次序排列，不妨設(shè)為：它們對(duì)應(yīng)的稱為ｋ＋1個(gè)主分量。由于則原模型β的估計(jì)問(wèn)題轉(zhuǎn)化為模型中c

的估計(jì)問(wèn)題，即去估計(jì)模型：然后通過(guò)變換：決定β的估計(jì)問(wèn)題。其中：如果某個(gè)，則，于是在新模型中把相應(yīng)項(xiàng)去掉。例如在上面的例子中，則可以去求：中的參數(shù)的估計(jì)，然后由求出β。即：上述方法稱為主成分回歸。此方法中的難點(diǎn)是選擇主分量的個(gè)數(shù)，如果全部引進(jìn)，則回歸系數(shù)的估計(jì)回復(fù)到后的結(jié)果與原來(lái)問(wèn)題的的OLS估計(jì)完全一致，從而不可能解決多重共線性問(wèn)題。如果去掉一些主分量，去掉多少為宜？由于特征值接近于零是相對(duì)的，應(yīng)針對(duì)具體問(wèn)題來(lái)確定。

最后指出：主成分回歸得到的原系數(shù)的估計(jì)不是最小方差線性無(wú)偏估計(jì)。但是已經(jīng)證明：如果用均方誤差來(lái)測(cè)定參數(shù)估計(jì)同真實(shí)估計(jì)值的誤差的話，主成分回歸得到的參數(shù)估計(jì)一般比OLS法得到的參數(shù)估計(jì)的精度要高。多重共線性必定不好嗎如果研究是為了用模型來(lái)預(yù)測(cè)解釋變量的未來(lái)均值，則多重共線性本身未必是一件壞事-通常，預(yù)測(cè)人員都是根據(jù)解釋能力(用R2度量)來(lái)選擇模型的。另一方面，如果研究不僅僅是為了預(yù)測(cè)，而且還要可靠地估計(jì)所選模型的各個(gè)參數(shù)，則嚴(yán)重的共線性將是一件“壞事”，因?yàn)樗鼘?dǎo)致估計(jì)量的標(biāo)準(zhǔn)差增大。六、案例——中國(guó)糧食生產(chǎn)函數(shù)

根據(jù)理論和經(jīng)驗(yàn)分析，影響糧食生產(chǎn)（Y）的主要因素有：農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2)

成災(zāi)面積(X3);農(nóng)業(yè)機(jī)械總動(dòng)力(X4);

農(nóng)業(yè)勞動(dòng)力(X5)已知中國(guó)糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國(guó)糧食生產(chǎn)函數(shù)：

Y=

0+1X1+2X2+3X3

+4X4

+4X