1、多元線性回歸模型的參數(shù)估計Estimation of Multiple LinearRegression Model一、多元線性回歸模型二、多元線性回歸模型的參數(shù)估計0LS估計量的統(tǒng)計性質(zhì)參數(shù)估計量的方差-協(xié)方差矩陣和隨機誤差項L方差的估計五、樣本容量問題六.多元線性回歸模型實例多元線性回歸模型1、多元線性回歸模型的形式由于:蠶豔鸚題中f變量往往受到多個原“從一般到簡單”的建模思路。所以，在線性回歸模型中的解釋變量有多個， 至少開始是這樣。這樣的模型被稱為多元線性 回歸模型。多元線性回歸模型參數(shù)估計的原理與一元線性 回歸模型相同，只是計算更為復雜。i=l，2，,n(2.3.1)多元線性回歸模型

2、的一般形式為：Y嚴仇+隊X +譏+ 0皿+叢其中：k為解釋變量的數(shù)目；習慣上把常數(shù)項看成為一個虛變量的系數(shù)，在 參數(shù)估計過程中該虛變量的樣本觀測值始終取1。 這樣：模型中解釋變量的數(shù)目為（k+1） o多元線性回歸模型的矩陣表達式為:其中XB + N“1X2 xk%X22 Xk2心 (2.3.2)X(R + 1)B =002N =1“2_A_(R + l)xlHi _nx 12、多元線性回歸模型的基本假定模型(2.3.1)或(232)在滿足下述所列的基本假設的情況下，可以采用普通最小二乘法(OLS)估計參數(shù)。關于經(jīng)典回歸模型的假定標量符號1、解釋變量X，Xk是非隨機的或固定的；而且各X之間互不相

3、關(無多重共線性(no multicollinearity)矩陣符號1、“2 + 1)矩陣X是非隨機的；且X的秩處0十1,此時Y t y也是滿秩的標量符號2、隨機誤差項具有零均值、同方差及不序列相關 (“,)= 0i = 1,2,/= E(心=a2i = 1,2,/?CovQa) = (/.)二 0i 去 j矩陣符號2、E(N) = 0, E(NNT) =(y2I/ 、E(N) = E=0(他J& 丿E(NNT) = E(“血)=E/ 2 、Ai“ 2b0、= cr2ZJ丿丿21“的乩丿0 b 丿標量符號3、解釋變量與隨機項不相關Cov（X卩屮J 二 0i = 1,2,/矩陣符號3、(X7Jv

4、)= O ,即（手仙）E=0JX Kii )Xk(“J 丿4、(為了假設檢驗)，隨機擾動項服從正態(tài)分布H N(0q2) i = 1,2,矩陣符號4、向量N為一多維正態(tài)分布，即二、多元線性回歸模型的參數(shù)估計1、普通最小二乘估計普通最小二乘估計隨機抽取被解釋變量和解釋變量的n組樣本觀測值:(Y, X .), 心 1,2,/, j =i=l,2/-n(2.3.3)如果模型的參數(shù)估計值已經(jīng)得到，則有: 二 Bo + BXi + B 2i * 卜 BkjX Ki(234)(2.3.5)根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解:0 Q 0超0r Q = 0dk 0 = 0其中nnz=li=丈匕-(

5、久+ Bh +艮爲+A 4)i=于是，得到關于待估參數(shù)估計值的正規(guī)方程組:2(00 + 仇Xu +fi2X 2i + + 0kXki)=糾y(A)+ BX、i +82X21 + +BkXjXi = u(2.3.6)即：XfXB二 XY（236）的矩陣形式如下:由于XX滿秩，故有0。(11 1、A X xA 1“ Y2 Xk2 XlKH y(237)B=(xfxyxfY(238)根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解:估計過程的矩陣表示：對于模型(2.3.3)式有：Y = XB被解釋變量的觀測值與估計值之差的平方和為:nn。二才=(兀-刃)2/=1/=1efe = (Y-XBY(Y-X

6、B)其中X(y-xB)z(r-AB)= o求解過程如下：-(Yf-BrXr)(Y-XB) = O 刀BZ(Y Y - BrXrY YrXB + BrXrXB)二 0 刀B厶(Y Y 2Y XBr + BfXrXB) = 0刀B二(Y Y - 2(X Y/ Bf + BrXrXB) = 0刀B-XzY + XfXB = O即得到X Y = X fXB于是，參數(shù)的最小二乘估計值為:八1B = (XX)XY2、最大或然估計 Y的隨機抽取的n組樣本觀測值的聯(lián)合概率厶（氏b；）=戶（力*2,宀）1入入八入C1工（X-（） + 01九+02兀2+幾兀竝）e 2片1 / /I_L（Y XB）（YXB） 2

7、巧對數(shù)或然函數(shù)為 廠二 Ln（L）二 _伽（匹込）-一（y-XB）（y-XB）參數(shù)的最大或然估計直=HXY結果與參數(shù)的普通最小二乘估計相同3、矩估計(Moment Method, MM)用每個解釋變量分別乘以模型的兩邊，并對所有 樣本點求和，即得到：% - 2(00 + 0Xi + AX2z + +幾兀燈 + H 丿-(燉+ AXli +禹兀2i+幾兀加+ A )XiiX2i -+ PXi + AX2z+，+AXh + A ) X2iiXki =+ AXh + 爲兀 2i+包兀加 +“)對每個方程的兩邊求期望，有:Ei) =Ed(0+ 禹兀2zPkXki+ J)E(刀開兀 1J =E(E(A)

8、+ PXi+ PlX2iPkXki+ “J 兀1J (Ey/X2- ) =E(0o+ 01 兀H+ 卩2*2iPkXki+ M )X2i )E(gPi 兀聽)E(A + 0Xp + 卩2*2iPkXki + “J 兀燈)得到一組矩條件工 X = 2（00 + 0Xi + 爲兀 2z 工沁ZKxki）ZKZKZKZK=Y（A） +01 勺 + PlX2i +- * PkXki）XliZKZKZKZK=工（保 + PXi + A X2i 0k X kJ X 21zvfz=Y（A） + PXi + 2X2i PkXkdXki求解這組矩條件，即得到參數(shù)估計量與OLS、ML估計量等價矩方法是工具變量方法

9、(Instrumental VariablesJV) 和廣義矩估計方法(Generalized Moment Method，GMM)的基礎在矩方法中關鍵是利用了*(“/“)= 0J = 1,2,，k如果某個解釋變量與隨機項相關，只要能找到1個 工具變量，仍然可以構成一組矩條件。這就是IV。如果存在k+i個變量與隨機項不相關，可以構成 一組包含k+l方程的矩條件。這就是GMMo4、多元回歸方程及偏回歸系數(shù)的含義在經(jīng)典回歸模型的諸假定下，式(2.3.1)兩邊對Y求條件期望得：E(y,. I x11.,x2l,-,x,.)= /?0 + /7,x1(. + 2x2(. +(2.3.9)稱為多元回歸方

10、程(函數(shù))O多元回歸分析(multiple regression analysis )是以 多個解釋變量的固定值為條件的回歸分析，并且所 獲得的是諸變量X值固定時Y的平均值。諸卩：稱為偏 回歸系數(shù)(partial regression coefficients)。偏回歸系數(shù)的含義如下:卩1度量著在x2,x3,.,Xk保持不變的情況下，X 每變化1個單位時，Y的均值E(Y)的變化，或者說卩1 給出X的單位變化對Y均值的“直接”或“凈” (不含其他變量)影響。其他參數(shù)的含義與之相同-三、OLS估計量的統(tǒng)計性質(zhì)參數(shù)估計量的方差-協(xié)方差矩陣和隨機誤差項L方差的估計1. 一個疑問與回答疑問：在無偏性證明

11、中將參數(shù)估計量看作隨機量,而在正規(guī)方程組的推導中又將它看作確定值。如 何解釋？解釋：將一組具體樣本資料代入?yún)?shù)估計量的表 達式給出的參數(shù)估計結果是一個“估計值”，或 者“點估計”，是參數(shù)估計量的一個具體數(shù)值， 是確定的；但從另一個角度，僅僅把它看成是參 數(shù)估計量的一個表達式，那么，則是被解釋變量 觀測值的函數(shù)，而被解釋變量是隨機變量，所以 參數(shù)估計量也是隨機變量，在這個角度上，稱之 為“估計量” O2、參數(shù)估計量的方差-協(xié)方差將參數(shù)估計量看作隨機量，具有數(shù)字特征。參數(shù)估計量的方差以及不同參數(shù)估計量之間的 協(xié)方差在模型理論中具有重要性。具體描述如下：E（念0。）2E（0廠即（仇0。） E（久一僅

12、）（念0。）Wo-/?o)(A-a)W.-A)2 W,-A)(A-A)/x/V、E(0-0)(炕-伐)e(A-a)(A-a)Wa-A)2(3.1.14)由于矩陣/Bo 00、(A)-0o P-PBk-0k)- j= a2(XrX)_,(2.3.15)= a2(XrX)_,(2.3.15)主對角線給出了各參數(shù)估d揚的方差，其余部分給出了不同參數(shù)估計A與屁的協(xié)方差,故稱為參數(shù)估計向量的方差-協(xié)方差矩陣。由(2.3.8)式可得的方差-協(xié)方差矩陣的矩陣符號表達式:var - cov( B) = E(B - B)( B - B)二 E(XX)“ X Y B(XX)J X Y - B=E (XrX)_1

13、X(XB + N)-BJXX)-1 X(XB + N)-Bz=E(X，X)T XN(X，X)i XTNr = E(XrX 尸 XNNXCXX)1 =(XXNNXCXX)-1 = a2(XrX)-1X,-IX(XrX)-1記勺為矩陣(XQT中第，行第j列元素，比較(3.1.14)與 (3.15)式，知第r個回歸參數(shù)估計量 C=0, 1, 2,，k) 的方差、標準差、協(xié)方差為：var(4/) = Fa（k,n- k-1）或 F S F/kn- k-1）來拒絕或接受原假設仏O在消費模型中，k=2, n=16,給定a =0. 01,查得F。01（2,13）=3. 80,而 F =28682. 513.

14、 80,所以該線裡 模型在0. 99的水平下顯著成立。關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論可見，F(xiàn)與R2同向變化：當R2 = 0時，F(xiàn)=0當R2二時，F(xiàn)為無窮大；R2越大，F(xiàn)值也越大。，因此，F(xiàn)檢驗是所估計回歸的總顯著性的一個度量，也 是F或/的一個顯著性檢驗。亦即：檢驗原假設=，爲=0,，氏=0 ,等價于檢驗r2= 0這一虛擬假設。回答前面的問題：R2多大才算通過擬合優(yōu)度 檢驗？在消費模型中，R2o. 28-F3. 80-該線性模 型在0. 99的水平下顯著成立。有許多著名的模型，R?小于0.5,支持了重 要的結論，例如收入差距的倒U型規(guī)律。不要片面追求擬合優(yōu)度。變量顯著性檢驗Test

15、ing the Individual Significance1、變量顯著性檢驗對于多元線性回歸模型，方程的總體線性關系是顯 著的，并不能說明每個解釋變量對被解釋變量的影響 都是顯著的。因此，必須對每個解釋變量進行顯著性檢驗，以 決定是否作為解釋變量被保留在模型中。變量顯著性檢驗的數(shù)理統(tǒng)計學基礎相同于方程顯著 性檢驗，檢驗的思路與程序也與方程顯著性檢驗相似。用以進行變量顯著性檢驗的方法主要有三種：F檢 驗、t檢驗、z檢驗。它們的區(qū)別在于構造的統(tǒng)計量不 同。應用最為普遍的t檢驗。2、變量顯著性的F檢驗易知鳥服從下列正態(tài)分布：4 N(0匕)其中：s表示矩陣(rx)-主對角線上的第i個元素為隨 機誤差項的方差。已經(jīng)知道 efe%2n-k-Y)如果構造一個統(tǒng)計量t t(n -1)提出原假設與備擇假設：Ho：山二0, Hi： piO給定一個顯著性水平，得到一