1、精品文檔一元線性回歸模型多元線性回歸模型總體回歸函數E(Y|X)0iXE(Y即EXi,X2 Xk)0iXi2X2kXk(Y|X)xb總體回歸模型 (總體回歸函數的 隨機表達形式)y E(Y|X)0iX丫 E(Yxi，X2 xj即y XB 卩01Xi 2X2k X k樣本回歸模型 (樣本回歸函數的 隨機表達形式)Y0?iX e丫?0?Xi?2x2?kXk e 即Y X? e樣本回歸函數Y 和?iXY ?0 ?Xi ?2X2?kXk即丫？ X 歹給定一組容量為 n 的樣本(Xi,YJ,(X2,Y2), (Xi,Yi), (Xn,Yn)貝上述式子可以寫成：(Xii,Xi2,Xik,Yi),(X2i,

2、X22,X2k,Y2),給定一組容量為n的樣本，(Xii,Xi2,Xik,Yi)(X ni , X n 2 ,X n k , Yn )則上述式子可以寫成：總體回歸函數E(Yi Xi)oiXiE(YiXii，Xi2Xik)01X ii2Xi 2kXik總體回歸模型Yi E(Y|Xi01X ii丫E(Yi|Xii，Xi2Xik)i0iXii2Xi2kXi ki樣本回歸模型Yi?XieiY 兔？Xii ?Xi2?kXik ei樣本回歸函數Y?彳?iXiY?0?iXii?2Xi2?kXik樣本回歸函數的離 差形式?iy xB解釋變量的個數 (包括常數項)2 個：C, Xk+i 個：C, Xi, X 2

3、,X k基本假定假設1 :回歸模型是正確設定 的。模型設定正確假設。假設2:確定性假設。解釋變量 X是確定性變量，不是 隨機變量，在重復抽樣確定性假設。解釋變量x1,x2, xk是非隨機或固定的， 且中取固定值。：各X j之間不存在嚴格線性相關(無完全多重共線性)。假設3: 樣本變異性假 設。對解釋變量X抽取的樣本 觀察值并不完 全相同。 樣本方差趨于 常數假設。 樣本變異性假設。各解釋變量Xj在所抽取的樣本中具有變異性。 樣本方差趨于常數假設。隨著樣本容量的無限增加，各解釋變量的樣本方差區域 一個非零的有限常數。假設4:隨機誤差項零均值、 同方差、不序列相關假 設。隨機誤差項卩零均值、同方差

4、、不序列相關假設。假設5:隨機誤差項與解釋變 量不相關。隨機誤差項與解釋變量不相關。假設：6:正態性假設。隨機項服 從正態分布。正態性假設。隨機項服從正態分布。參數估計一元線性回歸模型多元線性回歸模型普通最小二乘估計(OLS)殘差平方和達到最小，得到正規方程組，求得 參數的普通最小二乘估 計值：?Xi yi1 2Xi(普通? 一？ 一?0 Y ?X最小二乘估計的離差形式)隨機干擾項的方差的估 計量2?2 n 2殘差平方和達到最小，得到正規方程組，求得參數的普通最小二乘估計值 伊(XX) 1XY化(xx)- 1xy彳 Y ?Xi“k(普通最小二乘估計的離差形式 )2隨機干擾項的方差 ？2 een

5、 k 1 n k 1最大似然估計(ML) 矩估計(MM )|參數估計值估計結果與OLS方法一致，但隨機 干擾項的方差的估計量與OLS不 同2?2 en參數估計值估計結果與 OLS方法一致，但隨機干擾項的方差2的估計量？2eLn參數估計量的性質線性性、無偏性、有效線性性、無偏性、有效性性?12N( i,)參數估計量的概率x分布?0X2八12N( 0,2)nxi樣本容量 n必須不少于模型中解釋變量的個數（包括常數項），即n k1才能得到參數估計值，n-k 8時t分布才樣本容量問題比較穩定，能夠進行變量的顯著性檢驗，一般認為n 30活著至少n 3k1時才能滿足模型估計要求。如果樣本量過小，則只依靠樣

6、本信息是無法完成估計的，需要用其他方法去估計。統計檢驗一元線性回歸模型多元線性回歸模型總離差平方和的分解TSS=ESS+RSS2 ESSRSSR21，（即總平方和中回歸平方和的比例TSS)TSS總離差平萬和的分解22R0,1對于冋一個模型，R越接近于1，擬合優度越高。TSS=ESS+RSSESS擬合優度檢驗R2-2. RSS( n k 1)TSS，R 1 （調整的思路是殘差平方和 RSS和總平方和TSSTSS/( n 1)R20,1越接近于1,各自除以它們的自由度)擬合優度越高。2為什么要對 R進行調整？解釋變量個數越多，它們對 Y所能解釋的部分越大（即回歸平方和部分越大），殘差平方和部分越小

7、，R2越高，由增加解釋變量引起的R2的增大與擬合好壞無關，因此在多元回歸模型之間比較擬合優度R2就不是一個合適的指標，必須加以調整。目的：對模型中被解釋變量與解釋變量之間的線性關系在總體上是否成立做出判斷。原假設心消1二0, 0. “.歸=0備擇假設：叫；gm不全為弄方程總體顯著性檢 驗統計量的構造：ESS!kf嚴H判斷步驟：計算F統計量的值給定顯著性水平“，查F分布的臨界值表獲得|Fa(M -L - I丄)比較F與"，的值，若"卩d,拒絕原假設，認為原方程總體線性關系在的置信水平下顯著。若，接受原假設，不能認為原方程總體線性關系在的置信水平下顯著。目的：對模型中被解釋變量

8、對每一個解釋變量之間的線性關系是否成立作出判斷，或者說考察所選擇的解釋變量對被解釋變量是否有顯著的線性影響。針對某解釋變量，原假設:坳島二°備擇假設： 嘰主0最常用的檢驗方法：t檢驗構造統計量變量的顯著性檢驗參數的置信區間判斷步驟：計算t統計量的值 給定顯著性水平CT,查t分布的臨界值表獲得xa（n- -1| 比較t值與空的值，若，拒絕原假設，認為變量 卜寸在的置信水平下通過顯著性檢驗（或者說，在的顯著性水平下通過檢驗），認為解釋變量對被解釋變量 Y有顯著線 性影響。若，接受原假設，在顯著性水平下沒有足夠證據表明對Y有顯著線性影響。目的：考察一次抽樣中樣本參數的估價值與總體參數的真實值的接近程度。思路:構造一個以樣本參數的估計值 為中 心的區間，考察它以多大的概率包含總體 參數的真實值。方法：預先選擇一個概率忖披疋誑竄口 使得區間I為7 紐慾 包含參數真值 岡的概率即尸 厲-氏島莖記+ $） = l-a5= ta x 5計算其中的用（'），從而求出1-口置信度 下旳的 置信區間："fJ2 2掌握概念：置信區間置信度顯著性水平實際應用中