1、數據分析(方法與案例)作者 賈俊平統計學統 計 學Statisticsyyyy-M-好的模型選擇可遵循一個稱為奧克姆剃刀(Occams Razor)的基本原理：最好的科學模型往往最簡單，且能解釋所觀察到的事實。William Navidi統計名言yyyy-M-第 10 章 多元線性回歸10.1 多元線性回歸模型 10.2 擬合優度和顯著性檢驗10.3 多重共線性及其處理10.4 利用回歸方程進行預測10.5 啞變量回歸regression analysisyyyy-M-學習目標多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優度與顯著性檢驗多重共線性問題及其處理利用回歸方程進行預測啞變

2、量的回歸用Excel和SPSS進行回歸分析yyyy-M-身高受那些因素影響？ 決定身高的因素是什么？父母遺傳、生活環境、體育鍛煉，還是以上各因素的共同作用2004年12月，中國人民大學國民經濟管理系02級的兩位學生，對人大在校生進行了問卷調查。問卷采取隨機發放、當面提問當場收回調查的樣本量為98人，男性55人，女性43人。調查內容包括被調查者的身高(單位：cm)、性別、其父母身高、是否經常參加體育鍛煉、家庭所在地是在南方還是在北方等等。部分數據如教材中的表所示(1代表男性，0代表女性) 父親身高、母親身高、性別是不是影響子女身高的主要因素呢？如果是，子女身高與這些因素之間能否建立一個線性關系方

3、程，并根據這一方程對身高做出預測？這就是本章將要討論的多元線性回歸問題 yyyy-M-10.1 多元線性回歸模型 10.1.1 回歸模型與回歸方程 10.1.2 參數的最小二乘估計第 10 章 多元線性回歸yyyy-M-10.1.1 回歸模型與回歸方程10.1 多元線性回歸模型yyyy-M-多元回歸模型 (multiple linear regression model)一個因變量與兩個及兩個以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ， xk 和誤差項 的方程，稱為多元回歸模型涉及 k 個自變量的多元線性回歸模型可表示為 b0 ，b1，b2 ，bk是參數 是被稱為誤差項

4、的隨機變量 y 是x1,，x2 ， ，xk 的線性函數加上誤差項 包含在y里面但不能被k個自變量的線性關系所解釋的變異性yyyy-M-多元回歸模型(基本假定) 正態性。誤差項是一個服從正態分布的隨機變量，且期望值為0，即N(0,2)方差齊性。對于自變量x1，x2，xk的所有值， 的方差 2都相同獨立性。對于自變量x1，x2，xk的一組特定值，它所對應的與任意一組其他值所對應的不相關yyyy-M-多元線性回歸方程 (multiple linear regression equation)描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，xk的方程多元線性回歸方程的形式為 E( y

5、 ) = 0+ 1 x1 + 2 x2 + k xk b1，b2，bk稱為偏回歸系數 bi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均變動值yyyy-M-二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)yyyy-M-估計的多元線性回歸的方程(estimated multiple linear regression equation) 是 估計值 是 y 的估計值用樣本統計量 估計回歸方程中的 參數 時得到的方程由最小二乘法求得一般形式為yyyy-M-10.1.2 參數的最小二乘估計10.1 多元線性回歸模型yyyy-M-參數的最小二乘估計

6、求解各回歸參數的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得 。即yyyy-M-參數的最小二乘法(例題分析)【例10-1】一家商業銀行在多個地區設有分行，其業務主要是進行基礎設施建設、國家重點項目建設、固定資產投資等項目的貸款。近年來，該銀行的貸款額平穩增長，但不良貸款額也有較大比例的提高，這給銀行業務的發展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業務的有關數據做些定量分析，以便找出控制不良貸款的辦法。試建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數x3和固定資產投資額x4的線性回歸方程，并解釋各回歸系數的含義 進行回歸Excel進行回歸SPS

7、Syyyy-M-參數的最小二乘估計(Excel輸出結果)F檢驗t 檢驗偏回歸系數yyyy-M-參數的最小二乘估計(SPSS輸出結果)yyyy-M- 10.2 擬合優度和顯著性檢驗 10.2.1 回歸方程的擬合優度 10.2.2 顯著性檢驗第 10 章 多元線性回歸yyyy-M-10.2.1 回歸方程的擬合優度10.2 擬合優度和顯著性檢驗yyyy-M-多重判定系數(multiple coefficient of determination) 回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例 yyyy-M-修正多重判定系數(adjusted multip

8、le coefficient of determination) 用樣本量n和自變量的個數k去修正R2得到 計算公式為避免增加自變量而高估 R2意義與 R2類似數值小于R2輸出結果SPSSyyyy-M-多重相關系數(multiple correlation coefficient) 多重判定系數的平方根R反映因變量y與k個自變量之間的相關程度實際上R度量的是因變量的觀測值 與由多元回歸方程得到的預測值 之間的關系強度，即多重相關系數R等于因變量的觀測值 與估計值 之間的簡單相關系數即 (一元相關系數r也是如此，即 。讀者自己去驗證)yyyy-M-估計標準誤差 Se對誤差項的標準差 的一個估計值

9、衡量多元回歸方程的擬合優度計算公式為輸出結果SPSSyyyy-M-10.2.2 顯著性檢驗10.2 擬合優度和顯著性檢驗yyyy-M-線性關系檢驗檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應用 F 檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系yyyy-M-線性關系檢驗提出假設H0：12k=0 線性關系不顯著H1：1，2， k至少有一個不等于02. 計算檢驗統計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F 4. 作

10、出決策：若FF ，拒絕H0輸出結果SPSSyyyy-M-回歸系數的檢驗線性關系檢驗通過后，對各個回歸系數有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數進行檢驗，通常需要在建立模型之前作出決定對回歸系數檢驗的個數進行限制，以避免犯過多的第類錯誤(棄真錯誤) 對每一個自變量都要單獨進行檢驗應用 t 檢驗統計量yyyy-M-回歸系數的檢驗(步驟)提出假設H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關系) H1： bi 0 (自變量 xi 與 因變量 y有線性關系) 計算檢驗的統計量 t 確定顯著性水平，并進行決策 tt，拒絕H0； tt，不拒絕H0輸出結果SPSSyyyy-M-回

11、歸系數的推斷 (置信區間)回歸系數在(1-)%置信水平下的置信區間為 回歸系數的抽樣標準差輸出結果SPSSyyyy-M- 10.3 多重共線性及其處理 10.3.1 多重共線性及其識別 10.3.2 變量選擇與逐步回歸第 10 章 多元線性回歸yyyy-M-10.3.1 多重共線性及其識別10.3 多重共線性及其處理yyyy-M-多重共線性(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關多重共線性帶來的問題有 可能會使回歸的結果造成混亂，甚至會把分析引入歧途 可能對參數估計值的正負號產生影響，特別是各回歸系數的正負號有可能同預期的正負號相反 輸出結果SPSSyyy

12、y-M-多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關系數，并對各相關系數進行顯著性檢驗若有一個或多個相關系數顯著，就表示模型中所用的自變量之間相關，存在著多重共線性如果出現下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關當模型的線性關系檢驗(F檢驗)顯著時，幾乎所有回歸系數的t檢驗卻不顯著 回歸系數的正負號與預期的相反輸出結果SPSSyyyy-M-相關矩陣及其檢驗 (SPSS ) SPSS yyyy-M-多重共線性的處理將一個或多個相關的自變量從模型中剔除，使保留的自變量盡可能不相關如果要在模型中保留所有的自變量，則應避免根據 t 統計量對單個參數進

13、行檢驗對因變量值的推斷(估計或預測)的限定在自變量樣本值的范圍內輸出結果SPSSyyyy-M-10.3.2 變量選擇與逐步回歸10.3 多重共線性及其處理yyyy-M-變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統計量的值作為一個標準，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量

14、變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優子集等 yyyy-M-向前選擇 (forward selection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型 分別擬合引入模型外的k-1個自變量的二元線性回歸模型 如此反復進行，直至模型外的自變量均無統計顯著性為止yyyy-M-向后剔除 (backward elimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(pk)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小

15、最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止yyyy-M-逐步回歸 (stepwise regression)將向前選擇和向后剔除兩種方法結合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量

16、已經不能導致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中yyyy-M-參數的最小二乘估計(逐步回歸)【例10-4】根據例10-1的數據，用逐步回歸方法建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數x3和固定資產投資額x4的線性回歸方程，并求出不良貸款的置信區間和預測區間 yyyy-M-用SPSS進行逐步回歸 (stepwise regression)第1步：選擇【Analyze】下拉菜單，并選擇 【Regression - linear】選項進入主對話框第2步：在主對話框中將因變量選入【Depen

17、dent】，將 所有自變量選入【Independent(s)】，并在 【Method】下選擇【Stepwise】第3步：點擊【Options】，并在【Stepping Method Criteria】下選中【Use Probability of F】，并在 【Entry】框中輸入增加變量所要求的顯著性水平 (隱含值為0.05，一般不用改變)；在 【Removal】輸入剔除變量所要求的顯著性水平 (隱含值為0.10，一般不用改變)。點擊 【Continue】回到主對話框yyyy-M-用SPSS進行逐步回歸 (stepwise regression)第4步：(需要預測時)點擊【Save】： 在【P

18、redicted Values】下選中 【Unstandardized】(輸出點預測值) 在【Prediction interval】下選中【Mean】和 【Individual】(輸出置信區間 和預測區間) 在【Confidence Interval】中選擇所要求的置 信水平(隱含值為95%，一般不用改變) (需要殘差分析時)在【Residuals】下選中所 需的殘差，點擊【Continue】回到主對話 框。點擊【OK】進行回歸SPSSyyyy-M-逐步回歸 (例題分析SPSS輸出結果)變量的進入和移出標準 yyyy-M-逐步回歸 (例題分析SPSS輸出結果)兩個模型的主要統計量 yyyy-

19、M-逐步回歸 (例題分析SPSS輸出結果)兩個模型的方差分析表 yyyy-M-逐步回歸 (例題分析SPSS輸出結果)兩個模型的參數估計和檢驗 yyyy-M- 10.4 利用回歸方程進行預測第 10 章 多元線性回歸yyyy-M-置信區間和預測區間(例題分析)yyyy-M-用SPSS做回歸面圖 第1步：點擊【Graphs】【Interactive-Scatterplot】第2步：點擊【3D Coordine】，將各坐標軸變量拖入相應坐標軸第3步：點擊【Fit】，在【method】下選擇【Regression】，在【Prediction Lines】下選擇【Mean】和【Individual】。點

20、擊【確定】做回歸面SPSSyyyy-M-置信區間和預測區間(例題分析)不良貸款的置信面和預測面二元回歸面置信面預測面yyyy-M-第 10 章 多元線性回歸 10.5 啞變量回歸 10.5.1 在模型中引進啞變量 10.5.2 含有一個啞變量的回歸yyyy-M-10.5.1 在模型中引進啞變量10.5 啞變量回歸yyyy-M-啞變量(dummy variable)也稱虛擬變量。用數字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女) 有兩個以上水平的啞變量貸款企業的類型(家電，醫藥，其他) 啞變量的取值為0，1yyyy-M-在回歸中引進啞變量回歸模型中使用啞變量時

21、，稱為啞變量回歸當定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女) 一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量yyyy-M-在回歸中引進啞變量(例題分析)【例10-6】為研究考試成績與性別之間的關系，從某大學商學院隨機抽取男女學生各8名，得到他們的市場營銷學課程的考試成績如右表 yyyy-M-10.5.2 含有一個啞變量的回歸 10.5 啞變量回歸yyyy-M-在回歸中引進啞變量(例題分析)【例10-7】建立考試分數與性別之間的線性回歸方程，并解釋回歸系數的含義進行回歸Excelyyyy-M-啞變量回歸 (例題分析)引進啞變量時，回歸方程表示為

22、E(y) =0+ 1x男( x=0)：E(y) =0男學生考試成績的期望值女(x=1)：E(y) =0+ 1女學生考試成績的期望值注意：當指定啞變量0，1時0總是代表與啞變量值0所對應的那個分類變量水平的平均值1總是代表與啞變量值1所對應的那個分類變量水平的平均響應與啞變量值0所對應的那個分類變量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1yyyy-M-啞變量回歸 (例題分析) 考試成績與性別的回歸男學生考試分數的平均值女學生與男學生平均考試分數的差值yyyy-M-用SPSS進行啞變量回歸(有一個啞變量和有一個數值變量)第1步：選擇【Analyze】，并選擇【General Linear Model-Univaiate】進入主對話框第2步：將因變量(考試成績)選入【Dependent Variable】，將自變量(性別)選入【Fixed Factor(s)】(模型中還含有一個數值自變量時，將數值自變量選入【Covariate(s)】)第3步：點擊【Model】，并點擊【Custom】；將性別F選入【Model】(若模型中還含有工作年限自變量時，將工作年限C也選入【Model】；在【Build Term(s)】下選擇【Main effects】。點擊【Continue】回到主對話框。點擊【Options】，在【Di