賈俊平2024/1/30StatisticswithR統計學R語言

賈俊平2024/1/3010.1回歸模型及其參數估計10.2擬合優度和顯著性檢驗10.3多重共線性及其處理10.4相對重要性和模型比較10.5利用回歸方程進行預測10.6啞變量回歸

多元線性回歸

思維導圖

10.1

回歸模型及其參數估計多元線性回歸模型及其假定

10.1

回歸模型及其參數估計多元線性回歸模型的估計方程

10.1

回歸模型及其參數估計參數的最小二乘估計

10.1

回歸模型及其參數估計參數的最小二乘估計——例題分析

餐館153.2163.0168.6600456.5218.514.522.52091116.0311.388.2109.419191018.2484.7151.6277.07287710.057.379.117.453111517.5617.960.493.0610983.672.553.221.540571718.5827.3108.5114.5416134.095.948.761.321661011.61023.9142.8129.811125914.2…………………#擬合模型example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)summary(model1)#輸出置信區間confint(model1,level=0.95)#輸出方差分析表anova(model1)

10.2

擬合優度和顯著性檢驗模型的擬合優度——多重決定系數——估計標準誤差

估計標準誤差——對誤差項

的標準差

的一個估計值，計算公式為

詳見R輸出

10.2

擬合優度和顯著性檢驗顯著性檢驗——線性關系檢驗（F檢驗）檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系

10.2

擬合優度和顯著性檢驗顯著性檢驗——回歸系數檢驗（t檢驗）

詳見R輸出

10.3

多重共線性及其處理多重共線性的識別

#例題分析——計算VIFmodel1<lm(y~x1+x2+x3+x4+x5,data=example10_1)library(car)vif(model1)1/vif(model1)將一個或多個相關的自變量從模型中剔除，使保留的自變量盡可能不相關如果要在模型中保留所有的自變量，則應避免根據t統計量對單個參數進行檢驗對因變量值的推斷(估計或預測)的限定在自變量樣本值的范圍內

10.3

多重共線性及其處理多重共線性的處理——變量選擇——向前選擇和向后剔除變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸等向前選擇從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的二元線性回歸模型如此反復進行，直至模型外的自變量均無統計顯著性為止向后剔除先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止

10.3

多重共線性及其處理多重共線性的處理——變量選擇——逐步回歸逐步回歸將向前選擇和向后剔除兩種方法結合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經不能導致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中R的逐步回歸——信息最小準則（AIC）R中的逐步回歸以AIC信息準則為選擇標準，選擇使AIC最小的變量建立模型赤池信息準則也被稱為AIC準則(Akaike’sInformationCriterion)，由日本學者赤池于1973年提出除應用于線性模型的變量篩選外，還被應用于時間序列自回歸模型階數的確定AIC由兩部分組成，一部分反映模型的擬合精度，一部分反映模型中參數的個數，即模型的繁簡程度。AIC的值越小，說明擬合的模型精度越高而且又簡潔當用最小二乘法擬合模型時，計算公式為

10.3

多重共線性及其處理多重共線性的處理——變量選擇——逐步回歸——例題分析#逐步回歸example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-step(model1)#擬合逐步回歸模型model2<-lm(y~x1+x2+x5,data=example10_1)summary(model2)#模型診斷plot(model2,which=1:2)

10.4

相對重要性和模型比較自變量的相對重要性——標準化回歸系數

#例題分析——計算標準化回歸系數example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)library(lm.beta)model1.beta<-lm.beta(model1)summary(model1.beta)

10.4

相對重要性和模型比較模型比較——全模型-簡化模型-嵌套模型——比較的檢驗方法

10.4

相對重要性和模型比較模型比較——anova方法

10.4

相對重要性和模型比較模型比較——anova方法——例題分析

#例題分析——模型比較example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)anova(model2,model1)

10.4

相對重要性和模型比較模型比較——AIC準則——例題分析用anova做模型比較時，要求模型必須是嵌套的用AIC信息準則也可以用來比較模型，而且它不要求模型必須是嵌套的AIC值越小，說明模型用較少的參數(或自變量)就獲得了足夠的擬合度。因而模型將被優先選擇#例題分析——AIC準則-模型比較model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)AIC(model2,model1)

10.5

回歸模型的模型診斷模型診斷——殘差與標準化殘差殘差—因變量的觀測值與預測值之差，用e表示反映了用估計的回歸方程去預測而引起的誤差可用于確定有關誤差項

的假定是否成立

標準化殘差—殘差除以它的標準差殘差圖—模型診斷工具

10.5

回歸模型的模型診斷模型診斷——例題分析#模型診斷圖example10_1<-read.csv("C:/example/chap10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)par(mfrow=c(2,2),cex=0.8,cex.main=0.7)plot(model2)#繪制模型診斷圖#模型預測example10_1<-read.csv("C:/example/ch10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)x<-example10_1[,c(3,4,7)]pre<-predict(model2)res<-residuals(model2)zre<-rstandard(model2)con_int<-predict(model2,x,interval="confidence",level=0.95)pre_int<-predict(model2,x,interval="prediction",level=0.95)mysummary<-data.frame(營業額=example10_1$y,點預測值=pre,殘差=res,標準化殘差=zre,置信下限=con_int[,2],置信上限=con_int[,3],預測下限=pre_int[,2],預測上限=pre_int[,3])round(mysummary,3)

10.6

啞變量回歸在模型中引入啞變量——例題分析也稱虛擬變量。用數字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量，如性別(男，女)有兩個以上水平的啞變量，如貸款企業的類型(家電，醫藥，其他)啞變量的取值為0，1當定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量例題分析【例10-8】沿用例10-1。假定在分析影響日均營業額的因素中，再考慮“交通方便程度”變量，并設其取值為“方便”和“不方便”。為便于理解，原來的5個自變量我們只保留用餐平均支出一個數值自變量。假定調查得到的數據表編號日均營業額y用餐平均支出x1方便程度x2153.2168.6方便218.522.5方便311.3109.4不方便484.7277.0方便57.317.4不方便617.993.0方便72.521.5不方便827.3114.5方便95.961.3不方便1023.9129.8方便…………

10.6

啞變量回歸在模型中引入啞變量——例題分析#日均營業額與用餐平均支出的一元回歸example10_7<-read.csv("C:/example/ch10/example10_7.csv")model_s<-lm(