逐步回歸分析1最優(yōu)回歸方程的問題在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程最優(yōu)回歸方程的要求：回歸效果最佳自變量的個(gè)數(shù)最少一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸方程，另一方面對(duì)因變量作用不顯著的自變量都剔除回歸方程，選擇一個(gè)最佳的變量組合2

選擇最優(yōu)回歸方程的方法1.從所有可能的變量組合中，選擇一個(gè)最優(yōu)的回歸方程。這種方法一定能選出一個(gè)最優(yōu)組合，但工作量特別大2.逐步剔除法基本步驟：從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對(duì)因變量作用不顯著的自變量；對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入33.逐步引入法①基本步驟：先逐個(gè)比較xl,…,xp對(duì)y的回歸方程那些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x

就被“引入”方程。無(wú)妨設(shè)x

就是x1再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對(duì)y的回歸方程，看有沒有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無(wú)妨設(shè)第二次“引入”的自變量是x2再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程44．逐步回歸分析方法按照自變量對(duì)因變量所起作用的顯著程度，從大到小逐個(gè)地引入回歸方程當(dāng)每一變量引入以后，若先前已經(jīng)引入的變量由于后來變量的引入而使其作用變得不顯著時(shí)，就及時(shí)從回歸方程中剔除出去，直到作用顯著的變量都引入到回歸方程，而作用不顯者的變量都剔出回歸方程，得到一個(gè)最佳的變量組合為止②“逐步引入“法的缺點(diǎn)：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求5逐步回歸分析的幾個(gè)問題一、建立標(biāo)準(zhǔn)正規(guī)方程組二、變量的引入、剔除與消去法的關(guān)系6一、建立標(biāo)準(zhǔn)正規(guī)方程組為了分辨p個(gè)自變量對(duì)因變量Y所起影響(或作用)的大小，一個(gè)自然的想法是比較各自變量回歸系數(shù)

(j＝1,2,…,p)的絕對(duì)值的大小。根據(jù)回歸系數(shù)的含義，Xj的回歸系數(shù)

是在其余p－1個(gè)自變量保持不變的條件下，Xj改變一個(gè)單位所引起Y平均變化的大小。因而回歸系數(shù)絕對(duì)值的大小反映了它所代表的因素的重要程度由于回歸系數(shù)和自變量所取的單位(或數(shù)量級(jí))有關(guān)，而各個(gè)自變量取不同的量綱的情況是常見的，因而不能將回歸系數(shù)直接進(jìn)行比較7建立標(biāo)準(zhǔn)正規(guī)方程組為了消除這個(gè)影響，對(duì)自變量和因變量都要加以標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化的方法經(jīng)過標(biāo)準(zhǔn)化的變量，其均值為0，標(biāo)準(zhǔn)離差Lxjxj為18標(biāo)準(zhǔn)正規(guī)方程組由標(biāo)準(zhǔn)化數(shù)據(jù)建立的正規(guī)方程組的系數(shù)矩陣即為變量間的相關(guān)系數(shù)矩陣，稱為標(biāo)準(zhǔn)化正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組為：9標(biāo)準(zhǔn)正規(guī)方程組標(biāo)準(zhǔn)化正規(guī)方程組的解稱為標(biāo)準(zhǔn)回歸系數(shù)，其常數(shù)項(xiàng)為0。由于因變量也進(jìn)行了標(biāo)準(zhǔn)化，其總離差平方和Lyy=1求解標(biāo)準(zhǔn)化正規(guī)方程組還需要解決以下兩個(gè)問題①引入變量和剔除變量的標(biāo)準(zhǔn)；②引入變量與剔除變量的方法。10二、變量的引入、剔除與消去法的關(guān)系假定已有l(wèi)個(gè)自變量引入到回歸方程，即相應(yīng)的平方和分解公式是為了表明U和Q與引入的自變量是有關(guān)的，分別用符號(hào)U(x1,…,xl)和Q(x1,…,xl)表示11當(dāng)增加一個(gè)自變量xi(i=l+1,…,p)后，有了新的回歸方程，相應(yīng)的平方和分解公式是原來的是注意到上兩式左端Lyy是一樣的，當(dāng)xi引入后，回歸平方和從U(x1,…,xl)增加到U(x1,…,xl,xi)，而殘差平方和從Q(x1,…,xl)降到Q(x1,…,xl

,xi)12因此，有記

ui就是回歸方程中引入xi后對(duì)回歸平方和的貢獻(xiàn)，即偏回歸平方和，且有13經(jīng)F

檢驗(yàn)，當(dāng)xi作用顯著時(shí)，可將其引入。同理，如果xi原來已經(jīng)在回歸方程中，若檢驗(yàn)后其作用不顯著，可及時(shí)從回歸方程中剔除出去。利用統(tǒng)計(jì)量因此，取剔除和引入變量xi的標(biāo)準(zhǔn)相同，即14在逐步回歸中引入一個(gè)變量與剔除一個(gè)變量都要作變換，變換公式相同，采用求解求逆緊湊格式在第s次對(duì)第k列消去的變換公式是：二、變量的引入、剔除與消去法的關(guān)系15由相關(guān)矩陣構(gòu)成的系數(shù)矩陣中，第i個(gè)變量的偏回歸平方和ui(s)為：由可推倒出來ui(s)為下一步引進(jìn)變量的指標(biāo)，每一步引入都是從未出現(xiàn)在回歸方程的剩余變量中挑選ui(s)的最大者進(jìn)行上述變換后，回歸分析中的剩余平方和Q的值即為系數(shù)矩陣中ryy位置所得的結(jié)果。即有，（證明）16式中，l為先前已經(jīng)引入到回歸方程中的變量個(gè)數(shù)，F(xiàn)i服從F(1,n-l-2)分布。如果已引進(jìn)的變量中有不顯著的，則選其最不顯著者作剔除變換，然后再檢驗(yàn)。在未引入的變量中檢驗(yàn)有無(wú)回歸顯著的變量，若有，則挑選最顯著的作引入的消去變換，然后再檢驗(yàn)。反復(fù)進(jìn)行，直到?jīng)]有變量可以引進(jìn)，也沒有變量可以從方程中剔除為止。構(gòu)造檢驗(yàn)統(tǒng)計(jì)量17用消去法求解正規(guī)方程組的過程二、變量的引入、剔除與消去法的關(guān)系當(dāng)消去正規(guī)方程組系數(shù)矩陣的第一列時(shí)，常數(shù)項(xiàng)列的第一個(gè)數(shù)就是只有x1這一個(gè)自變量情況下所建立的回歸方程的回歸系數(shù)這是因?yàn)椋寒?dāng)回歸方程只有一個(gè)自變量時(shí)，表明其他自變量在多元回歸方程中的回歸系數(shù)為0。因此，正規(guī)方程的常數(shù)項(xiàng)部分就是該變量的解，即回歸系數(shù)。18二、變量的引入、剔除與消去法的關(guān)系第二次消去了正規(guī)方程組系數(shù)矩陣的第一、二兩列時(shí)，常數(shù)項(xiàng)列中的第一、二兩個(gè)數(shù)即為只有x1，x2兩個(gè)自變量情況下所建立回歸方程的回歸系數(shù)

和

依次類推，得到引入的各個(gè)自變量的回歸系數(shù)系數(shù)矩陣中每消去一列，等價(jià)于回歸方程中引入一個(gè)新的變量，而且與變量排列的順序無(wú)關(guān)。19由相關(guān)系數(shù)矩陣得到的回歸系數(shù)是標(biāo)準(zhǔn)回歸系數(shù)，如果要把它化為一般回歸系數(shù)，其關(guān)系為：其中Lii和Lyy為方差協(xié)方差矩陣中對(duì)應(yīng)元素，即變量Xi和因變量Y的方差。二、變量的引入、剔除與消去法的關(guān)系20三、實(shí)例【例】某種水泥在凝固時(shí)，放出的熱量Y（卡／克）與水泥中下列4種成分有關(guān)：

X1:鋁酸三鈣

X2:硅酸三鈣

X3:鐵鋁硅四鈣

X4:硅酸二鈣通過試驗(yàn)，取得數(shù)據(jù)資料如右所示：編號(hào)X1X2X3X4Y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322644222634121278.574.3104.287.695.9109.2102.772.593.1115.983.8113.3109.421說明：按第一種方法選最優(yōu)，全部可能的回歸方程有個(gè)準(zhǔn)備工作：計(jì)算各要素之間的相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣22根據(jù)本例資料，算出從矩陣R(0)中可以看出：

x1與x2兩因子不相關(guān)，x2與x4、x1與x3之間關(guān)系密切，x3與y關(guān)系不太密切，x4與y最相關(guān)23逐步回歸步驟：公式：t－變換步數(shù)第一步(t=1)

①選擇第一個(gè)變量進(jìn)入回歸方程對(duì)所有4個(gè)變量，按下面公式計(jì)算偏回歸平方和←當(dāng)變量引入回歸方程后24計(jì)算結(jié)果為：比較4個(gè)ui(1)，可知第4個(gè)因子的偏回歸值最大，即x4對(duì)y的回歸貢獻(xiàn)最大，于是優(yōu)先考慮選入x425②引入因素的顯著性檢驗(yàn)其中，分子的自由度是1，l為方程中的變量個(gè)數(shù)求解回歸方程時(shí)，若對(duì)資料進(jìn)行標(biāo)準(zhǔn)化處理，可以證明：統(tǒng)計(jì)量26當(dāng)引入第一個(gè)因子時(shí)（l＝1），故則統(tǒng)計(jì)量于是由于F4(1)>F0.05(1,11)=4.84，表明引入的因子x4對(duì)回歸方程的貢獻(xiàn)是顯著的，應(yīng)將x4引入方程。27③矩陣R(0)的高斯－亞當(dāng)變換（緊湊變換方式）以x4為主元進(jìn)行矩陣變換（x4剛剛引入方程），變換公式如下a.非主元所在行、列b.主元所在行（除主元）c.主元所在列（除主元）d.主元變換過程要求按a→d

順序進(jìn)行。28記變換后的矩陣為R(1),(t=1)解29④x4引入回歸方程后的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)（利用標(biāo)準(zhǔn)化數(shù)據(jù)求得的回歸系數(shù)）為：剩余平方和標(biāo)準(zhǔn)回歸方程為：其中l(wèi)＝1，表明方程只引入一個(gè)變量30一般回歸方程為：一般回歸系數(shù)為：常數(shù)項(xiàng)為31第二步(t=2)①選擇第二個(gè)變量進(jìn)入回歸方程計(jì)算偏回歸平方和ui(2)(i=1,2,3)（利用R(1)對(duì)不在回歸方程中的每個(gè)變量做計(jì)算）其中以u(píng)1(2)=0.2980最大，故最優(yōu)先考慮x1引入回歸方程（能否引入方程要做檢驗(yàn)）。☆7A32②引入變量的檢驗(yàn)（引入檢驗(yàn)）偏回歸系數(shù)檢驗(yàn)式中，分母表示x1引入回歸方程后，剩余平方和等于只包含x4一個(gè)變量時(shí)的剩余平方和減去x1引入回歸方程而使回歸平方和增大的部分。由于F1(2)>F0.05(1,10)=4.96，因此x1應(yīng)引入回歸方程中。將x1引入，方程中有兩個(gè)因子，即l=233③矩陣R(1)的高斯－亞當(dāng)變換記變換后的矩陣為R(2)④引入因子x1后，對(duì)原有因子x4重新檢驗(yàn)（偏回歸檢驗(yàn)）←剔除檢驗(yàn)因?yàn)椋虼藊4不應(yīng)從方程中剔除。

*(2)解*(2)

解34⑤將x1引入回歸方程的結(jié)果標(biāo)準(zhǔn)回歸系數(shù)：回歸方程的一般形式：剩余平方和：35第三步(t=3)①選擇第三個(gè)變量引入回歸方程計(jì)算偏回歸