一、多元線性回歸的數(shù)學(xué)模型二、數(shù)學(xué)模型的分析與求解三、MATLAB中回歸分析的實(shí)現(xiàn)四、小結(jié)第四節(jié)多元線性回歸一、多元線性回歸的數(shù)學(xué)模型用最大似然估計(jì)法估計(jì)參數(shù).達(dá)到最小.二、數(shù)學(xué)模型的分析與求解化簡(jiǎn)可得正規(guī)方程組引入矩陣正規(guī)方程組的矩陣形式最大似然估計(jì)值稱(chēng)為P元經(jīng)驗(yàn)線性回歸方程,簡(jiǎn)稱(chēng)回歸方程.多元線性回歸

1.確定回歸系數(shù)的點(diǎn)估計(jì)值,

[b,bint,r,rint,stats]=regress(Y,X,alpha)

rcoplot(r,rint)三、MATLAB中回歸分析的實(shí)現(xiàn)用命令:b=regress(Y,X)2.求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì),并檢驗(yàn)回歸模型,用命令:3.畫(huà)出殘差及其置信區(qū)間,用命令:符號(hào)說(shuō)明(1)(2)alpha為顯著性水平,

(3)bint為回歸系數(shù)的區(qū)間估計(jì);(4)r與rint分別為殘差及其置信區(qū)間;

(5)stats是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量,

默認(rèn)為0.05;有三個(gè)數(shù)值,F>F1-alpha第一個(gè)是相關(guān)系數(shù)r2,其值越接近于1,說(shuō)明回歸方程越顯著;第二個(gè)是F值,(p,n-p-1)時(shí)，拒絕H0,F越大,說(shuō)明回歸方程越顯著;第三個(gè)是與F對(duì)應(yīng)的概率p,p<alpha時(shí)拒絕,模型成立.回歸身高143145146147149150153154腿長(zhǎng)8885889192939395身高155156157158159160162164腿長(zhǎng)969897969899100102例1

試研究這些數(shù)據(jù)之間的關(guān)系.測(cè)得16名女子的身高和腿長(zhǎng)如下(單位:cm):輸入數(shù)據(jù)x=[143,145,146,147,149,150,153,154,155,156,157,158,159,160,162,164]’;X=[ones(16,1),x];Y=[88,85,88,91,92,93,93,95,96,98,97,96,98,99,100,102]’;回歸分析及檢驗(yàn)[b,bint,r,rint,stats]=regress(Y,X);b,bint,stats殘差分析rcoplot(r,rint)預(yù)測(cè)及作圖z=b(1)+b(2)*xplot(x,Y,’k+’,x,z,’r’)數(shù)據(jù)比較殘差圖形預(yù)測(cè)圖形數(shù)據(jù)比較幫助程序運(yùn)行結(jié)果一元多項(xiàng)式回歸

[p,S]=polyfit(x,y,m)也可使用命令:polytool(x,y,m)用命令:1.確定多項(xiàng)式系數(shù),結(jié)果產(chǎn)生一個(gè)交互式的畫(huà)面,畫(huà)面中有擬合曲2.預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)用命令:求回歸多項(xiàng)式在x處的預(yù)測(cè)值Y.[Y,DELTA]=polyconf

(p,x,S,alpha)的默認(rèn)值是0.05.一元多項(xiàng)式回歸可化為多元線性回歸求解.Y=polyval(p,x)線和y的置信區(qū)間,左下方的Export可以輸出參數(shù).求回歸多項(xiàng)式在x處的預(yù)測(cè)值Y以及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y±DELTA,alpha例2某件產(chǎn)品每件平均單價(jià)Y(元)與批量x(件)之間的關(guān)系的一組數(shù)據(jù)xy303540505560657080901.651.551.481.401.301.261.241.211.201.1825201.811.70解(XTX)-1(XTX)-1得到回歸方程試用一元二次多項(xiàng)式進(jìn)行回歸分析,輸入數(shù)據(jù)x=[20,25,30,35,40,50,60,65,70,75,80,90];y=[1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21,1.20,1.18];作二次多項(xiàng)式回歸[p,S]=polyfit(x,y,2)預(yù)測(cè)及作圖Y=polyconf(p,x,y)plot(x,y,’b+’,x,Y,’r’)回歸結(jié)果殘差圖形預(yù)測(cè)圖形幫助程序運(yùn)行結(jié)果化為多元線性回歸X=[ones(12,1)x’(x.^2)’];[b,bint,r,rint,stats]=regress(y’,X);b,stats與前面的結(jié)果一致.多元二項(xiàng)式回歸rstool(x,y,’model’,alpha)

認(rèn)為線性模型.其中,輸入數(shù)據(jù)x,y分別為n×m

矩陣和n維列向量;alpha為顯著性水平,默認(rèn)為0.05;為下列四種模型中的一種,輸入相應(yīng)的字符串,默modelrstool的輸出是一個(gè)交互式畫(huà)面,畫(huà)面中有m個(gè)圖形,分別給出了一個(gè)獨(dú)立變量xi與y的擬合曲線,以及y的置信區(qū)間,此時(shí)其余m-1個(gè)變量取固定值.可以輸入不同的變量的不同值得到y(tǒng)的相應(yīng)值.其中剩余標(biāo)準(zhǔn)差最接近于零的模型回歸效果最好.圖的左下方有兩個(gè)下拉式菜單,一個(gè)用于傳送回歸系數(shù)、剩余標(biāo)準(zhǔn)差、殘差等數(shù)據(jù);另一個(gè)用于選擇四種回歸模型中的一種,選擇不同的回歸模型,例3

需求量10075807050收入10006001200500300價(jià)格57668需求量659010011060收入400130011001300300價(jià)格75439設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下,建立回歸模型,預(yù)測(cè)平均收入為1000,價(jià)格為6時(shí)的商品需求量.選擇純二次模型,即數(shù)據(jù)輸入x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';x=[x1'x2'];回歸、rstool(x,y,'purequadratic')回歸圖形回歸結(jié)果幫助程序運(yùn)行結(jié)果檢驗(yàn)與預(yù)測(cè)化為多元線性回歸求解x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';X=[ones(10,1)x1'x2'(x1.^2)'(x2.^2)'];[b,bint,r,rint,stats]=regress(y,X)回歸系數(shù)的點(diǎn)估計(jì)以及區(qū)間估計(jì)殘差及其置信區(qū)間檢驗(yàn)回歸模型的統(tǒng)計(jì)量逐步回歸分析

在實(shí)際問(wèn)題中,而這些因素之間可能存在多重共線性.為得到可靠的回歸模型,需要一種方法能有效地從眾多因素中挑選出對(duì)因變量貢獻(xiàn)大的因素.如果采用多元線性回歸分析,回歸方程穩(wěn)定性差,每個(gè)自變量的區(qū)間誤差積累將影響總體誤差,預(yù)測(cè)的可靠性差、精度低;另外,如果采用了影響小的變量,遺漏了重要變量,可能導(dǎo)致估計(jì)量產(chǎn)生偏倚和影響因變量的因素很多,選擇“最優(yōu)”回歸方程的方法最優(yōu)者;顯著因子;

3.從一個(gè)變量開(kāi)始,量而不包括影響不顯著的變量.不一致性.“最優(yōu)”的回歸方程應(yīng)該包含所有有影響的變1.從所有可能的變量組合的回歸方程中選擇2.從包含全部變量的回歸方程中逐次剔除不把變量逐個(gè)引入方程;

4.“有進(jìn)有出”的逐步回歸分析.逐步回歸分析法在篩選變量方面比較理想,是目前較常用的方法.它從一個(gè)自變量開(kāi)始,根據(jù)自變量作用的顯著程度,從大到小地依次逐個(gè)引入回歸方程,但當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí),要將其剔除掉.引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量,為逐步回歸的一步,對(duì)于每一步,都進(jìn)行檢驗(yàn),以確保每次引入新的顯著性變量前回歸方程中只包含作用顯著的變量.

方程.反復(fù)進(jìn)行上面的過(guò)程,直到?jīng)]有不顯著的變量從回歸方程中剔除,也沒(méi)有顯著變量可引入到回歸函數(shù):stepwise用法:stepwise(x,y,inmodel,alpha)符號(hào)說(shuō)明:

x—自變量數(shù)據(jù),

y—因變量數(shù)據(jù),

型中引入的自變量,

認(rèn)相當(dāng)于對(duì)回歸系數(shù)給出95%的置信區(qū)間.inmodel—由矩陣x列的指標(biāo)構(gòu)成,表明初始模alpha—判斷模型中每一項(xiàng)顯著性的指標(biāo),默為n×m矩陣;為n×1矩陣;默認(rèn)為全部自變量;例4

序號(hào)1234567226295631525571x3615886917x46052204733226y78.574.3104.387.695.9109.2102.7序號(hào)8910111213x1122111110x2315447406668x3221842398x4442226341212y72.593.1115.983.8113.3109.4水泥凝固時(shí)放出的熱量y與水泥中的四種化學(xué)成分x1,x2,x3,x4

有關(guān),今測(cè)得一組數(shù)據(jù)如下,試用逐步回歸法確定一個(gè)線性模型.x1=[7,1,11,11,7,11,3,1,2,21,1,11,10]';x2=[26,29,56,31,52,55,71,31,54,47,40,66,68]';x3=[6,15,8,8,6,9,17,22,18,4,23,9,8]';x4=[60,52,20,47,33,22,6,44,22,26,34,12,12]';y=[78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4]';x=[x1,x2,x3,x4];輸入數(shù)據(jù)逐步回歸回歸平面幫助stepwise(x,y)逐步回歸分析程序運(yùn)行結(jié)果對(duì)變量y和x1,x2作線性回歸.X=[ones(13,1),x1,x2];[b,bint,stats]=regress