1、多元線性回歸分析直線回歸概念復習例:為了研究3歲至8歲男孩身高與年齡的規律，在某地區在3歲至8歲男孩中隨機抽樣，共分6個年齡層抽樣：3歲，4歲，8歲，每個層抽10個男孩，共抽60個男孩。資料如下：60個男孩的身高資料如下年齡3歲4歲5歲6歲7歲8歲92.596.5106.0115.5125.5121.597.0101.0104.0115.5117.5128.596.0105.5107.0111.5118.0124.096.5102.0109.5110.0117.0125.5身97.0105.0111.0114.5122.0122.5高92.099.5107.5112.5119.0123.596

2、.5102.0107.0116.5119.0120.591.0100.0111.5110.0125.5123.096.0106.5103.0114.5120.5124.099.0100.0109.0110.0122.0126.5平均身高95.4101.8107.6113.1120.6124.0140130.1Z0-.lie-100II90-802345678g年齡0()圖1某地男童身高與年齡的散點圖從散點圖上，我們可以發現樣本點（X,Y）隨機地出現在一條直線附近，并且從資料背景上考察，同一年齡的兒童身高應近似服從一個正態分布，而兒童身高的總體均數應隨著年齡增長而增大，并由每個年齡的身高樣本均數

3、與兒童年齡的散點圖可以發現：這些點非常接近一條直線以及樣本均數存在抽樣誤差，因此推測兒童身高的總體均數與年齡可能呈直線關系。故假定身高Y在年齡X點上的總體均數x與X呈直線關系。y=：':X其中y表示身高，x表示年齡。由于身高的總體均數與年齡有關，所以更準確地標記應為y|x=:X表示在固定年齡情況下的身高總體均數。.A率細高懼130一120110一100-90一r2468俅身高的樣本均數與年齡的散點圖故有理由認為身高的總體均數與年齡的關系可能是一條直線關系上述公式稱為直線回歸方程。其中P為回歸系數(regressioncoefficient),或稱為斜率(slope);口稱為常數項(co

4、nstant),或稱為截距(intercept:)。回歸系數P表示x變化一個單位y平均變化P個單位。當x和y都是隨機的，x、y間呈正相關時P>0,x、y間呈負相關時P<0,x、y間獨立時0=0。一般情況而言，參數和B是未知的。對于本例而言，不同民族和不同地區，a和P往往是不同的，因此需要進行估計的。由于不同年齡的身高實際觀察值應在對應的身高總體均數附近(即：實際觀察值與總體均數之間僅存在個體變異的差異)，故可以用年齡和實際身高觀察值的資料對未知參數和P進行估計，一般采用最小二乘法進行參數估計。我們將借助Stata軟件對本例資料進行直線回歸。數據格式xy392.5397.0396.0

5、396.5397.0392.0396.5391.0396.0399.0496.54101.04105.54102.04105.0499.54102.04100.04106.54100.05106.05104.05107.05109.55111.05107.55107.05111.55103.05109.06115.56115.56111.56110.06114.56112.56116.56110.06114.56110.07125.57117.57118.07117.07122.07119.07119.07125.57120.57122.08121.58128.58124.08125.5812

6、2.58123.58120.58123.08124.08126.5回歸命令regressyxSource|SSdfMSNumberofobs=60+F(1,58)=777.41Model|5997.7157115997.71571Prob>F=0.0000Residual|447.467619587.71495895R-squared=0.9306+AdjR-squared=0.9294Total|6445.1833359109.240395RootMSE=2.7776y|Coef.Std.Err.tP>|t|95%Conf.Interval+x|5.854286.20996542

7、7.880.0005.4339946.274577cons|78.184761.20920264.660.00075.7642880.60524回歸方程y=abx=78.18476-5.854286xb=5.854286,a=78.18476se(b)=0.2099654回歸系數檢驗：He：-=0vsH1：i-0回歸系數統計量t=b/se(b)=5.854286/.2099654=27.88,P值0.001,95%CIofP為(5.433994,6.274577)1)簡述單因素線性回歸方程y=a+0x在實際分析中要注意的問題(a)殘差所=yabx.引入回歸模型丫=口+況+斫(b)鳥N(0,。)

8、且名»相互獨立：說明有三個條件：i)曾服從正態分布ii)帶相同的方差仃2。iii)口相互獨立。(c)不滿足上述3個條件時，反映在實際回歸分析時，有如下情況：i)散點在直線一側較多而且靠直線很近，當在直線的另一側，散點較少，而且離直線較遠，反映在誤差項&偏態分布。ii)散點隨著自變量x增大而離散程度增大或減小(喇叭口狀),反映了誤差項&方差隨著x變而變，即不滿足相同方差(方差齊Ti)。iii)隨著xi變化而“呈某種規律性的變化。反映&還含有x的信息未利用到，還可以繼續改進回歸模型。問題1:在同一總體中隨機抽取2個相同樣本量的樣本，每個樣本中都含有變量x和y,并以

9、y為因變量和x為自變量，作線性回歸，請問：兩個樣本作出的回歸方程一樣嗎？它們之間什么關系？問題2:回歸方程所示的直線與原始數據的關系是什么？1）不同，它們之間存在抽樣誤差2）回歸分析統計背景：對于固定自變量x,對y所在的總體進行抽樣，得到在固定x情況下，y的樣本值，因此對于每個為，得到對應的抽樣值V。即：資料為：（Xl,yi）,（X2,丫2）,，（xn,yn）。因此對于同一個x值，y所對應的總體均數gX相同，不同的X值,y所對應的總體均數%X可能不同。如果y的總體均數值,X與x的關系呈直線關系/X+Px,則樣本資料（xi,yi）,（x2,丫2）,，（xn,yn）呈帶狀直線散點圖。由于抽樣資料丫

10、=總體均數h|X+抽樣誤差名因此如果y的總體均數值gX與X呈直線關系h|X=u+Px,則抽樣資料y=Y|X：x.；當名N（0,。2）,則對于固定X,yN（5|X,。2）,而用樣本資料（Xi,yi）,（X2，丫2）,，（Xn，yn）所估計得到的回歸方程y=a+bx是固定X情況下，y的總體均數與X的線性方程的表達式X=a+Px。即：b是（3的樣本估計值（無偏彳計），a是的樣本估計值（無偏估計），y=a+bx是%X的樣本估計值。抽樣誤差（估計值廠樣本資料（a+bX）（即：名的估計值：殘差）所以要求回歸分析的資料，其殘差服從正態分布，且與X無關、方差齊性。2）引入多元線性回歸模型定義（a）例3-1,研

11、究女中學生的肺活量與體重和胸圍的關系，隨機抽擇了10名女中學生的體重xi（kg）,胸圍x2（cm）和肺活量y（ml）,資料如表31,試建立一個因變量為y對自變量M,x2的線性回歸方程。（b）對于相同的體重x1和胸圍x2,考查女中學生的肺活量y總是有一定的變異的，但總對應有一個總體均數1x,而且總體均數Ny|X可能與體重x1和胸圍x2有關。x1和x2與總法均數Ny|X最簡單的關系為線性關系：i)同樣的x1和x2,觀察值y與總體均數與總有一定的隨機誤差/即y-Ny|x=%因此y=Ny|x+名=Po+P1X1+P2X2+注ii)若，N(0,。2)分布且獨立,而觀察值y=P0+B1X1+P2x2+.則

12、稱肺活量V、體重X1和胸圍x2符合線性回歸模型y=0-X1-2x2.:(c)對于一般的線性回歸模型定義為：i)設有p個觀察自變量？1,X2,，Xp,并用向量X=(X1,X2,，Xp)',因變量為y,且記y的總體均數為與=P0+P1X1+邑x2+FpXp,隨機誤差wN(0,。2)且獨立，則線性回歸模型可以表水為y=P0+P1X1+P2X2+PpXp+名對于觀察值(y1,X1),(y2,X2),，(yn,Xn),其中Xi=(Xi1,Xi2,Xip),i=1,2,n。對應的線性回歸模型為yi=%-Xi1-2Xi2pXip”SiN(0,1)且獨立。在本例中，作線性回歸如下：(介紹一下數據結構)

13、.regressyx1x2SourceSSdfMSNumberofobs=10F(2,7)=6.75回歸平方和回歸均方和Model1895106.552947553.275Prob>F=0.0232殘差平方和殘差均方和決定系數Residual982143.457140306.207R-squared=0.6587校正和決定系數AdjR-squared=0.5611Total2877250.009319694.444RootMSE=374.57總平方和SS總描述樣本量為n=10的因變量y總的變異。回歸平方和SSr描述了樣本量為n時，由自變量X1,X2變化而引起的因變量y的這部分變異，SSe

14、描述了樣本量為n時，由隨機誤差項斯引起的因變量y的一部分變異，因此：總變異=自變量引起y的變異+隨機誤差測起變異對應：SS總=$回歸+SS誤差由于SS總，SS回歸和SS誤差均與樣本量n有關，樣本量n越大，對應變異就越大。所以取平均變異指標：均方差MS回歸系數回歸系數標準誤t值P值95yCoef.Std.Err.tP>|t|95%Conf.Intervalx1113.998738.311092.9760.02123.40741204.5901x245.4836828.184281.6140.151-21.16155112.1289MS回歸=SS回歸df回歸MS誤差SSi差df誤差cons-

15、5545.8062293.933-2.4180.046-10970.1-121.5156回歸方程y=-5545.806113.9987v45.48368x2解釋回歸系數的意義WSST=SSRw+SSE自由度df回歸=模型中的回歸系數個數(不含常數項)，df殘差=ndf回歸一1SS電歸SSE殘差MSR=MSE=df回歸df殘差模型的假設檢驗H0：1津2=0vsP1,02不全為0當H0成立時，F=MSR-F(df回歸,df殘差)MSE單個回歸系數檢驗：H。：P=0vsHi：P#0當H0：P=0成立時，t=Lt(df殘差)sQ簡述回歸系數P的95%CI意義與t檢驗的對應關系。(d)假設檢驗一般情況敘

16、述2SSR/SSE(e)決te系數R2=1SSTSST(f)復相關系數R(g)%建1=2=Pr=0vsPJ2,Pr不全為0。當H0成立時SSR(X1,x2,xp)-SSR(Xr1,xr2,Xp)/rF(s,n-p-1)MSE(X1,x2,Xp)F二M(X1,X2，,Xp)的估計及其誤差網X1,，Xp)=P0+B1X1+PpXp(STATA命令:predicty1)s(網X0)(STATA命令：predictmeansd,stdp)(因為00,01，Pp有抽樣誤差)95%CI6土t0.025,vS(&X°),自由度v=n-1-p個體預測值和標準誤9=20+P1X1+Ppxp(S

17、TATA命令：predicty1)線性回歸模型應用的條件總結理論上yi二飛飛Xi1-2Xi2'pXip彳昌N(0,仃2)且獨立。具體檢查是否復合線性回歸模型步驟1 .先做線性回歸2 .計算殘差a3 .檢查殘差司是否服從正態分布（引起正態分布）4 .檢查殘差a的離散程度是否與其它自變量呈某種趨勢關系。（要求無任何趨勢關系）5 .檢查殘差a變化是否與其它自變量呈某種對應趨勢關系。（要求無任何趨勢關系）多元線性回歸常見的應用以及應用中的問題全回歸模型（析因分析）多重共線對分析的影響VIFs（varianceinflationfactors）對于自變量p個自變量Xi,X2,，Xp中，以其中一個

18、Xi作為因變量作回歸以及其它p-1個變量為自變量，得到相應的決定系數Ri。定義Xi的膨脹因子VIFi=1-R：VIFi=1對應R：=0說明Xi與其它p-1個自變量無共線。當1>Ri2>0對應VIFi>1當Ri2=1,說明k與其它p-1個自變量完全共線，對應VIFi成為無窮大。通常認為在p個自變量Xi,X2,，Xp中,最大的VIF>10,則認為嚴重共線，最小二乘估計受到較嚴重的影響。p“VIFi平士勻VIF=/>>1,則認為P-1'尋找影響因變量的主要因素。用回歸進行兩組或多組的均數比較并校正混雜因素的影響。全回歸分析舉例例：據兒童保健部門的考察，4至

19、7歲兒童的身高與年齡近似呈線性關系，且男女身高也有差異。下列收集了50名男孩和50名女孩的身高，年齡均在4歲至7歲之間。請試建立回歸方程描述年齡與身高的關系（其中sex=1表示男，sex=0表示女）sexagey14.59016.511116.210716.410716.711414.48816.410914.28616.210717.4122159514.18515.610017.51211610617.312014.89316.2105159417.712515.19614.48815.610116.811317.412115.810515.610217.512214.28416.7113

20、16.811516.711414.99314.38616.310815.49917.211614.48716.310914.48917.812514.892159514.6901711715.49915.510217.812716.311017.111904.38707.2114059505.810004.59004.99104.18604.69005.19406.510907.511605.910404.99407.711807.511607.411704.79106.510706.911206.110504.38905.59904.18507.211305.61010610405.4980

21、5.19505.610104.79007.912004.79005.19504.99406.410804.38806.210706.8110059404.89405.910406.410704.79307.411606.811005.49905.49905.19607.311507.8121考慮身身總體均數為Ny=P0+Rsex+P2age+P3sexMage模型為：y=o:1sex2age-sexage:用擬合上述模型gensexage=sex*ageregressyagesexsexagey|Coef.Std.Err.tP>|t|95%Conf.Interval+sex|-9.513

22、7941.119899-8.500.000-11.73678-7.290813age|9.075835.133735467.860.0008.8103729.341298sexage|1.929241.188310610.240.0001.5554472.303035cons|48.97983.786966862.240.00047.4177150.54194回歸方程為y=48.97983-9.513794sex-9.075835age1.929241sexage則女孩為身高與年齡的回歸方程為（sex=0）y=48.979839.075835ageage的回歸系數的意義為每年身高增長的速度則男

23、孩為身高與年齡的回歸方程為（sex=1）y=(48.97983-9.513794)(9.0758351.929241)age=39.4660311.005076ageage的回歸系數的意義為每年身高增長的速度因此女孩身高的增長速度為外，樣本估計值為9.075835男孩身高的增長數為P2+P3,樣本估計值為11.005076男孩與女孩身高的增長速度差異為?3,?3>0說明男孩身高增長速度快，氏<0說明女孩身高增長速度快，氏說明女孩與男孩的身高增長速度是一樣的。樣本估計值為1.929241>0,P值<0.001。因此男孩身高速度高于女孩，并且差別有統計學意義。例：治療缺鐵性

24、貧血100人，隨機分為2組，給予不同療法治療：經過一個月治療后，治療前后的紅細胞數(萬/H)如下：A組B組治療前y1治療后y2組別group治療前y1治療后y2組別group325337132734803123251334354033134313473680328341131733703163301351371036738012993190354367133635703113251317338036437813053260345360136238203353481315333032934413703940336349134636802933061324345034535813243460364

25、378136238303113251318338034736013293500350364135637802953081356376036938313563780323336134036203853991322342032433813103300312325135737803223361345365034035313403610330344133035103473611358380036137413063290374389132234203273401304325033534913273480363377135337403383501355376032834413463690303316136

26、93900329342132634803173311333355033434613673890334348136338403353481337360033034313683890338353133936103533661337358033234513693900303317135838003693841357378032834313453680治療前X-SX_s第一組335.28-20.840541348.82-21.04678339.98-19.875623361.14-20.188914考慮以治療前后的改變量為評價的效應指標先不考慮校正基線則可以用成組t檢驗進行統計分析geny=y2-y1

27、ttesty,by(group)結果如下：Two-samplettestwithequalvariancesGroup|+-ObsMeanStd.Err.Std.Dev.95%Conf.Interval0|4921.16327.15249331.06745320.8566621.469871|+4913.57143.1271081.889756513.3158613.827combined|9817.36735.39786613.93867416.5776918.157+diff|7.591837.19852127.1977757.985898Degreesoffreedom:96Ho:mea

28、n(0)-mean(1)=diff=0Ha:diff<0Ha:diff=0Ha:diff>0t=38.2419t=38.2419t=38.2419P<t=1.0000P>|t|=0.0000P>t=0.0000現用線性回歸完成上述分析設B組(group=0)受試者的紅細胞數改變量的總體均數為Rd=0f,設A組(group=1)受試者的紅細胞數改變量的總體均數為1=二+B因此兩組的總體均數可以表示為d=：+-group用線性回歸.regressygroupSource|SSdfMSNumberofobs=98+F(1,96)=1462.45Model|1412.08

29、16311412.08163Prob>F=0.0000Residual|92.693877696.965561224R-squared=0.9384+AdjR-squared=0.9378Total|1504.775519715.5131496RootMSE=.98263y|Coef.Std.Err.tP>|t|95%Conf.Interval+group|-7.591837.1985212-38.240.000-7.985898-7.197775_cons|21.16327.1403757150.760.00020.8846221.44191a的估計值為21.16327,正是B組

30、的樣本均數P的估計值為-7.591837,«+P=21.16327-7.591837=13.571433,正是A組的樣本均數P的估計值為兩組樣本均數的差值，P的檢驗統計量t=-38.24,與t檢驗結果對應，P值也對應。可以證明：成組t檢驗也可以用線性回歸分析進行。從本例中可以發現回歸系數P的意義就是兩組總體均數的差值，其估計值同樣為兩組樣本均數的差值。geny=y2-y1regressygroupy1Source|SSdfMSNumberofobs=98+F(2,95)=769.69Model|1417.308952708.654475Prob>F=0.0000Residual

31、|87.466561195.920700644R-squared=0.9419+AdjR-squared=0.9407Total|1504.775519715.5131496RootMSE=.95953y|Coef.Std.Err.tP>|t|95%Conf.Interval+group|-7.546723.194777-38.750.000-7.933405-7.160042y1|.0114537.00480692.380.019.0019108.0209966_cons|17.275091.63754110.550.00014.0241620.52602predicte,residu

32、al計算殘差值司skteste殘差正態性檢驗Skewness/KurtosistestsforNormalityjointVariable|Pr(Skewness)Pr(Kurtosis)adjchi2(2)Prob>chi2+e|0.2330.2213.000.2230genee=abs(e)產生殘差e的絕對值，放在變量ee(檢驗方差齊性：Leven's方差檢驗)anovaeegroupNumberofobs=98R-squared=0.0042RootMSE=.589872AdjR-squared=-0.0061Source|PartialSSdfMSFProb>F+M

33、odel|.1419182371.1419182370.410.5246group|.1419182371.1419182370.410.5246Residual|33.403097196.347948928+Total|33.545015397.3458249口=0.1正值>>,因此說明兩組殘差的平均幅度差別無統計意義。說明殘差方差齊性。析因分析舉例例為了研究A藥和B藥治療患免疫球蛋白偏低的兒童的療效，采用隨機對照試驗（RCT）和析因分析的研究設計方案：第一組：僅是加強營養（作為對照組）；第二組：加強營養并服用A藥；第三組：加強營養并服用B藥；第四組：加強營養并服用A藥且B藥。每

34、組隨機收集了25名患者進行治療評價藥物療效的指標為IgA（mg/dl血清）并用y表示定義協變量a=1表示服用b=1表示服用A藥，a=0表示未服用A藥;A藥，b=0表示未服用B藥;yab44.530150051.83540050.726990051.328890052.397040043.831780051.507170042.270480050.694540055.666340046.708150041.497520049.043630056.360920050.274930055.001340045.985350050.810790046.856950058.116750047.039850

35、044.075180048.836150052.943210055.672110059.512231059.011921066.25341052.143921062.2821062.844391062.608621056.343021053.540261061.200071058.119051064.337591053.661061060.976091053.845451069.766571056.075211056.799821055.129851063.541231058.3591058.466561069.25211061.039271064.124751048.320730159.51

36、1840151.868120154.407550149.394110151.232240146.062440150.264680152.238680156.637790161.278080154.817610151.261580162.673860161.264890160.407320150.628640156.615930158.203610155.521910148.207360153.525130146.578140159.373290153.890150170.062421168.334121167.245481168.924531165.7321179.919531165.7374

37、81167.133391166.224531171.421361162.81551170.71411172.844261166.696661166.020161169.713731171.573281165.565641175.723291172.741331168.246631168.38691167.073911174.800671179.4892611(a=b=0)XS服A藥組(a=1,b=0)XS服B藥組(a=0,b=1)XS服A藥且B藥組(a=b=1)X，S49.764.56859.974.77054.174.86869.724.309genab=a*b產生交互作用變量.regres

38、syababSource|SSdfMSNumberofobs=100+F(3,96)=86.66Model|5582.2078431860.73595Prob>F=0.0000Residual|2061.178159621.4706057R-squared=0.7303+AdjR-squared=0.7219Total|7643.385999977.2059191RootMSE=4.6336y|Coef.Std.Err.tP>|t|95%Conf.Interval-+a|10.208871.3105917.790.0007.60737112.81038b|4.4069641.310

39、5913.360.0011.8054617.008466ab|5.3493061.8534552.890.0051.6702269.028386cons|49.76046.926727753.690.00047.9209251.6三組均數的比較，資料正態分布且方差齊性(reg3.dta)分組變量g1和g2定義方差分析中的分組變量表示回歸模型中的分組變量表示對應總體均數A組group=0g1=0g2=0以AB組group=1g1=1g2=0以BC組group=2g1=0g2=1以C數據結構觀察數據回歸分析的方差分析的變量分組變量分組變量yg1g2groupg1=0,g2=0(或group=0)表

40、7KA組38000A組觀67000察數據.a.4600087101g1=1,g2=0(或group=1)表示B組B組觀察73101數據.9.115101124012g1=0,g2=1(或group=2)表7KC組C組觀察155012數據a.a.132012回歸模型:y=B0+B1g1+B2g2+名注N(0尸2)且獨立。即：總體均數y=一：0：g1一：2g2A組:g1=0,g2=0，對應的總體均數晨=%+P1M0+P2M。=»。B組:g1=1,g2=0，對應的總體均數隆=P。+P小1+P2M0=P。+P1C組:g1=0,g2=1，對應的總體均數%=P0+P1M0+P2M1=P0+P2因

41、此隆-曙=3,所以檢驗na=nb的問題就是檢驗%=0的問題。因此隆-晨=日2,所以檢驗屋=%的問題就是檢驗n=0的問題。因為曙-%=伊1+晨）-仔2+晨）=1/2,所以檢驗NB="c就是檢驗3=P2數據格式yg1g238.12060067,341620062.907960065,315560069.588170035.327140066,028680029,08190062,778170082,665350046,832580025,990070056,174530085,443690061,09970080,005350043,94140063,243150047,42779009

42、2,466990048,159410036,300720055,344610071,772830082,688420058,04890056,047670085,013620028,575660069,1280071,377560070,434490045,372090034,161060064,800290052,476180077,350360034.644250063,904340035.381810099,066280044,30083010147,199280040.519390074,164940053,436010053,866260097,008390064,157070076

43、,498990084,54771091,2398810104,82021074,4515110108,01611056,50211093,867211074,386371062,5969810119,08351072,2897410127.276510103,44221081,040571081,6918510119,44861075,340351086,0214410113,601410113,036510113,16961097,552961079,582981067,8210310114,835610102,27541097,392291087,351810115,51971063,32

44、1351079,1491061,653441084,648510110,912510112,121110103,725610126,0541083,217711090,7666310124,136910120,51481094,8805510125,53821096,216671094,1624210126.008110115.063810114,643510102,135410122,710710131,142101113,88701132,68801156.675201118.163801124.49310194.9062801126.143201135.721801130.0799011

45、28.598601148.290301103.915501165.899701153.249901161.0301125.68601111.026201143.248901129.284401148.269401148.539701139.50401146.554901117.890801107.708501147.9201122.92901125.965201111.263101136.654801144.577901148.695801142.777401154.35501104.363501154.446201134.921801143.68920193.5342701158.20440

46、1103.795301120.974601125.594601134.175901120.325601134.872401103.481201151.552401121.820501組別均數標準差A組XA=59.4618.49XB-XA=37.94B組XB=97.4019.83XC-XA=62.21CAC組XC=131.67C18.18XC-XB=34.27CBregressyg1g2Source|SSdfMSNumberofobs=150+F(2,147)=183.67Model|130469.346265234.673Prob>F=0.0000Residual|52211.739147355.181898R-squared=0.7142+AdjR-squared=0.7103Total|182681.0851491226.04755Root