在現(xiàn)實生活中,變量與變量之間經(jīng)常存在一定的關(guān)系,一般來說,可分為兩大類,一類是確定性的關(guān)系,這種關(guān)系通常用函數(shù)來表示;另一類是非確定性關(guān)系,變量之間的這種非確定性關(guān)系通常稱為相關(guān)關(guān)系。 回歸分析就是數(shù)理統(tǒng)計中研究相關(guān)關(guān)系的一種數(shù)學方法,它就是通過大量的試驗或觀測,發(fā)現(xiàn)變量之間關(guān)系的統(tǒng)計規(guī)律,它在工農(nóng)業(yè)生產(chǎn)和科學研究各個領(lǐng)域中均有廣泛應用?；貧w分析一般分為線性回歸分析與非線性回歸分析。 本次課程著重介紹線性回歸分析,它是兩類回歸分析中較為簡單的一類,也是應用得較多的一類。,四、線性回歸模型,為了研究方便,我們考慮一個變量受其它變量影響時,把這變量稱為因變量,記為Y,其它變量稱為自變量,記為X,這時相關(guān)關(guān)系可記作 Y=f(x)+ 其中f(x)為當X=x時,因變量Y的均值,即 f(x)=E(Y|X=x) 稱f(x)為Y對X的回歸函數(shù),為Y與f(x)的偏差,它是一個隨機變量,假定E()=0。,回歸函數(shù)可以是一元函數(shù),也可以是多元函數(shù),即 Y=f(x1，x2，xm)+ 其中,f(x1,x2,xm)= E(Y|X1=x1,X2=x2,Xm=xm)為m元回歸函數(shù),統(tǒng)稱為多元回歸函數(shù)。,問題 (水泥凝固時放出熱量問題),表1,一般地，多元線性回歸模型可表示為,建立線性回歸模型 其中, 是未知參數(shù),為了估計這些參數(shù),將表1的值代入模型得,其中,x1,x2,xm是自變量,b0 , b1,b2,bm為回歸系數(shù)且未知,統(tǒng)稱為回歸參數(shù),一旦回歸參數(shù)確定,則多元線性回歸模型就完全確定,一般假定隨機誤差,為了得到回歸參數(shù)的估計值,就要對變量進行觀測,假設對變量的n（nm）次獨立觀測數(shù)據(jù)為 （yi，xi1，xi2，xim）,i=1n, 則這些觀測數(shù)據(jù)應滿足上式,即有,則多元線性回歸的數(shù)學模型式可以寫成矩陣形式,若記,為了獲得參數(shù)的估計,我們采用最小二乘法,即選擇,使,達到最小。 將Q()對求導數(shù)并令其為零，得,回歸系數(shù)的最小二乘估計,模型參數(shù)估計,此方程稱為正規(guī)方程,其中 X 為n(m+1) 階矩陣,一般假定rank(X)=m+1,由線性代數(shù)理論可知,L=XTX為滿秩矩陣,它的秩rank(L)=m+1,則正規(guī)方程有唯一解,記作,即,記 ,則,在實際工作中，常稱 為經(jīng)驗線性回歸方程。,多元線性回歸模型的檢驗與預測,從上面的參數(shù)估計過程可以看出,對于一批觀察數(shù)據(jù),不論它們是否具有線性關(guān)系,總可以利用最小二乘法 建立起多元線性回歸方程,但是Y與x1，x2，xm 是否確實存在相關(guān)關(guān)系呢？回歸方程的效果如何呢？這就要進行“整個回歸效果是否顯著”的檢驗。,當 時， 沒有關(guān)系， 回歸模型沒有意義,于是我們要檢驗 是否成立。,若H0成立,則x1，x2，xm對y沒有影響;反之,若H0不成立,則x1，x2，xm對y有影響,此時y與x1，x2，xm的線性關(guān)系顯著,也稱為整個回歸效果顯著。,但要注意,即使整個回歸效果是顯著的,y也可能只與某幾個xi關(guān)系密切(相應的bi顯著不為零),而與另幾個xi關(guān)系不密切(相應的bi為零),這就是說,多元線性回歸除了首先要檢驗“整個回歸是否顯著”外,還要逐個檢驗每一個bi是否為零,以便分辨出哪些xi對y并無顯著影響,最后,還要對各個bi作出區(qū)間估計。,1回歸方程的顯著性檢驗,(1)回歸顯著性檢驗（F檢驗）,若H0為真,（回歸平方和）,（殘差平方和）,（復相關(guān)系數(shù)）,(2)單個回歸系數(shù)為零的檢驗(t檢驗),若H0i為真,為 中第i個對角線元素。,2回歸系數(shù)的置信區(qū)間,對bi的區(qū)間估計,由于 因而bi的 置信區(qū)間為 其中,3預測,a)點預測,求出回歸方程,對于給定自變量的值 ,用 來預測,稱 為 的點預測。,y0的95%預測區(qū)間近似為 其中,b）區(qū)間預測,1多項式回歸分析模型,多元線性回歸分析模型的推廣,多項式回歸模型的一般形式為：,令,則模型就變成為多元線性回歸模型：,多項式回歸還有許多推廣的形式： 上述模型的共同特點是未知參數(shù)都是以線性形式出現(xiàn)， 所以都可以采用恒等變換化為多元線性回歸模型。,廣義線性回歸模型的一般形式為： 其中： 是一個不含未知數(shù)參數(shù)的一元函數(shù)，且有反函數(shù)： 的不含未知參數(shù)的多元函數(shù)。,2廣義線性回歸模型,廣義線性回歸模型的回歸系數(shù)的確定：,達到最小。,此時也就是令,即廣義線性回歸模型化為多元線性回歸模型。,則,用最小二乘法求出 的估計 使得,建立線性回歸模型的步驟,2.估計參數(shù),1.建立理論模型,3.進行檢驗,c) 復相關(guān)系數(shù),d）回歸系數(shù)顯著性檢驗（t檢驗）,e) 總體回歸方程的顯著性檢驗（F檢驗）,4進行預測,Matlab求解,1）求回歸系數(shù)的點估計和區(qū)間估計、并檢驗回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha),1Matlab命令,回歸系數(shù)的區(qū)間估計,2）畫出殘差及其置信區(qū)間： rcoplot（r，rint）,其中b，X，Y分別為：,水泥凝固時放出熱量問題 在Matlab編輯器中輸入以下程序：,2實際問題的求解, x1=7 1 11 11 7 11 3 1 2 21 1 11 10; x2=26 29 56 31 52 55 71 31 54 47 40 66 68; x3=6 15 8 8 6 9 17 22 18 4 23 9 8; x4=60 52 20 47 33 22 6 44 22 26 34 12 12; y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4; x=ones(13,1) x1 x2 x3 x4; b,bint,r,rint,stats = regress(y,x,0.05) ;,disp (回歸系數(shù)估計值) b disp(回歸系數(shù)估計值的置信區(qū)間) bint disp(殘差平方和) r*r disp(相關(guān)系數(shù)的平方) stats(1) disp(F統(tǒng)計量) stats(2) disp(與統(tǒng)計量F對應的概率p) stas(3) 執(zhí)行后輸出,回歸系數(shù)估計值 b = 62.4054 1.5511 0.5102 0.1019 -0.1441 回歸系數(shù)估計值的置信區(qū)間 bint = -99.1786 223.9893 -0.1663 3.2685 -1.1589 2.1792 -1.6385 1.8423 -1.7791 1.4910 殘差平方和 ans = 47.8636 相關(guān)系數(shù)的平方 ans = 0.9824 F統(tǒng)計量 ans = 111.4792,從計算結(jié)果可知，回歸方程,查表得： 易見統(tǒng)計量,進一步可得 所以回歸效果是高度顯著的。,表2,解 (1)由表2給出的數(shù)據(jù)畫出散點圖： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102; plot(x,y,*),由圖1可以看出,數(shù)據(jù)點大致落在一條直線附近,這說明變量與之間的關(guān)系大致可以看做是直線關(guān)系。,圖1 散點圖,(2)輸入數(shù)據(jù)進行回歸分析及檢驗： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102; b,bint,r,rint,stats=regress(Y,X,0.05) ; b,bint,stats,輸出結(jié)果： b = -16.0730 0.7194 bint = -33.7071 1.5612 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 1.7437,即 ； ； 的置信區(qū)間為-33.7071，1.5612， 的置信區(qū)間為0.6047，0.8340；,可知回歸方程 成立。,(3)殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出,除第二個數(shù)據(jù)外,其余數(shù)據(jù)的殘差離零點均較近,且殘差區(qū)間均包含零點,說明回歸方程能較好的符合原始數(shù)據(jù),而第二個數(shù)據(jù)可視為異常點。,(4)預測及作圖 z=b(1)+b(2)*x; plot(x,Y,*,x,z,r) 得各數(shù)據(jù)點及回歸方程的圖形如圖2,可以看出,只有第二個數(shù)據(jù)點離回歸直線距離較遠。,圖2,當身高為167cm x=167; z=b