1、第第4章章 回歸分析回歸分析 4.1 4.1 一元線性回歸分析一元線性回歸分析 4.2 4.2 多元線性回歸分析多元線性回歸分析變量之間的關系變量之間的關系確定性關系確定性關系相 關 關 系相 關 關 系2rS 確定性關系確定性關系身高和體重身高和體重相關關系相關關系相關關系的特征是相關關系的特征是:變量之間的關系很難用一變量之間的關系很難用一種精確的方法表示出來種精確的方法表示出來.回歸分析的基本思想回歸分析的基本思想變量之間的關系變量之間的關系 1.函數關系函數關系：變量之間依一定的函數形成的：變量之間依一定的函數形成的一一對應關系，若兩個變量分別記做一一對應關系，若兩個變量分別記做Y與與

2、X，則當則當Y與與X之間存在函數關系時，之間存在函數關系時，X值一旦被值一旦被指定，指定，Y值就是唯一確定的。如圓的面積與其值就是唯一確定的。如圓的面積與其半徑之間的關系半徑之間的關系.統統計計相相關關關關系系函函數數關關系系確確定定性性關關系系 2.統計相關關系統計相關關系：變量之間存在某種關系，：變量之間存在某種關系，但變量但變量Y并不是由變量并不是由變量X唯一確定的，它們唯一確定的，它們之間沒有嚴格的一一對應關系。兩個變量之間沒有嚴格的一一對應關系。兩個變量間的這種關系就是統計關系，亦稱間的這種關系就是統計關系，亦稱相關關相關關系系。例如。例如:小麥的產量小麥的產量Y與施肥量與施肥量x1

3、,品種品種x2等存在關系等存在關系,但給定但給定x1,x2的數值后的數值后Y的值還的值還是無法確定的是無法確定的. 兩個變量之間若存在線性關系稱為兩個變量之間若存在線性關系稱為線性線性相關相關,存在非線性關系稱為存在非線性關系稱為曲線相關曲線相關，通常，通常通過適當的變量變換，曲線相關可轉換為通過適當的變量變換，曲線相關可轉換為線性相關。線性相關。 一般說來一般說來,在給定在給定X=x條件下條件下Y的條件概的條件概率分布率分布 ,則則Y與與X的關系就清楚的關系就清楚了了.但在實際中要求解往往是非常困難的但在實際中要求解往往是非常困難的.xXyYp)(xuy 事實上事實上,對對Y而言而言,在實際

4、中只需知道它的在實際中只需知道它的某個數字特征某個數字特征:條件數學期望條件數學期望 就可以了就可以了.把把 稱為稱為Y關于關于X的回歸方程的回歸方程.)(xuxXYE xX 回歸分析的作用回歸分析的作用:在于通過對變量在于通過對變量X的觀的觀測值就可預測測值就可預測Y的取值的取值,并且當并且當 時時, 為為Y在方差誤差意義下的最佳預測值在方差誤差意義下的最佳預測值.)(xu確定性關系確定性關系和和相關關系相關關系的聯系的聯系:由于存在測量誤差等原因由于存在測量誤差等原因,確定性關系在實際確定性關系在實際問題中往往通過相關關系表示出來問題中往往通過相關關系表示出來;另一方面另一方面,當對當對事

5、物內部規律了解得更加深刻時事物內部規律了解得更加深刻時,相關關系也有可相關關系也有可能轉化為確定性關系能轉化為確定性關系.回歸分析回歸分析處理變量之間的相關關系的一處理變量之間的相關關系的一種數學方法種數學方法,它是最常用的數理統計方法它是最常用的數理統計方法.線性回歸分析線性回歸分析非線性回歸分析非線性回歸分析回回歸歸分分析析一元線性回歸分析一元線性回歸分析多元線性回歸分析多元線性回歸分析.)()( 間存在著相關關系間存在著相關關系之之自變量自變量和普通變量和普通變量因變量因變量設隨機變量設隨機變量xYxY1x2x1C2C)(2x .,)( 的分布函數的分布函數的的所對應所對應時時確定的值確

6、定的值取取表示當表示當YxxxyF. )(YEY的的數數學學期期望望考考察察)()(xYExY 的回歸函數的回歸函數關于關于xY問題的分析問題的分析 4.1 4.1 一元線性回歸分析一元線性回歸分析問題的一般提法問題的一般提法., 212121觀觀察察結結果果的的獨獨立立處處對對分分別別是是在在設設的的一一組組不不完完全全相相同同的的值值對對YxxxYYYxxxxnnn.),( ,),(),(2211是是一一個個樣樣本本稱稱nnYxYxYx).,( ,),(),( 2211nnyxyxyx對應的樣本值記為對應的樣本值記為. )(xxY 的回歸函數的回歸函數關于關于利用樣本來估計利用樣本來估計求

7、解步驟求解步驟1.推測回歸函數的形式推測回歸函數的形式方法一根據專業知識或者經驗公式確定方法一根據專業知識或者經驗公式確定;方法二作散點圖觀察方法二作散點圖觀察.溫度溫度x(oC)得率得率Y(%)10011012013014015016017018019045 51 54 61 66 70 74 78 85 89用用MATLAB畫出散點圖畫出散點圖例例1為研究某一化學反應過程中為研究某一化學反應過程中,溫度溫度 對產對產品得率品得率Y ( % )的影響的影響, 測得數據如下測得數據如下 .)(oCx.)(,的形式的形式具有線性函數具有線性函數觀察散點圖觀察散點圖bxax x=100:10:19

8、0;y=45,51,54,61,66,70,74,78,85,89;plot(x,y,.r)bxax )( 一元線性回歸問題一元線性回歸問題.,),( 22的的未未知知參參數數都都是是不不依依賴賴于于的的每每一一個個值值有有假假設設對對于于xbabxaNYx 2.建立回歸模型建立回歸模型那么那么記記),(bxaY .,)., 0( ,22的的未未知知參參數數是是不不依依賴賴于于xbaNbxaY 一元線性回歸模型一元線性回歸模型的的線線性性函函數數x隨機誤差隨機誤差3.未知參數未知參數a,b的估計的估計-最小二乘法最小二乘法)., 0( ,2 NbxaY ),( , ),( , ),(2211n

9、nYxYxYx對對于于樣樣本本.), 0(,2相互獨立相互獨立各各iiiiiNbxaY ., 2, 1, ),(2nibxaNYii 于于是是度函數為度函數為的獨立性可得到聯合密的獨立性可得到聯合密根據根據nYYY,21 221)(21exp21iinibxayL .)(21exp)21(122 niiinbxay ., ba知知參參數數用用最最大大似似然然估估計計估估計計未未函函數數為為樣樣本本的的似似然然對對于于任任意意一一組組觀觀察察值值, 21nyyy niiinbxayL122)(21exp)21( 取最大值等價于取最大值等價于L niiibxaybaQ12)(),(.取最小值取最小

10、值 niiiiniiixbxaybQbxayaQ110)(2 0)(2意義意義：實際測得的：實際測得的點與直線上的理論點與直線上的理論點之間的誤差的平點之間的誤差的平方和最小方和最小 niiiniiniiniiniiyxbxaxybxna112111)()( )(正規方程組正規方程組, 01211 niiniiniixxxn,)()(121 niiniiixxyyxxb,xbya .1,111 niiniiynyxnx其其中中bxax )( xbax)( 的經驗回歸函數的經驗回歸函數關于關于 xYxbay 的經驗回歸方程的經驗回歸方程關于關于 xY回歸方程回歸方程回歸直線回歸直線,xbya 由

11、由于于),(xxbyy ).,(yx幾幾何何中中心心回回歸歸直直線線通通過過散散點點圖圖的的,)( niixxxxl12記記,)(niiyyyyl12, )(niiixyyyxxl1,xxxyllb .)1(111bxnynaniinii 參數估計量的性質參數估計量的性質的最佳無偏估計量的最佳無偏估計量是是),(), (.baba1),(),(.xxxxlbNblxnaNa22212 例例2 例例1中的隨機變量中的隨機變量 Y 符合一元線性回歸模型所符合一元線性回歸模型所述的條件述的條件, 求求 Y 關于關于 x 的線性回歸方程的線性回歸方程 .溫度溫度x(oC)得率得率Y(%)1001101

12、2013014015016017018019045 51 54 61 66 70 74 78 85 89在在MATLAB中求解中求解x=100:10:190;y=45,51,54,61,66,70,74,78,85,89;polytool(x,y,1,0.05)源程序源程序程序運行結果程序運行結果回歸圖形回歸圖形參數傳送參數傳送置信區間置信區間幫助幫助7394248300.,.ab的估計的估計未知參數未知參數2. 4 )., 0( ,2 NbxaY .)()()()(2222 EDEbxaYE.)(, 2小小似導致的均方誤差就越似導致的均方誤差就越的近的近作為作為用回歸函數用回歸函數越小越小Y

13、bxax ,ixxixbayyi iiyy 處的殘差處的殘差ixniiiniiiExbayyyS12122)()(殘差平方和殘差平方和反應的是在試驗中由隨機因素反應的是在試驗中由隨機因素的影響而引起的誤差的影響而引起的誤差xyyylbl的相應的統計量為的相應的統計量為殘差平方和殘差平方和2ES.xYYYEl blS2 )(2222nSE .)(,)(222222 nSEnSEEExYYYElblnnS:212222 的無偏估計量為的無偏估計量為niiyyTyylS122)(離差平方和離差平方和反應整批反應整批數據的波動程度數據的波動程度niiRyyS122)(回歸平方和回歸平方和反應回歸直反應

14、回歸直線引起的偏差線引起的偏差222RETSSS平方和分解式平方和分解式)(2222nSE 并并且且例例3 求例求例2中方差的無偏估計中方差的無偏估計.,.)(2236710122iiEresidualsS.9030. 082236. 72 5.線性相關性的顯著性檢驗線性相關性的顯著性檢驗)., 0( ,2 NbxaY . 0: , 0: :10 bHbH檢驗假設檢驗假設為為不不真真時時有有線線性性關關系系為為真真時時無無線線性性關關系系00，HHkSSHH，xY，SS，SS：ERERER22002222的的拒拒絕絕域域為為于于是是拒拒絕絕有有顯顯著著的的線線性性關關系系之之間間與與因因此此可

15、可認認為為性性關關系系引引起起的的則則反反應應誤誤差差主主要要是是由由線線過過大大若若相相比比較較隨隨機機影影響響與與線線性性影影響響將將思思路路)()(),()(:2121220nFnSSFHER 的的拒拒絕絕域域為為1).F1).F檢驗法檢驗法),()(21222nFnSSFER ),()()(2111nF：kkFpkFp 得臨界值為得臨界值為的的相相關關系系數數與與為為xylllyyxxyyxxryyxxxyniiniiniii12121)()()(10 r.;稱其不相關稱其不相關無線性關系無線性關系與與時時當當特別特別的線性關系越差的線性關系越差與與則則越接近于越接近于越小越小當當的線

16、性關系越好的線性關系越好與與則則小接近于小接近于越大越大當當，x，Yr，xY，rxY，r001線線性性關關系系不不顯顯著著與與認認為為否否則則線線性性關關系系顯顯著著與與則則若若通通過過查查相相關關系系數數表表得得一一定定時時和和當當xY，xYnrrnrn)(),(,22 2).2).相關系數檢驗法相關系數檢驗法例例4 檢驗例檢驗例 2 中的回歸效果是否顯著中的回歸效果是否顯著,取顯著性水取顯著性水平為平為 0.05 .,.,.903008250483002 xxlb.)()(.306028297502050tnt查查表表得得,25.4682509030. 04830. 0 t).(.8975

17、0tt ., 0:0認認為為回回歸歸效效果果顯顯著著拒拒絕絕 bH3).t3).t檢驗法檢驗法)()(222ntnSlbbTExx)(:/2210ntTH 拒拒絕絕域域6.預測與控制預測與控制時時0 xx 000 xbaxy)( 的無偏估計的無偏估計是是0y),()(1012000Nlxxnyyxx )()(2222222nSnE 控制控制怎樣控制怎樣控制x的值才能使的值才能使Y的值在要求的范圍內的值在要求的范圍內預測預測在自變量在自變量 時，估計時，估計Y的觀測值所在范圍的觀測值所在范圍0 xx (1).回歸函數函數值回歸函數函數值 的估計的估計)(000 xXYEy的置信區間為的置信區間為

18、的置信水平為的置信水平為 10y)(,)()(2220001210nSxbayxsntyE 其其中中xxlxxnxsntxsbxaYT20010100112)()()()()(其中其中 預測預測.00的的觀觀察察結結果果處處對對是是在在設設YxxY )., 0( ,20000 NbxaY 00 xbay的的點點估估計計仍仍為為0Y)()(022102xsnty 的預測區間的預測區間的置信水平為的置信水平為同理可得同理可得 10Y(2). Y 的觀察值的觀察值 的估計的估計0Y),(2200110 xxlxnNyY但但是是xxlxxnxs200211)()(其其中中預測預測例例5 (續例續例2)

19、;95. 0125,95. 0)125(125)(1) 0的的預預測測區區間間的的置置信信水水平平為為新新觀觀察察值值的的處處求求在在的的置置信信區區間間的的置置信信水水平平為為處處的的值值在在求求回回歸歸函函數數YYxxx .95. 0(2) 00的預測區間的預測區間為為的置信水平的置信水平的新觀察值的新觀察值處處求在求在YYxx 解解(1)已知已知.,.,.,.14590300825073942483002xlabxx .)()(.3060282975020501tnt查查表表得得計算計算,64.571250 xYY,.)()(840122021xxlxxnnt .)()(34211220

20、21xxlxxnnt 的置信區間為的置信區間為為為的置信水平的置信水平處的值處的值在在回歸函數回歸函數95. 0)125(125)( xx預預測測區區間間為為的的的的置置信信水水平平為為的的新新觀觀察察值值處處在在95. 012500YYx ).84. 064.57( ).34. 264.57( (2)在在MATLAB中求解中求解的的取取值值x測區間測區間的觀察值的點預測和預的觀察值的點預測和預Y輸出參數輸出參數回歸直線回歸直線21LL 和和曲曲線線的的區區間間到到的的控控制制范范圍圍是是于于是是)()(20100 xxx控制控制：怎樣控制自變量：怎樣控制自變量x的值才能使的值才能使Y的值以的

21、值以1- 的置信的置信度落所度落所在要求的區間在要求的區間a,b內內,即即:,)(,)()(為此問題可簡化來求解為此問題可簡化來求解時時比較接近比較接近較大時較大時當當算法算法于是采用近似于是采用近似往往無法求解往往無法求解較復雜較復雜由于由于1110202002xsx，xn：。，lxxnxsxx )()(222100210ntyYnty控制控制的置信區間的置信區間的置信度為的置信度為由由 10Y)()(022102xsnty 的的范范圍圍001xbYap )(滿滿足足的的不不等等式式解解出出其其中中0000022100 xxbaybYaxstyY,)(/ ) () ()()(atybxaty

22、bxytyytyxbay 2122021110221012101100令令例例6 對某產品的表面進行腐蝕刻線試驗，設腐蝕對某產品的表面進行腐蝕刻線試驗，設腐蝕深度深度Y與時間與時間x的結果如下表：的結果如下表：時間時間x(秒秒)深度深度Y(mm) 5 6 10 20 30 40 50 60 65 90 4 6813 16 17 19 25 25 29Y=a+bx+ 12046（1 1）求）求Y與與x的相關關系；（的相關關系；（2 2）當）當 秒時秒時 的置信度為的置信度為95%95%置信區間；（置信區間；（3 3）要深度在）要深度在10102121之間時腐蝕時間應如何控制。之間時腐蝕時間應如何

23、控制。750 x0Y解：）在解：）在xy坐標系上將描出的散點圖坐標系上將描出的散點圖),(iiYx由圖看出點在一條直線附近，因此可假設由圖看出點在一條直線附近，因此可假設與與x之間有之間有線性相關關系設為：線性相關關系設為：4165136014395yyxxxylll,.3230 xxxyllb3744.xbya41545585141922.,.xyyExyRl blSl bS909184511495.,yx顯著性檢驗：顯著性檢驗：125913231812950122.),(,.)(.FFnSSFER 有有顯顯著著的的線線性性關關系系與與即即拒拒絕絕xYbHFF,:001 參數估計：參數估計：

24、).,.(95%683352230的置信區間為的置信區間為置信度為置信度為Y262292462299287597502100.)(.,./tttyx 分分布布臨臨界界值值為為查查時時代代入入回回歸歸方方程程得得21100Y.,.7473514733的控制范圍為：的控制范圍為：x預測：預測：控制：控制：747351473321102010210210.)()(/xxtxbatxba 方法方法通過適當的變量變換通過適當的變量變換,化成一元線性化成一元線性回歸問題進行分析處理回歸問題進行分析處理.)., 0(ln ,e . 12 NYx 兩邊取對數兩邊取對數.lnlnln xY)., 0( , 2

25、NbxaY 可化為一元線性回歸的問題可化為一元線性回歸的問題)., 0(ln , . 22 NxY 兩邊取對數兩邊取對數.lnlnlnln xY)., 0( , 2 NbxaY )., 0( ,)( . 32 NxhY )., 0( ,2 NbxaY 曲線回歸方程曲線回歸方程例例 表表 9.18 是是 1957 年美國舊轎車價格的調查資料年美國舊轎車價格的調查資料,今以今以 x 表示轎車的使用年數表示轎車的使用年數, Y 表示相應的平均價表示相應的平均價格格(以美元計以美元計), 求求 Y 關于關于 x 的回歸方程的回歸方程 .表表9.18年數年數x價格價格Y12345678910265119

26、4314941087765538484290226204在在MATLAB中求解中求解首先作散點圖首先作散點圖x=1:1:10;y=2651,1943,1494,1087,765,538,484,290,226,204;plot(x,y,.r)12345678910050010001500200025003000選擇模型選擇模型)., 0(ln ,e2 NYx .ln, ,ln, ln xxbaYY令令變量變換變量變換)., 0( , 2 NbxaY 數據變換數據變換 xx=x;yy=log(y);求回歸方程求回歸方程polytool(xx,yy,1).1646. 8,2977. 0 ab.16

27、46. 82977. 0 xy線性假設的顯著性檢驗線性假設的顯著性檢驗.)(.30602836933220501tSbtxx 線性回歸效果高度顯著線性回歸效果高度顯著.代回原變量代回原變量,得曲線回歸方程得曲線回歸方程)1646. 82977. 0exp() exp( xyy.3 .35142977. 0 xe 小結小結1.回歸分析的任務回歸分析的任務2.一元線性回歸的步驟一元線性回歸的步驟3.可化為一元線性回歸的問題可化為一元線性回歸的問題研究變量之間的相關關系研究變量之間的相關關系(1) 推測回歸函數推測回歸函數; (2) 建立回歸模型建立回歸模型;(3) 估計未知參數估計未知參數; (4

28、) 進行假設檢驗進行假設檢驗;(5) 預測與控制預測與控制.關鍵關鍵:選擇適當的選擇適當的變量代換變量代換.)1(, 21有有關關通通常常與與多多個個普普通通變變量量實實際際問問題題中中的的隨隨機機變變量量 pxxxYp., 2121的函數的函數則它是則它是的數學期望存在的數學期望存在若若定的分布定的分布具有一具有一的一組確定值的一組確定值對于自變量對于自變量ppxxxYYxxx),(21,21pxxxYxxxp 的的回回歸歸函函數數關關于于 xY 4.2 4.2 多元線性回歸分析多元線性回歸分析.,),(2121的線性函數的線性函數是是ppxxxxxx ).,( ,21100 NxxYpp.

29、,無無關關的的未未知知參參數數是是與與ppxx 1210 多元線性回歸模型多元線性回歸模型 多元線性回歸的參數估計、線性相關性的多元線性回歸的參數估計、線性相關性的檢驗以及預測控制等問題都可采用一元線性回檢驗以及預測控制等問題都可采用一元線性回歸類似的方法求解。歸類似的方法求解。.),( ,),( 21111211是是一一個個樣樣本本設設nnpnnpyxxxyxxx XYniNxxyiiippii.),( ,102110 ,111212222111211 npnnppxxxxxxxxxX,21 nyyyY,p 10,n 21niippiiExbxbbySQ121102)(記記 ., 2 , 1

30、, 0)(2 , 0)(2111011100pjxxbxbbybQxbxbbybQniijippiijniippii化簡可得化簡可得參數估計：參數估計：niippiiExxyS121102)( 達到最小達到最小.使誤差平方和使誤差平方和 ., ,11212211110111112121211110111221110niiipniippniiipniiipniipniiiniipipniiiniiniiniiniippniiniiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbnb正規方程組正規方程組YXXXTTp110)( 最大似然估計值最大似然估計值的的估估計計是是pppxbx

31、bbxxx 11021),( ppxxxy 22110P元經驗線性回歸方程元經驗線性回歸方程正規方程組的矩陣形式正規方程組的矩陣形式YXXXTT 的的無無偏偏估估計計是是 , )( ,().(211XXNTniiiEyyS122)(殘差平方和殘差平方和估計量的性質：估計量的性質：的的無無偏偏估估計計是是2221).2( pnSE222RETSSSniiTyyS122)(離差平方和離差平方和niiRyyS122)(回歸平方和回歸平方和) 1().3(222 pnSE )(),1(,0).4(2222221pSnSRTp 時時0:210pH :檢檢驗驗假假設設為為不不真真時時有有線線性性關關系系為

32、為真真時時無無線線性性關關系系00，HHkSSHH，xY，SS，SS：ERERER22002222的的拒拒絕絕域域為為于于是是拒拒絕絕有有顯顯著著的的線線性性關關系系之之間間與與因因此此可可認認為為性性關關系系引引起起的的則則反反應應誤誤差差主主要要是是由由線線過過大大若若相相比比較較隨隨機機影影響響與與線線性性影影響響將將思思路路)()() 1,() 1(:1220pnpFpSSpnFHER 的的拒拒絕絕域域為為F F檢驗法檢驗法: :) 1,() 1(22pnpFpSSpnFER ) 1,(1)()(1pnpF：kkFpkFp 得臨界值為得臨界值為線性相關性的顯著性檢驗線性相關性的顯著性檢

33、驗：多元線性回歸多元線性回歸1.確定回歸系數的點估計值確定回歸系數的點估計值,用命令用命令:b=regress(Y,X)2.求回歸系數的點估計和區間估計求回歸系數的點估計和區間估計,并檢驗回并檢驗回歸模型歸模型,用命令用命令:b,bint,r,rint,stats=regress(Y,X,alpha)3.畫出殘差及其置信區間畫出殘差及其置信區間,用命令用命令:rcoplot(r,rint)附：附：MATLAB中回歸分析的實現中回歸分析的實現符號說明符號說明(1),111212222111211 npnnppxxxxxxxxxX,21 nyyyY.)(YXXXTTp110 . 1, p取取一元線

34、性回歸一元線性回歸(2) alpha為顯著性水平為顯著性水平, 默認為默認為 0.05;(3) bint為回歸系數的區間估計為回歸系數的區間估計;(4) r與與rint分別為殘差及其置信區間分別為殘差及其置信區間;(5) stats 是用于檢驗回歸模型的統計量是用于檢驗回歸模型的統計量, 有三個有三個數值數值, 第一個是相關系數第一個是相關系數 r2, 其值越接近于其值越接近于 1, 說明回說明回歸方程越顯著歸方程越顯著; 第二個是第二個是 F 值值, FF1-alpha(p,n-p-1) 時時拒絕拒絕 H0, F 越大越大, 說明回歸方程越顯著說明回歸方程越顯著; 第三個是與第三個是與F對應

35、的概率對應的概率 p, palpha 時拒絕時拒絕, 回歸模型成立回歸模型成立. 身高身高143 145 146 147 149 150 153 154腿長腿長8885889192939395身高身高155 156 157 158 159 160 162 164腿長腿長969897969899100 102例例1測得測得16名女子的身高和腿長如下名女子的身高和腿長如下(單位單位:cm):試研究這些數據之間的關系試研究這些數據之間的關系.輸入數據輸入數據x=143,145,146,147,149,150,153,154,155,156,157, 158,159,160,162,164;X=one

36、s(16,1),x;Y=88,85,88,91,92,93,93,95,96,98,97,96,98,99,100, 102;回歸分析及檢驗回歸分析及檢驗b,bint,r,rint,stats=regress(Y,X);b,bint,stats.7194. 0,0730.1610 bb. )834. 0,6047. 0(.1.5612)33.7071,(10的的置置信信區區間間的的置置信信區區間間bb .0000. 0,9531.180,9282. 02 pFr.7194. 00730.16,05. 0成成立立回回歸歸模模型型xyp 殘差分析殘差分析rcoplot(r,rint)預測及作圖預測

37、及作圖z=b(1)+b(2)*xplot(x,Y,k+,x,z,r)數據比較數據比較殘差圖形殘差圖形預測圖形預測圖形數據比較數據比較幫助幫助程序運行結果程序運行結果一元多項式回歸一元多項式回歸1.確定多項式系數確定多項式系數,用命令用命令:p,S=polyfit(x,y,m).,(),(2121nnyyyyxxxx ,),(1121121 mmmmmaxaxaxayaaap確定多項式確定多項式.,用來估計預測誤差用來估計預測誤差是一個矩陣是一個矩陣S也可使用命令也可使用命令:polytool(x,y,m)結果產生一個交互式的畫面結果產生一個交互式的畫面, 畫面中有擬合曲畫面中有擬合曲線和線和

38、y 的置信區間的置信區間, 左下方的左下方的 Export 可以輸出參數可以輸出參數.2.預測和預測誤差估計用命令預測和預測誤差估計用命令:求回歸多項式在求回歸多項式在x處的預測值處的預測值Y.Y,DELTA=polyconf(p,x,S,alpha)求回歸多項式在求回歸多項式在 x 處的預測值處的預測值 Y 以及預測值的以及預測值的顯著性為顯著性為1-alpha 的置信區間的置信區間 YDELTA,alpha 的默的默認值是認值是 0.05.一元多項式回歸可化為多元線性回歸求解一元多項式回歸可化為多元線性回歸求解.Y=polyval(p,x)例例2下面給出了某種產品每件平均單價下面給出了某種

39、產品每件平均單價 Y(元元) 與與批量批量 x (件件) 之間的關系的一組數據之間的關系的一組數據 .x202530354050y1.811.701.651.551.481.40 x606570758090y1.301.261.241.211.201.18試用一元二次多項式進行回歸分析試用一元二次多項式進行回歸分析.輸入數據輸入數據x=20,25,30,35,40,50,60,65,70,75,80,90;y=1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21, 1.20,1.18;作二次多項式回歸作二次多項式回歸p,S=polyfit(x,y,

40、2)預測及作圖預測及作圖Y=polyconf(p,x,y)plot(x,y,b+,x,Y,r)回歸結果回歸結果殘差圖形殘差圖形預測圖形預測圖形幫助幫助程序運行結果程序運行結果化為多元線性回歸化為多元線性回歸X=ones(12,1) x (x.2);b,bint,r,rint,stats=regress(y,X);b,stats與前面的結果一致與前面的結果一致.多元二項式回歸多元二項式回歸rstool(x,y,model,alpha)其中其中,輸入數據輸入數據 x, y 分別為分別為 nm 矩陣和矩陣和 n 維列維列向量向量; alpha 為顯著性水平為顯著性水平, 默認為默認為 0.05; m

41、odel 為下為下列四種模型中的一種列四種模型中的一種, 輸入相應的字符串輸入相應的字符串, 默認為默認為線性模型線性模型.mmxxy 110:)(線線性性linearticpurequadra:)(純二次純二次 mjjjjmmxxxy12110 ninteractio:)(交叉交叉 mmkjkjjkmmxxxxy1110 quadratic:)(完全二次完全二次 mmkjkjjkmmxxxxy,1110 rstool的輸出是一個交互式畫面的輸出是一個交互式畫面,畫面中有畫面中有m個個圖形圖形,分別給出了一個獨立變量分別給出了一個獨立變量xi與與y的擬合曲線的擬合曲線,以及以及y的置信區間的置

42、信區間,此時其余此時其余m-1個變量取固定值個變量取固定值.可可以輸入不同的變量的不同值得到以輸入不同的變量的不同值得到y的相應值的相應值.圖的左下方有兩個下拉式菜單圖的左下方有兩個下拉式菜單,一個用于傳送一個用于傳送回歸系數、剩余標準差、殘差等數據回歸系數、剩余標準差、殘差等數據;另一個用于另一個用于選擇四種回歸模型中的一種選擇四種回歸模型中的一種,選擇不同的回歸模型選擇不同的回歸模型,其中剩余標準差最接近于零的模型回歸效果最好其中剩余標準差最接近于零的模型回歸效果最好.例例3設某商品的需求量與消費者的平均收入、商設某商品的需求量與消費者的平均收入、商品價格的統計數據如下品價格的統計數據如下

43、, 建立回歸模型建立回歸模型, 預測平均收預測平均收入為入為 1000, 價格為價格為 6 時的商品需求量時的商品需求量 . 需求量需求量10075807050收入收入 10006001200500300價格價格57668需求量需求量659010011060收入收入4001300 1100 1300300價格價格75439選擇純二次模型選擇純二次模型,即即2222211122110 xxxxy 數據輸入數據輸入x1=1000,600,1200,500,300,400,1300,1100,1300,300;x2=5,7,6,6,8,7,5,4,3,9;y=100,75,80,70,50,65,9

44、0,100,110,60;x=x1 x2;回歸、檢驗與預測回歸、檢驗與預測rstool(x,y,purequadratic)回歸圖形回歸圖形回歸結果回歸結果幫助幫助程序運行結果程序運行結果化為多元線性回歸求解化為多元線性回歸求解x1=1000,600,1200,500,300,400,1300,1100,1300,300;x2=5,7,6,6,8,7,5,4,3,9;y=100,75,80,70,50,65,90,100,110,60;X=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,X)回歸系數的點估計以及區間估計回

45、歸系數的點估計以及區間估計殘差及其置信區間殘差及其置信區間檢驗回歸模型的統計量檢驗回歸模型的統計量;1,9702. 02回回歸歸方方程程顯顯著著接接近近于于相相關關系系數數 r;,26. 6)5 , 4(6656.4095. 0回回歸歸方方程程顯顯著著 FF.,05. 00005. 0回回歸歸模模型型成成立立 P逐步回歸分析逐步回歸分析在實際問題中在實際問題中,影響因變量的因素很多影響因變量的因素很多,而這些而這些因素之間可能存在多重共線性因素之間可能存在多重共線性.為得到可靠的回歸為得到可靠的回歸模型模型,需要一種方法能有效地從眾多因素中挑選出需要一種方法能有效地從眾多因素中挑選出對因變量貢

46、獻大的因素對因變量貢獻大的因素.如果采用多元線性回歸分析如果采用多元線性回歸分析,回歸方程穩定性回歸方程穩定性差差,每個自變量的區間誤差積累將影響總體誤差每個自變量的區間誤差積累將影響總體誤差,預預測的可靠性差、精度低測的可靠性差、精度低;另外另外,如果采用了影響小的如果采用了影響小的變量變量,遺漏了重要變量遺漏了重要變量,可能導致估計量產生偏倚和可能導致估計量產生偏倚和不一致性不一致性.選擇選擇“最優最優”回歸方程的方法回歸方程的方法1.從所有可能的變量組合的回歸方程中選擇從所有可能的變量組合的回歸方程中選擇最優者最優者;2.從包含全部變量的回歸方程中逐次剔除不從包含全部變量的回歸方程中逐次剔除不顯著因子顯著因子;3.從一個變量開始從一個變量開始,把變量逐個引入方程把變量逐個引入方程;4.“有進有出有進有出”的的逐步回歸分析逐步回歸分析.“最優最優”的回歸方程應該包含所有有影響的的回歸方程應該包含所有有影響的變量而不包括影響不顯著的變量變量而不包括影響不顯著的變量.逐步回歸分析法逐步回歸分析法在篩選變量方面比較理想在篩選變量方面比較理想, 是是目前較常用的方法目前較常