1、第一節(jié) 一元線性回歸分析預測法一、 概念（思路）根據(jù)預測變量（因變量）Y和影響因素（自變量）X的歷史統(tǒng)計數(shù)據(jù)，建立一元線性回歸方程，然后代入X的預測值，求出Y的預測值的方法。基本公式：y=a+bx其中：a、b為回歸系數(shù)，是未知參數(shù)。基本思路：1、 利用X，Y的歷史統(tǒng)計數(shù)據(jù)，求出合理的回歸系數(shù)：a、b，確定出回歸方程2、 根據(jù)預計的自變量x的取值，求出因變量y的預測值。二、 一元線性回歸方程的建立1、 使用散點圖定性判斷變量間是否存在線性關系例：某地區(qū)民航運輸總周轉量和該地區(qū)社會總產(chǎn)值由密切相關關系。年份總周轉量（億噸公里）Y社會總產(chǎn)值(百億元)X112.530214.536314.738415

2、.141515.548616.852717.553818.253.5918.8552、 使用最小二乘法確定回歸系數(shù)使實際值與理論值誤差平方和最小的參數(shù)取值。對應于自變量xi，預測值（理論值）為b+m*xi，實際值yi，min(yi-b-mxi)2，求a、b的值。使用微積分中求極值的方法，得：由下列方程代表的直線的最小二乘擬合直線的參數(shù)公式：其中 m 代表斜率 ，b 代表截距。一元線性回歸.xls三、 回歸方程的顯著性檢驗判斷X、Y之間是否確有線性關系，判定回歸方程是否有意義。有兩類檢驗方法：相關系數(shù)檢驗法和方差分析法1、 相關系數(shù)檢驗法構造統(tǒng)計量r相關系數(shù)的取值范圍為：-1，1，|r|的大小反

3、映了兩個變量間線性關系的密切程度，利用它可以判斷兩個變量間的關系是否可以用直線方程表示。r值兩變量之間的關系r=1完全正相關1>r>0正相關，越接近1，相關性越強。越接近0，相關性越弱r=0不線性相關0>r>-1負相關，越接近-1，相關性越強；越接近0，相關性越弱r=-1完全負相關兩個變量是否存在線性相關關系的定量判斷規(guī)則： 對于給定的置信水平，從相關系數(shù)臨界值表中查出r臨（n-2），把其與用樣本計算出來的統(tǒng)計量r0比較：若|r0|r臨（n-2）成立，則認為X、Y之間存在線性關系，回歸方程在水平上顯著。差異越大，線性關系越好。反之則認為不顯著，回歸方程無意義，變量間不存

4、在線性關系。其中：n為樣本數(shù)。2、 方差分析法：方差分析的基本特點是把因變量的總變動平方和分為兩部分，一部分反映因變量的實際值與用回歸方程計算出的理論值之差，一部分反映理論值與實際值的平均值之差。Y的總變差=Y的殘余變差+Y的說明變差，SST=SSE+SSR或：總離差平方和=剩余平方和+回歸平方和回歸平方和U與剩余平方和Q相比越大，說明回歸效果越好。注：在方差分析中，已被解釋的和未被解釋的變差除以相應的自由度的個數(shù)即變?yōu)榉讲睢的方差是Y的總偏差平方和除以n-1，被解釋的方差等于被解釋的變差（因為回歸只比估計Y的均值多用一個約束條件），殘余方差等于殘差偏差平方和除以n-2，殘差的方差S2是誤差

5、方差的無偏且一致的估計（S叫做回歸標準差）S2=Q/(n-m)定量判斷回歸有效性有兩種方法：(1) 可決系數(shù)檢驗法擬合優(yōu)度統(tǒng)計量；判定系數(shù) ：r2=SSR/SST=U/Syy 調(diào)整的r2 =1-Q/(n-m)/Syy/(n-1)復相關系數(shù)檢驗法：構造統(tǒng)計量R=SQRT1-Q/Syy=SQRT（U/Syy）判斷規(guī)則：對于給定的置信度，從相關系數(shù)r分布表中查出r臨（n-m），把其與用樣本計算出來的統(tǒng)計量R0比較：若R0r臨（n-m）成立，則認為回歸方程在水平上顯著。反之則認為不顯著，回歸方程無意義，變量間不存在線性關系。(2) F檢驗法：構造統(tǒng)計量F=（U/m-1）/Q/（n-m）其中：m為變量個

6、數(shù)（總數(shù)）；n為樣本數(shù)。統(tǒng)計量F服從第一自由度為m-1、第二自由度為n-m的F（m-1，n-m）分布。F=r2/(1-r2)*(n-m)/(m-1)判斷規(guī)則：對于給定的置信度，從F分布表中查出F（m-1，n-m），把其與用樣本計算出來的統(tǒng)計量F0比較：若F0F（m-1，n-m）成立，則認為回歸方程在水平上顯著。反之則認為不顯著，回歸方程無意義，變量間不存在線性關系。四、 回歸方程沒有通過檢驗的原因1、 定性分析選擇的各變量間，本來不存在因果關系。定性分析設想不準確。2、 選擇的變量間存在因果關系，但還存在其它起著更重要作用的變量尚未列入模型之中。3、 選擇變量之間的關系是非線性關系。五、 利用

7、檢驗通過的回歸方程進行預測y=6.34+0.213x點估計值：若給定x值，則y的預測值為6.34+0.213*58=18.69區(qū)間估計：標準誤差：S=sqrt(e2)/(n-m)第二節(jié) 一元非線性回歸分析預測法思路：與一元線性回歸分析基本相同。即通過變量替換將非線性方程轉化為線性方程；使用最小二乘法建立線性回歸方程；在通過逆變換將線性方程轉化為非線性方程。函數(shù)的線性變換及逆變換是個數(shù)學問題，不講了。例題，參見160頁：航空貨物周轉量=a*（社會總產(chǎn)值）196頁，SB機場空運需求預測202頁，利雅得國際機場業(yè)務量預測第三節(jié) 多元回歸分析一、 思路多元非線性回歸分析轉換為多元線性回歸分析，多元線性

8、回歸分析，與一元線性回歸分析基本相同，只是在自變量的選定上、求解回歸方程及統(tǒng)計檢驗等方面比一元回歸要復雜一些。設多元線性回歸模型為：y=b0+b1*x1+b2*x2+bm*xm二、 參數(shù)求法為最小二乘法：min（yi-（b0+b1*x1i+b2*x2i+bm*xmi）2分別對bj求偏導數(shù)，偏導數(shù)等于0時，上式取得最小值。可以得到m+1個關于bj的標準方程，使用線性代數(shù)中的行列式解法，可以求出回歸系數(shù)bj。以二元回歸分析為例，說明多元回歸方程的建立1、 定性判斷得知，因變量Y與自變量X1, X2存在線性相關關系。模型形式為：y=b0+b1*x1+b2*x22、 確定回歸系數(shù)b0、b1、b2，最小

9、二乘法。分別對b0、b1、b2求偏導，令偏導數(shù)=0，構成如下方程組：手工列表計算：三、 回歸方程的統(tǒng)計檢驗1、 回歸方程的顯著性檢驗，檢驗回歸方程的有效性檢驗方法有：F檢驗法、復相關系數(shù)檢驗法2、 回歸系數(shù)的顯著性檢驗，檢驗回歸系數(shù)的有效性，檢驗方法有：t檢驗法構造統(tǒng)計量t其中：m為變量個數(shù)；n為樣本數(shù)。統(tǒng)計量t服從自由度為n-m的t（n-m）分布。判斷規(guī)則：對于給定的置信度，從t分布表中查出t/2（n-m），把其與用樣本計算出來的統(tǒng)計量t0比較：若t0t（n-m）成立，則認為回歸方程在水平上顯著。反之則認為不顯著，回歸系數(shù)無意義，變量間不存在線性相關關系。統(tǒng)計假設檢驗總結：對于一元回歸，四種

10、檢驗方法選一即可；對于多元回歸必須進行t檢驗和R、F間嚴重的一種。檢驗目的檢驗方法統(tǒng)計量判斷規(guī)則檢驗回歸方程的有效性相關系數(shù)檢驗法r復相關系數(shù)檢驗法RF檢驗 F檢驗回歸系數(shù)的有效性t檢驗t四、 例題：國外預測模型簡介全行業(yè)運量預測五、 幾個基本問題及內(nèi)在假設1、 自變量的選擇（回歸分析測法的程序）1) 確定預測變量2) 確定影響預測變量的因素定性分析，具有經(jīng)濟上的意義和內(nèi)在的因果關系。3) 收集整理預測變量及其影響因素的歷史統(tǒng)計資料4) 分析因變量和自變量的關系，確定回歸模型定量分析，因變量與自變量、自變量之間的相關系數(shù)，判別因變量和自變量是否顯著相關，顯著相關的影響因素作為自變量；同時與因變

11、量不相關或與某個自變量高度線性相關的自變量，應予剔除。實踐經(jīng)驗確定散點圖分析確定理論試算（計算擬和誤差（預測誤差），選出擬和程度最好的模型5) 求解模型參數(shù)，建立回歸方程6) 檢驗回歸方程的有效性7) 利用檢驗通過的回歸方程進行預測，并確定預測值的置信區(qū)間2、 多元共線性（多重共線性）1） 概念：回歸分析中，自變量之間存在著相關關系，稱這種關系為多元共線性。多元回歸分析的假設是自變量之間是獨立的。得出的參數(shù)估計值是不可靠的。例如：某省宏觀經(jīng)濟模型中，建筑業(yè)產(chǎn)值=2.1684+0.1601*工業(yè)總產(chǎn)值-0.0795*上年工業(yè)總產(chǎn)值+0.5651*上年建筑業(yè)產(chǎn)值負號的出現(xiàn)很難解釋，上年工業(yè)總產(chǎn)值和

12、上年建筑業(yè)產(chǎn)值存在共線性。2） 檢驗多元共線性的方法：U2（m-1）分布Q2（n-m）分布Syy2（n-1）分布擬和優(yōu)度判定系數(shù)： 判定系數(shù)法：把某自變量用其它自變量進行回歸計算，計算相應的判定系數(shù)R2，若R2較大，說明本自變量可以用其它自變量的線性組合替代，存在多重共線性。或者用因變量分別與含有本自變量或不含有本自變量的自變量組合進行回歸計算，若兩者計算的判定系數(shù)差不多，則說明本自變量與其它自變量間存在多元共線性。 逐步回歸法：逐個引進自變量，根據(jù)R2的變化情況判斷是否存在多重共線性。若R2變化顯著，則不存在多重共線性，應引入；若R2無顯著變化，則無需引入。 偏相關系數(shù)檢驗法，計算兩兩變量間的相關系數(shù)，進行分析檢驗。3、 自相關（序列相關）概念：若隨機誤差項在不同樣本之間存在相關性，ei與ej相關，則稱為序列相關；較多的是ei與eI+1之間序列相關，稱為自相關自相關的檢驗： 達賓沃爾森檢驗計算出D.W值后，查達賓沃爾森檢驗表判定是否存在自相關。 馮諾曼比檢驗 回歸檢驗4、 線性假設回歸的另一假設是線性假設，因變量和自變量間的關系可以用線性表示出來。無法將其轉化為線性的回歸方程，不能采用回歸分析方法，而要采取別的方法，如仿真方法。5、 樣本數(shù)