1、回歸分析是一類數(shù)學模型，特別當因變量和自變量為線性關系時，它 是一種特殊的線性模型。最簡單的情形是一個自變量和一個因變量，且它 們大體上有線性關系，這叫一元線性回歸， 即模型為Y=a+ bX+ £,這里X是自變量，Y是因變量，e是隨機誤差，一般的情形，有 k個自變量和一個 因變量，因變量的值可以分解為兩部分：一部分是由自變量的影響，即表 示為自變量的 1燹，其中函數(shù)形式已知，但含一些未知參數(shù)；另一部分是由于其他未被考慮的因素和隨機性 的影響,即隨機誤差。當函數(shù)形式為未知參數(shù)的線性函數(shù)時，稱線性回歸分析模型；當函數(shù)形式為未知參數(shù)的韭線出函數(shù)時，稱為非線性回歸分析模型。一相關分析研究的是

2、現(xiàn)象之間是否相關、相關的方向和密切程度，一般 不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關的具體形式， 確定其因果關系，并用數(shù)學模型來表現(xiàn)其具體關系。兩個變量之間到底是 哪個變量受哪個變量的影響，影響程度如何，則需要通過回歸分析方法來 確定。一般來說，回歸分析是通過規(guī)定因變量和自變量來確定變量之間的 因果關系，建立回歸模型，并根據(jù)實測數(shù)據(jù)來求解模型的各個參數(shù)，然后 評價回歸模型是否能夠很好的擬合實測數(shù)據(jù)；如果能夠很好的擬合，則可 以根據(jù)自變量作進一步預測。R2又稱為方程的確定性系數(shù)(coefficient of determination ),表示方程中變量X對Y的解釋程度。R2取值在

3、0到1之間，越接近1,表明方程中 X對Y的解釋能力越強。通常將R2乘以100%來表示回歸方程解釋Y變化的百分比。F檢驗是通過方差分析表輸出的，通過顯著性水平( significant level)檢驗回歸方程的線性關系是否顯著。一般來說，顯著性水平在0.05以下，均有意義。回歸分析的步驟根據(jù)預測目標，確定自變量和因變量明確預測的具體目標，也就確定了因變量。如預測具體目標是下一年 度的銷售量，那么銷售量 Y就是因變量。通過 市場調查 和查閱資料、尋找 與預測目標的相關影響因素，即自變量，并從中選出主要的影響因素。建立回歸預測模型依據(jù)自變量和因變量的歷史統(tǒng)計資料進行計算，在此基礎上建立回歸 分析方

4、程，即回歸分析預測模型。進行相關分析回歸分析是對具有因果關系的影響因素(自變量)和預測對象(因變 量)所進行的數(shù)理統(tǒng)計分析處理。只有當變量與因變量確實存在某種關系 時，建立的回歸方程才有意義。因此，作為自變量的因素與作為因變量的預測對象是否有關，相關程度如何，以及判斷這種相關程度的把握性多大, 就成為進行回歸分析必須要解決的問題。進行相關分析，一般要求出相關 關系，以相關系數(shù)的大小來判斷自變量和因變量的相關的程度。檢驗回歸預測模型，計算預測誤差回歸預測模型是否可用于實際預測，取決于對回歸預測模型的檢驗和 對預測誤差的計算。回歸方程只有通過各種檢驗，且預測誤差較小，才能 將回歸方程作為預測模型進

5、行預測。計算并確定預測值利用回歸預測模型計算預測值，并對預測值進行綜合分析，確定最后 的預測值。三、一元線性回歸模型對于具有線性因果關系的兩個變量，由于有隨機因素的干擾，兩變量的線性 關系中應包括隨機誤差項，即有：y a bx u( 93)對于x某一確定的值，其對應的y值雖有波動，但在大量觀察中隨機誤差的 期望值為零，即E( )=o,因而從平均意義上說，總體線性回歸方程為：Y E(Y) a bX(9_4)上式中，a是回歸直線的截距項，即X為0時Y的值，從數(shù)學意義上理解， 它表示在沒有自變量X的影響時，其它各種因素對因變量Y的平均影響；b是回 歸系數(shù)(直線的斜率)，表示自變量x每變動一個單位時，

6、因變量Y平均變動b個 單位。我們可通過樣本觀察值計算參數(shù)a、b的估計值，求得參數(shù)的估計值后，即 求得樣本回歸方程，用它對總體線性回歸方程進行估計。 樣本回歸直線方程又稱 一元線性回歸方程，其表達形式為：?夕 bx(9 5)式中：？表示因變量的估計值(回歸理論值)；？和8是待定參數(shù)a和b的估 計值。一元線性回歸方程中的待定參數(shù)是根據(jù)樣本數(shù)據(jù)資料估計確定的。確定回歸方程就是要找出a與b的估計值臺及應使直線？ ? B總體看來與所有的散點 最接近，即確定最優(yōu)的今與統(tǒng)計學上常采用最小二乘法(Ordinary least squares estimation,亦稱最小平方法)。設樣本回歸模型為：(9 6)

7、yi a?故 e i 1, 2, L , n 于是有：e yi a? & yi ?從式（9 6）可以看出，a?和?取不同值就有不同的樣本回歸直線，從而有不同的殘差ei0為了保證殘差最小，希望e接近于0,但由于有n個ei ,還必須考慮總體殘差最小，又因為ei可能存在正負相互抵消，e最小不能真正表達總體殘差最小的思想。故此又想到使 0最小，但使 e達到最小，確定參數(shù)估計值的計算較為復雜，最終選擇普通最小二乘法確定 ?和8,就是估計使得所2有Y的估計值與觀察值的殘差平方和e達到最小的參數(shù)a?、8即:min Qe；(yi a?政J這就是最小二乘法的基本原理。由于本書旨在介紹該種方法在統(tǒng)計中的應

8、用，故數(shù)學推導過程省略，根據(jù)最小二乘法原理，利用微積分中求極值的方法，求得 a、b的估計值，口 n xyx yb22n x ( x)(9- 7)a? y bX當a?、8求出后，一元線性回歸方程？?B便確定了單次測量值x1與測定平均值之差的平方的總和，以 Q表示，Q值越大，表示測定值之間的差異越大，用偏差平方和表征差異的優(yōu)點是能充分利用測度數(shù)據(jù)所提供的信息，缺點是 Q隨著測定值數(shù)目的增多而增大，為了克服這一缺點，用笈上S2=Q/f來表征差異的大小，其中 f為自由度。如一個測定結 果受多個因素影響，則總偏差平方和等于 實驗誤差與各因素（包括固定因素 與隨機因素）所形成的偏差平方和之總和。為了明確解

9、釋變量和隨機誤差各產生的效應是多少，統(tǒng)計學上把數(shù)據(jù)點與它在回歸直線上相應位置的差異稱殘差，把每個殘差的平方后加起來稱為殘差平方和，它表示隨機誤差的效應 意義:每一點的y值的估計值和實際值的平方差之和稱為殘差平方和，而y的實際值和平均值的平方差之和稱為總平方和。殘差平方和：為了明確解釋變量和隨機誤差各產生的效應是多少， 統(tǒng)計學上把數(shù) 據(jù)點與它在回歸直線上相應位置的差異 稱殘差，把每個殘差的平方后加起來稱 為殘差平方和，它表示隨機誤差的效應。回歸平方和總偏差平方和二回歸平方和+殘差平方和。殘差平方和與總平方和的比值越小，判定系數(shù) r2的值就越大。殘差圖的評價“殘差圖”以回歸方程的自變量為橫坐標，以殘差為縱坐標，將每一個自變量的殘差描在該平面坐標上所形成的圖形。當描繪的點圍繞殘差等于0的直線上下隨機散布，說明回歸直線對原觀測值的擬