第五章回歸分析回歸分析一元線性回歸

在現實問題中處于同一個過程中的一些變量往往是相互依賴和相互制約的，它們之間的相互關系大致可分為兩種：(1)確定性關系--函數關系

(2)非確定性關系--相關關系：變量之間有一定的依賴關系，但這種關系并不完全確定。可控變量：可以在某范圍內隨意地取指定數值-自變量不可控變量:可以觀測但不可控制(隨機變量)--因變量回歸分析：研究一個隨機變量與一個（或幾個）可控變量之間相關關系地統計方法。

只有一個自變量的回歸分析叫做一元回歸分析；多于一個自變量的回歸分析叫做多元回歸分析。

回歸分析主要內容:提供建立有相關關系的變量之間的數學關系式(經驗公式)的一般方法;(2)判別所建立的經驗公式是否有效;(3)利用所得到的經驗公式進行預測和控制.5.1一元線性回歸(一)一元線性回歸模型

設與有相關關系,當自變量時,因變量并不取固定的值與其對應.如果要用函數關系近似與的相關關系,很自然想到,應該以作為與相對應的數值.（5－1）其中為常數，則稱與之間存在線性相關關系，稱（5－1）為一元正態線性回歸模型，簡稱一元線性模型，其回歸函數記為稱為對的線性回歸，稱為回歸常數，稱為回歸系數。

由（5－1）得，可知取不同數值時，便得到不同的正態變量。其中為未知的常數。由獨立知道也相互獨立，且稱為獨立樣本的一個（或一組）樣本觀測值，其中為取固定值時，對進行一次試驗所得到的觀測值。利用獨立樣本及其樣本值可得的估計量及估計值和從而得到回歸函數的估計稱為對的經驗回歸方程或經驗公式。把樣本值作為平面直角坐標系的個點描出來，構成實驗的散點圖。根據散點圖，適當地選擇一個函數使得在一定意義下最好地吻合于觀測結果常用的是最小二乘法，即.......二、未知參數的估計1.正規方程組、回歸系數的點估計根據最小二乘法求線性回歸函數的估計就是求使得取得最小值的即根據微分學中的二元函數極值的充分條件,將分別對求一階偏導數并令其為零經過整理后得到線性方程組其中正規方程組解此方程組即得使取得最小值的分別稱為的最小二乘估計值.于是,得到對的經驗回歸方程注:用最小二乘法得到的經驗回歸直線通過已知個數據點的幾何重心把估計值中的分別用來代替,就得到了參數的估計量.為了方便,我們引進幾個常用的記號則參數估計量回歸方程定理1:

在一元線性回歸模型中,

和相互獨立.證明:即與不相關.但與都是獨立正態變量的線性組合,因此,與的聯合分布為正態分布.對于正態隨機向量來說不相關和相互獨立是等價的.證畢定理2:

在一元線性回歸模型中,的最小二乘估計量的數學期望和方差為證明:證畢.由定理2可看出,當時,取最小值;與成反比.所以,為了提高和的估計精度,最好選擇使,并且應比較分散.注:

的最小二乘估計量與極大似然估計量相等.2.參數的點估計當的極大似然估計量已得到后,的估計量可由似然方程可得的極大似然估計量為記即是的極大似然估計量.定理3:

在一元線性模型中證明:而又于是有證畢.由定理3可得是的無偏估計.3.估計量和的分布定理4:在一元線性模型中(1)(2)(3)(4)(5)相互獨立.4.未知參數和的區間估計定理5.

在一元線性模型中證明:由定理4,得由定理4的(5)可知,分別相互獨立,再由t分布的定義,即得證畢由定理5及t分布的分位數,得即得的置信區間為類似,的置信區間為由易得的置信區間為三、線性回歸效果的顯著性檢驗

我們在求Y對x的線性回歸之前，必須判斷Y與x的關系是否滿足一元線性回歸模型。理論上講，這要求檢驗（1）對x取任一固定值時，Y都服從正態分布，而且方差相同；（2）x在某一范圍取值時，EY是x的線性函數；（3）在x取各個不同值時，相應的Y是相互獨立的。但要檢驗這三條不僅需要大量的試驗，還要進行大量的計算，實際上很難辦到。（1）x對Y沒有顯著影響，應丟掉自變量x；（2）x對Y有顯著影響，但不能用線性相關關系來表示；（3）除x外還有其它不可忽略的變量對Y也有顯著影響，從而削弱了x對Y的影響，應考慮多元線性回歸。1.F檢驗法考慮令計算后可得一元線性模型中的平方和分解公式：總偏差平方和回歸平方和殘差平方和總偏差（離差）平方和回歸平方和因為剩余平方和（或殘差平方和）平方和分解公式：（1）由于x對Y的線性相關關系而引起的Y的分散性。（2）剩余因素引起的Y的分散性。定理6：證明：對于檢驗證畢2.t檢驗法由定理5知3.r檢驗法為了檢驗Y與x是否有線性相關性，也可用統計量相關系數進行檢驗兩邊平方得于是得到即這說明Y與x之間不存在線性相關關系。(2