1、8.2.2 一元線性回歸模型參數的最小二乘法估計復習回顧1.一元線性回歸模型2.一元線性回歸模型與函數模型的區別Y稱為因變量或響應變量，x稱為自變量或解釋變量，e是Y與bx+a之間的隨機誤差a稱為截距參數，b稱為斜率參數. 在一元線性回歸模型中，表達式Y=bx+a+e刻畫的是變量Y與變量x之間的線性相關關系，其中參數a和b未知，需要根據成對樣本數據進行估計. 由模型的建立過程可知，參數a和b刻畫了變量Y與變量x的線性關系，因此通過成對樣本數據估計這兩個參數，相當于尋找一條適當的直線，使表示成對樣本數據的這些散點在整體上與這條直線最接近. 探究！利用前面的散點圖找出一條直線，使各散點在整體上與此

2、直線盡可能接近. 有的同學可能會想，可以采用測量的方法，先畫出一條直線，測量出各點到直線的距離，然后移動直線，到達一個使距離的和最小的位置 . 測量出此時的斜率和截距，就得到一條直線 有的同學可能會想，可以在散點圖中選則這樣的兩點畫一條直線，使得直線兩側點的個數基本相同，把這條直線作為所求直線如圖所示. 還有的同學會想，在散點圖中多取幾對點，確定出幾條直線的方程，再分別求出這些直線的斜率、截距的平均數，將這兩個平均數作為所求直線的斜率和截距如圖.同學們不妨去實踐一下，看看這些方法是不是真的可行. 上面這些方法雖然有一定的道理，但比較難操作，我們需要另辟蹊徑. 先進一步明確我們面臨的任務: 從成

3、對樣本數據出發，用數學的方法刻畫“從整體上看, 各散點與直線最接近”. 通常，我們會想到利用點到直線y=bx+a的“距離”來刻畫散點與該直線的接近程度，然后用所有“距離”之和刻畫所有樣本觀測數據與該直線的接近程度. 我們設滿足一元線性回歸模型的兩個變量的n對樣本數據為(x1 , y1)，(x2 , y2），(xn , yn),由yi=bxi+a+ei (i=1，2，n)，得|yi(bxi+a)|=|ei|.由yi=bxi+a+ei (i=1，2，n)，得|yi(bxi+a)|=|ei|. 顯然|ei|越小，表示點(xi，yi)與點(xi，bxi+a)的“距離”越小，即樣本數據點離直線y=bx+

4、a的豎直距離越小，如圖所示.特別地，當ei=0時，表示點(xi，yi)在這條直線上.來刻畫各樣本觀測數據與直線y=bx+a的“整體接近程度”. 因此可以用這n個豎直距離之和 在實際應用中，因為絕對值使得計算不方便，所以人們通常用各散點到直線的豎直距離的平方之和刻畫 “整體接近程度”. 在上式中， xi，yi (i=1，2，n)是已知的成對樣本數據，所以Q由a和b所決定，即它是a和b的函數.這個和當然越小越好. 所以我們取使Q達到最小的a和b值, 作為截距a和斜率b的估計值.Q越小越好. 下面利用成對樣本數據求使Q取最小值的a和b. 上式是關于b的二次函數，因此要使Q取得最小值，當且僅當b的取值

5、為時， Q達到最小.綜上，當a, b的取值為 我們將 稱為Y 關于x 的經驗回歸方程，也稱經驗回歸函數或經驗回歸公式，其圖形稱為經驗回歸直線，這種求經驗回歸方程的方法叫最小二乘法相應的經驗回歸直線如圖所示. 顯然不一定，因為還有其他影響兒子身高的因素，父親的身高不能完全決定兒子的身高. 不過, 我們可以作出推測, 當父親的身高為176cm時, 兒子身高一般在177cm左右. 實際上，如果把這所學校父親身高為176cm的所有兒子身高作為一個子總體，那么177cm是這個子總體均值的估計值. 分析模型可以發現，高個子父親有生高個子兒子的趨勢，但一群高個子父親的兒子們的平均身高要低于父親們的平均身高，

6、例如 矮個子父親有生矮個子兒子的趨勢，但一群矮個子父親的兒子們的平均身高要高于父親們的平均身高，例如 根據模型，父親身高為多少時，長大成人的兒子的平均身高與父親身高一樣？你怎么看這個判斷？ 例如，對于前表中的第6個觀測，父親身高為172cm，其兒子身高的觀測值為y6=176cm，預測值類似地，可以得到其他殘差，如下表所示 殘差是隨機誤差的估計結果，通過對殘差的分析可判斷模型刻畫數據的效果，以及判斷原始數據中是否存在可疑數據等，這方面的工作稱為殘差分析.編號父親身高/cm兒子身高觀測值/cm兒子身高預測值/cm殘差/cm1174176174.9431.0572170176171.5874.413

7、3173170174.1044.1044169170170.7480.7485182185181.6553.3456172176173.2562.7357180178179.9771.9778172174173.2560.7359168170169.9090.09110166168168.2310.23111182178181.6553.65512173172174.1042.10413164165166.5531.55314180182179.9772.023 為了使數更加直觀，用父親身高作為橫坐標，殘差作為縱坐標，可以畫出殘差圖，如下圖所示. 觀察殘差表可以看到，殘差有正有負，殘差的絕對值

8、最大是4.413. 觀察殘差的散點圖可以發現，殘差比較均勻地分布在橫軸的兩邊 , 說明殘差比較符合一元線性回歸模型的假設 ,是均值為0, 方差為2的隨機變量的觀測值. 可見,通過觀察殘差圖可以直觀判斷模型是否滿足一元線性回歸模的假設. 一般地，建立經驗回歸方程后，通常需要對模型刻畫數據的效果進行分析 . 借助殘差分析還可以對模型進行改進 , 使我們能根據改進模型作出更符合實際的預測與決策. 思考? 觀察以下四幅殘差圖，你認為哪一個殘差滿足一元線性回歸模型中對隨機誤差的假定? 根據一元線性回歸模型中對隨機誤差的假定，殘差應是均值為0，方差為2的隨機變量的觀測值. 圖(1)顯示殘差與觀測時間有線性關系 , 應將時間變量納入模型； 圖(2)顯示殘差與觀測