一元線性回歸模型參數(shù)的最小二乘估計(jì)（第二課時(shí)）

例

m處的直徑)越大，

樹就越高.由于測(cè)量樹高比測(cè)量胸徑困難，因此研究人員希望由胸徑預(yù)測(cè)樹高.在研究樹高與胸徑之間的關(guān)系時(shí)，某林場(chǎng)收集了某種樹的一些數(shù)據(jù)如下表，試根據(jù)這些數(shù)據(jù)建立樹高關(guān)于胸徑的經(jīng)驗(yàn)回歸方程.編號(hào)123456胸徑/cm18.120.122.224.426.028.3樹高/m18.819.221.021.022.122.1編號(hào)789101112胸徑/cm29.632.433.735.738.340.2樹高/m22.422.623.024.323.924.7

例

根據(jù)下面數(shù)據(jù)建立樹高關(guān)于胸徑的經(jīng)驗(yàn)回歸方程.編號(hào)123456胸徑/cm18.120.122.224.426.028.3樹高/m18.819.221.021.022.122.1編號(hào)789101112胸徑/cm29.632.433.735.738.340.2樹高/m22.422.623.024.323.924.7

解:

以胸徑為橫坐標(biāo)，樹高為縱坐標(biāo)作散點(diǎn)圖如下：

在右圖中，散點(diǎn)大致分布在一條從左下角到右上角的直線附近，表明兩個(gè)變量線性相關(guān)，并且是正相關(guān)，因此可以用一元線性回歸模型刻畫樹高與胸徑之間的關(guān)系.用d表示胸徑,h表示樹高,根據(jù)據(jù)最小二乘法,計(jì)算可得經(jīng)驗(yàn)回歸方程為相應(yīng)的經(jīng)驗(yàn)回歸直線如圖所示.編號(hào)胸徑/cm樹高觀測(cè)值/m樹高預(yù)測(cè)值/m殘差/m118.118.819.4-0.6220.119.219.9-0.7322.221.020.40.6424.421.020.90.1526.022.121.30.8628.322.121.90.2729.622.422.20.2832.422.622.9-0.3933.723.023.2-0.21035.724.323.70.61138.323.924.4-0.51240.224.724.9-0.2根據(jù)經(jīng)驗(yàn)回歸方程，由胸徑的數(shù)據(jù)可以計(jì)算出樹高的預(yù)測(cè)值(精確到0.1)以及相應(yīng)的殘差，如下表所示.以胸徑為橫坐標(biāo),殘差為縱坐標(biāo),作殘差圖,得到下圖.觀察殘差表和殘差圖，可以看到，殘差的絕對(duì)值最大是0.8，所有殘差分布在以橫軸為對(duì)稱軸、寬度小于2的帶狀區(qū)域內(nèi).可見經(jīng)驗(yàn)回歸方程較好地刻畫了樹高與胸徑的關(guān)系，我們可以根據(jù)經(jīng)驗(yàn)回歸方程由胸徑預(yù)測(cè)樹高.編號(hào)12345678年份18961912192119301936195619601968記錄/s11.8010.6010.4010.3010.2010.1010.009.95

問題

人們常將男子短跑100m的高水平運(yùn)動(dòng)員稱為百米飛人

.下表給出了1968年之前男子短跑100m世界紀(jì)錄產(chǎn)生的年份和世界紀(jì)錄的數(shù)據(jù).試依據(jù)這些成對(duì)數(shù)據(jù),建立男子短跑100m世界紀(jì)錄關(guān)于紀(jì)錄產(chǎn)生年份的經(jīng)驗(yàn)回歸方程.以成對(duì)數(shù)據(jù)中的世界紀(jì)錄產(chǎn)生年份為橫坐標(biāo),世界紀(jì)錄為縱坐標(biāo)作散點(diǎn)圖,得到下圖.在上圖中，散點(diǎn)看上去大致分布在一條直線附近，似乎可用一元線性回歸模型建立經(jīng)驗(yàn)回歸方程.用Y表示男子短跑100m的世界紀(jì)錄,t表示紀(jì)錄產(chǎn)生的年份,利用一元線性回歸模型來刻畫世界紀(jì)錄和世界紀(jì)錄產(chǎn)生年份之間的關(guān)系.根據(jù)最小二乘法,由表中的數(shù)據(jù)得到經(jīng)驗(yàn)回歸方程為：將經(jīng)驗(yàn)回歸直線疊加到散點(diǎn)圖，得到下圖：

觀察:從圖中可以看到,經(jīng)驗(yàn)回歸方程較好地刻畫了散點(diǎn)的變化趨,請(qǐng)?jiān)僮屑?xì)觀察圖形,你能看出其中存在的問題嗎?以經(jīng)驗(yàn)回歸直線為參照，可以發(fā)現(xiàn)經(jīng)驗(yàn)回歸方程的不足之處，以及散點(diǎn)的更為精細(xì)的分布特征.例如，第一個(gè)世界紀(jì)錄所對(duì)應(yīng)的散點(diǎn)遠(yuǎn)離經(jīng)驗(yàn)回歸直線，并且前后兩時(shí)間段中的散點(diǎn)都在經(jīng)驗(yàn)回歸直線的上方，中間時(shí)間段的散點(diǎn)都在經(jīng)驗(yàn)回歸直線的下方.這說明散點(diǎn)并不是隨機(jī)分布在經(jīng)驗(yàn)回歸直線的周圍，而是圍繞著經(jīng)驗(yàn)回歸直線有一定的變化規(guī)律，即成對(duì)樣本數(shù)據(jù)呈現(xiàn)出明顯的非線性相關(guān)的特征.

思考:

你能對(duì)模型進(jìn)行修改,以使其更好地反映散點(diǎn)的分布特征嗎?仔細(xì)觀察右圖,可以發(fā)現(xiàn)散點(diǎn)更趨向于落在中間下凸且遞減的某條曲線附近.回顧已有的函數(shù)知識(shí)，可以發(fā)現(xiàn)函數(shù)y=-lnx的圖象具有類似的形狀特征.

注意到100m短跑的第一個(gè)世界紀(jì)錄產(chǎn)生于1896年,因此可以認(rèn)為散點(diǎn)是集中在曲線y=f(t)=c1+c2ln(t-1895)的周圍，其中c1、c2為未知參數(shù)，且c2<0.散點(diǎn)集中在曲線y=f(t)=c1+c2ln(t-1895)的周圍，其中c1、c2為未知參數(shù)，且c2<0.用上述函數(shù)刻畫數(shù)據(jù)變化的趨勢(shì)，這是一個(gè)非線性經(jīng)驗(yàn)回歸函數(shù)，其中c1，c2是待定的參數(shù)

，現(xiàn)在問題轉(zhuǎn)化為如何利用成對(duì)數(shù)據(jù)估計(jì)參數(shù)c1和c2.為了利用一元線性回歸模型估計(jì)參數(shù)c1和c2

，我們引進(jìn)一個(gè)中間變量x，令x=ln(t-1895)，通過x=ln(t-1895)

，將年份變量數(shù)據(jù)進(jìn)行變換，得到新的成對(duì)數(shù)據(jù)，如下表.編號(hào)12345678年份/t18961912192119301936195619601968x0.002.833.263.563.714.114.174.29記錄/s11.8010.6010.4010.3010.2010.1010.009.95如果上表對(duì)應(yīng)的散點(diǎn)圖呈現(xiàn)出很強(qiáng)的線性相關(guān)特征，我們就可以借助一元線性回歸模型和新的成對(duì)數(shù)據(jù)，對(duì)參數(shù)c1和c2作出估計(jì)，進(jìn)而可以得到Y(jié)關(guān)于t的非線性經(jīng)驗(yàn)回歸方程.令x=ln(t-1895),則Y=c2x+c1

.在直角坐標(biāo)系中畫出上表中成對(duì)數(shù)據(jù)的散點(diǎn)圖，如下圖所示，散點(diǎn)分布呈現(xiàn)出很強(qiáng)的線性相關(guān)特征.因此，用一元線性回歸模型擬合上表中的數(shù)據(jù)，得到經(jīng)驗(yàn)回歸方程在上圖中畫出經(jīng)驗(yàn)回歸直線，如圖所示.上圖表明,經(jīng)驗(yàn)回歸方程對(duì)于上表中的成對(duì)數(shù)據(jù)具有非常好的擬合精度

.將兩個(gè)回歸直線進(jìn)行對(duì)比,可以發(fā)現(xiàn)x和Y之間的線性相關(guān)程度比原始樣本數(shù)據(jù)的線性相關(guān)程度強(qiáng)得多.將x=ln(t-1895)代入得到由創(chuàng)紀(jì)錄年份預(yù)報(bào)世界紀(jì)錄的經(jīng)驗(yàn)回歸方程.在同一坐標(biāo)系中畫出成對(duì)數(shù)據(jù)散點(diǎn)圖、非線性經(jīng)驗(yàn)回歸方程②的圖像(藍(lán)色)以及經(jīng)驗(yàn)回歸方程①的圖像(紅色)，如圖所示.②我們發(fā)現(xiàn)，散點(diǎn)圖中各散點(diǎn)都非常靠近②的圖像,表明非線性經(jīng)驗(yàn)回歸方程②對(duì)于原始數(shù)據(jù)的擬合效果遠(yuǎn)遠(yuǎn)好于經(jīng)驗(yàn)回歸方程①.在一般情況下，直接比較兩個(gè)模型的殘差比較困難，因?yàn)樵谀承┥Ⅻc(diǎn)上一個(gè)模型的殘差的絕對(duì)值比另一個(gè)模型小，而另一些散點(diǎn)的情況則相反.可以通過比較殘差的平方和來比較兩個(gè)模型的效果.由可知Q2小于Q1，因此在殘差平方和最小的標(biāo)準(zhǔn)下，非線性回歸模型的擬合效果要優(yōu)于一元線性回歸模型的擬合效果.決定系數(shù)R2：通過前面的討論我們知道，當(dāng)殘差的平方和越小，經(jīng)驗(yàn)回歸模型的擬合效果就越好，故我們可以用決定系數(shù)R2來驗(yàn)證模型的擬合效果.決定系數(shù)R2的計(jì)算公式為在R2表達(dá)式中，由于與經(jīng)驗(yàn)回歸方程無關(guān)，殘差平方和與經(jīng)驗(yàn)回歸方程有關(guān)，因此R2越大，表示殘差平方和越小，即模型的擬合效果越好；

R2越小，表示殘差平方和越大，即模型的擬合效果越差.R2越大，表示殘差平方和越小，即模型的擬合效果越好R2越小，表示殘差平方和越大，即模型的擬合效果越差.

因?yàn)?≤R2≤1，R2越接近1，則線性回歸刻畫的效果越好.在一元線性回歸模型中R2=r2，即決定系數(shù)R2等于響應(yīng)變量與解釋變量的樣本相關(guān)系數(shù)r的平方.由上述殘差表可算出經(jīng)驗(yàn)回歸方程①和②的決定系數(shù)R2分別為

由于因此經(jīng)驗(yàn)回歸方程②的刻畫效果比經(jīng)驗(yàn)回歸方程①的好很多.在使用經(jīng)驗(yàn)回歸方程進(jìn)行預(yù)測(cè)時(shí),需注意以下問題1.回歸方程只適用于我們所研究的樣本的總體；2.我們所建立的回歸方程一般都有時(shí)間性；3.樣本采集的范圍會(huì)影響回歸方程的適用范圍；4.不能期望回歸方程得到的預(yù)報(bào)值就是預(yù)報(bào)變量的精確值.事實(shí)上,它是預(yù)報(bào)變量的可能取值的平均值.(1)確定研究對(duì)象,明確哪個(gè)變量是解釋變量,哪個(gè)變量是響應(yīng)變量．(2)畫出解釋變量與響應(yīng)變量的散點(diǎn)圖，觀察它們之間的關(guān)系(如是否存在線性關(guān)系等)．(3)由經(jīng)驗(yàn)確定回歸方程的類型．(4)按一定規(guī)則(如最小二乘法)估計(jì)經(jīng)驗(yàn)回歸方程中的參數(shù).(5)得出結(jié)果后需進(jìn)行線性回歸分析.①殘差平方和越小，模型的擬合效果越好.②決定系數(shù)R2取值越大，說明模型的擬合效果越好.建立線性回歸模型的基本步驟：建立非線性經(jīng)驗(yàn)回歸模型的基本步驟：1.確定研究對(duì)象，明確哪個(gè)是解釋變量，哪個(gè)是響應(yīng)變量；2.由經(jīng)驗(yàn)確定非線性經(jīng)驗(yàn)回歸方程的模型；3.通過變換，將非線性經(jīng)驗(yàn)回歸模型轉(zhuǎn)化為線性經(jīng)驗(yàn)回歸模型；4.按照公式計(jì)算經(jīng)驗(yàn)回歸方程中的參數(shù)，得到經(jīng)驗(yàn)回歸方程；5.消去新元，得到非線性經(jīng)驗(yàn)回歸方程；6.得出結(jié)果后分析殘差圖是否有異常．全優(yōu)P66右邊

題型2例2

全優(yōu)P66左邊

跟蹤訓(xùn)練