第七章 回歸分析 回歸分析的起源 1 回歸分析最早是19世紀(jì)末期高爾頓 SirFrancisGalton 所發(fā)展 2 高爾頓是生物統(tǒng)計學(xué)派的奠基人 發(fā)現(xiàn)1 兒童身高與父母身高之間的關(guān)系 發(fā)現(xiàn)父母的身高可以預(yù)測子女的身高 當(dāng)父母越高或越矮時 子女的身高會比一般兒童高或矮 他將兒子與父母身高的這種現(xiàn)象擬合出一種線形關(guān)系 1855 遺傳的身高向平均數(shù)方向的回歸 發(fā)現(xiàn)2 但是有趣的是 通過觀察他注意到 盡管這是一種擬合較好的線形關(guān)系 但仍然存在例外現(xiàn)象 矮個的人的兒子比其父要高 身材較高的父母所生子女的身高將回降到人的平均身高 換句話說 當(dāng)父母身高走向極端 或者非常高 或者非常矮 的人的子女 子女的身高不會象父母身高那樣極端化 其身高要比父母們的身高更接近平均身高 高爾頓選用 回歸 一詞 把這一現(xiàn)象叫做 向平均數(shù)方向的回歸 regressiontowardmediocrity 雖然這是一種特殊情況 與線形關(guān)系擬合的一般規(guī)則無關(guān) 但 線性回歸 的術(shù)語仍被沿用下來 作為根據(jù)一種變量 父母身高 預(yù)測另一種變量 子女身高 的一般名稱沿用至今 后被引用到對多種變量關(guān)系的描述 歐美統(tǒng)計學(xué)史 回歸分析的抽象化描述 1 研究對象的一個或多個變量的變化會引起另一個或多個變量的變化 2 將兩個對象的關(guān)系記為y f x 其中x稱為自變量 y稱為因變量 3 找出f的具體形式 并估計準(zhǔn)確性 相關(guān)分析包含回歸分析 且需找出變量間的相關(guān)關(guān)系 商品的消費量 y 與居民收入 x 之間的關(guān)系 收入水平 y 與受教育程度 x 之間的關(guān)系 糧食畝產(chǎn)量 y 與施肥量 x1 降雨量 x2 溫度 x3 之間的關(guān)系學(xué)習(xí)成績 y 與遲到次數(shù) x 之間的關(guān)系 回歸分析是處理變量x與y之間統(tǒng)計關(guān)系的一種統(tǒng)計方法和技術(shù) 如果要由x預(yù)測y的值 就要利用x與y的觀察值 即樣本觀測值 x1 y1 x2 y2 xn yn 來建立一個公式 當(dāng)給定x值后 就代入此公式中算出一個y值 這個值就稱為y的預(yù)測值 如何建立這個公式 1 繪制散點圖 2 建立線性函數(shù) y a bx 3 參數(shù)a b還不知道 這就需要由樣本數(shù)據(jù)來進行估計 估計出a b的值后 即得到回歸方程 回歸分析 1 根據(jù)研究的目的 設(shè)置指標(biāo)變量2 搜集整理統(tǒng)計數(shù)據(jù)3 確定理論回歸模型的數(shù)學(xué)形式4 模型參數(shù)的估計5 模型的檢驗與修改6 回歸模型的運用 建立實際問題回歸模型的過程 回歸模型與回歸問題 對于x和y間的一元線性回歸分析 實際問題模型 理論求解模型 未來預(yù)測模型 實際值 理論值 預(yù)測值 目標(biāo) 7 2一元線性回歸分析 研究全國技術(shù)貿(mào)易額的變化規(guī)律并進行預(yù)測 全國每年的技術(shù)貿(mào)易額與很多因素有關(guān) 但經(jīng)過分析 它主要受全國GDP這一因素的影響和制約 于是 我們來尋求二者之間的統(tǒng)計規(guī)律 并進行預(yù)測 7 2一元線性回歸分析 從散點圖中 我們假定y與x之間大致呈線性關(guān)系 則可用直線方程 7 1 來近似地描述散點的分布情況 這條直線稱為y對x的回歸直線 其表達式 7 1 稱為回歸方程 a b稱為回歸系數(shù) y a bx 7 2 2確定回歸系數(shù) 我們的目標(biāo) 即 理論值與實際值盡量接近 7 2 2確定回歸系數(shù) 我們的目標(biāo) 代入并求導(dǎo) 結(jié)果 其中 是樣本均值 7 2 2結(jié)果及解釋 最后得到我國技術(shù)貿(mào)易額與GDP的關(guān)系 億元 技術(shù)貿(mào)易 TechnologyTransactions 是我國市場體系的重要部分 是鏈接科研和生產(chǎn)的橋梁和紐帶 屬于市場體系中的生產(chǎn)要素市場 涉及與技術(shù)開發(fā) 技術(shù)轉(zhuǎn)讓 技術(shù)咨詢 技術(shù)服務(wù)相關(guān)的技術(shù)交易活動及相關(guān)主體 解釋 1 技術(shù)貿(mào)易只有在GDP 69 8587 0 0073 9452 1之后才能產(chǎn)生 2 每單位GDP可帶動0 0073個單位的技術(shù)貿(mào)易交易 7 2 3相關(guān)性檢驗 對回歸模型描述實際數(shù)據(jù)的近似程度 也即對所得的回歸模型的可信程度進行檢驗 稱為相關(guān)性檢驗 注意 1 r與Q成反比例關(guān)系 2 以上為多元回歸分析的相關(guān)系數(shù)的通用形式 Q 當(dāng)r大于某一給定的臨界值時 通過相關(guān)性檢驗 否則不通過 7 2 3相關(guān)性檢驗 r的取值范圍是 0 1 r 1 為完全相關(guān)r 1 為完全正相關(guān)r 1 為完全負(fù)正相關(guān)r 0 不存在線性相關(guān)關(guān)系 1 r 0 為負(fù)相關(guān)0 r 1 為正相關(guān) r 越趨于1表示關(guān)系越密切 r 越趨于0表示關(guān)系越不密切 7 2 3相關(guān)性檢驗 相關(guān)性檢驗的步驟 1 求出回歸方程a b 2 計算相關(guān)系數(shù)r 3 計算問題的自由度f 4 確定顯著性水平 人工選擇 5 通過查表找出6 得出相關(guān)性結(jié)論 7 2 3相關(guān)性檢驗 在我國技術(shù)貿(mào)易額與GDP的關(guān)系例子中 回歸方程 相關(guān)系數(shù) 自由度 備選的自由度 查表找出 通過相關(guān)性檢驗 置信度在99 以上 7 2 3相關(guān)性檢驗 在我國技術(shù)貿(mào)易額與GDP的關(guān)系例子中 若 r 大于表上的 0 05相應(yīng)的值 小于表上 0 01相應(yīng)的值 稱變量x與y之間有顯著的線性關(guān)系若 r 大于表上 0 01相應(yīng)的值 稱變量x與y之間有十分顯著的線性關(guān)系若 r 小于表上 0 05相應(yīng)的值 稱變量x與y之間沒有明顯的線性關(guān)系根據(jù)前例的r 0 9471 0 05 n 2 0 6411 表明我國技術(shù)貿(mào)易額與GDP之間有十分顯著的線性相關(guān)關(guān)系 7 2 4預(yù)測及置信區(qū)間 用求解出的回歸模型對未來變量進行預(yù)測 以上為點預(yù)測 通過構(gòu)造一個統(tǒng)計量 可進行區(qū)間預(yù)測 即 預(yù)測值以的概率落在以上置信區(qū)間 7 3多元線性回歸分析 研究對象的變化往往和多個因素有關(guān) 是多個因素的同時作用導(dǎo)致研究對象的變化 而不是只受一個因素的影響 如某公司管理人員要預(yù)測來年該公司的銷售額y時 研究認(rèn)為影響銷售額的因素不只是廣告宣傳費x1 還有個人可支配收入x2 價格x3 研究與開發(fā)費用x4 各種投資x5 銷售費用x6等 這樣因變量y就與多個自變量x1 x2 x3 x4 x5 x6有關(guān) 7 3多元線性回歸分析 多元線性回歸方程的基本形式是 現(xiàn)在獲取到了以上變量的n組觀測值 目標(biāo) 根據(jù)以上觀測數(shù)據(jù) 求出最合適的a b 7 3多元線性回歸分析 將以上問題寫成矩陣形式 則有 其對應(yīng)的最小二乘估計為 7 3多元線性回歸分析 土地問題是當(dāng)今世界令人矚目的重大經(jīng)濟問題 人口和經(jīng)濟發(fā)展都和土地之間存在著密不可分的聯(lián)系 人口數(shù) X1 糧食總產(chǎn)量 X2 和糧食作物面積 X3 是影響土地面積 Y 的重要因素 因變量土地面積與三個自變量之間呈線形相關(guān) 因此用三元線形回歸方程來分析 7 3多元線性回歸分析 設(shè)回歸方程為 Y a bX1 cX2 dX3 利用matlab的regress函數(shù)進行計算 X 1 00004 10002 60003 80001 00004 50002 80004 00001 00003 70002 40003 60001 00003 60002 40003 30001 00005 40002 70003 80001 00005 10002 50003 70001 00003 20002 00003 00001 00003 90002 60003 70001 00004 50002 80004 2000 Y 5 10005 50004 80004 60005 20005 00004 30004 90005 7000 b bint r rint stat regress Y X alpha alpha 0 0500 7 3多元線性回歸分析 設(shè)回歸方程為 Y a bX1 cX2 dX3 b bint r rint stat regress Y X alpha b 0 66810 02550 06891 1041 bint 0 41111 7474 0 16990 2210 1 28461 42250 18592 0222 r 0 04750 1077 0 10270 03110 0124 0 05580 1001 0 13200 0868 stat 0 957337 34420 00080 0127 所以回歸方程為 Y 0 668 0 026X1 0 069X2 1 104X3 回歸系數(shù) 置信區(qū)間 預(yù)測誤差 相關(guān)統(tǒng)計量 7 4非線性回歸分析 在很多情況下 研究對象與影響因素之間并不存在線性關(guān)系 對于某些曲線y f x 可以通過變換變量的方法將其轉(zhuǎn)換成直線方程 原函數(shù) 變換 案例1 下表為我國1990 2001年城鎮(zhèn)居民收入與消費支出的情況 根據(jù)資料分析城鎮(zhèn)居民人均可支配收入與消費支出之間的關(guān)系 并根據(jù)2002年的收入預(yù)測消費支出 案例1 1 首先將數(shù)據(jù)輸入matlab 并觀察其散點圖 y 1 0e 003 1 27891 45381 67172 11082 85133 53763 91954 18564 33164 61594 99805 3090 x 1 0e 003 1 51021 70062 02662 57743 49624 28304 83895 16035 42515 85406 28006 8596 plot x y o 案例1 2 計算回歸系數(shù) x ones 12 1 x b bint r rint stat regress y x 0 05 b 151 59790 7687 stat 0 99856672 71 8476e 0153391 3 3 相關(guān)性檢驗 兩者顯著線性相關(guān) 回歸方程 Y 151 5979 0 7687 X 案例1 4 預(yù)測 5 置信區(qū)間 回歸方程 Y 151 5979 0 7687 X 假設(shè)2002年的可支配收入為7300元 則消費支出的預(yù)測值為 Y0 151 5979 0 7687 X0 5763 1 2 23 案例1 下表為我國1990 2001年城鎮(zhèn)居民收入與消費支出的情況 根據(jù)資料分析城鎮(zhèn)居民人均可支配收入與消費支出之間的關(guān)系 并根據(jù)2002年的收入預(yù)測消費支出 Y 151 5979 0 7687 X 解釋 1 每月最低生活成本151 6元 2 居民消費意愿76 9 中國民航客運量的回歸模型 為了研究我國民航客運量的變化趨勢及其成因 我們以民航客運量作為因變量y 以國民收入 消費額 鐵路客運量 民航航線里程 來華旅游入境人數(shù)為影響民航客運量的主要因素 y為民航客運量 萬人 x1為國民收入 億元 x2為消費額 億元 x3為鐵路客運量 萬人 x4為民航航線里程 萬公里 x5為來華旅游入境人數(shù) 萬人 根據(jù) 1994年統(tǒng)計摘要 獲得1978 1993年統(tǒng)計數(shù)據(jù) 見下表 案例2 我國民航客運量的有關(guān)數(shù)據(jù) 求回歸系數(shù)的估計值 2 得樣本回歸方程 案例2 3 回歸系數(shù)的顯著性檢驗 查表得 由于 所以x3對y無顯著影響 而其余各自變量均有顯著影響 案例2 4 剔除x3 重新建立樣本回歸方程 求得 并且回歸系數(shù)的顯著性檢驗表明 所有的自變量都有顯著影響 案例2 案例2一元非線性回歸 煉鋼廠出鋼水時用的鋼包 在使用過程中由于鋼水及爐渣對耐火材料的浸蝕 其容積不斷增大 現(xiàn)在鋼包的容積用盛滿鋼水時的重量y kg 表示 相應(yīng)的試驗次數(shù)用x表示 數(shù)據(jù)見表 要找出y與x的定量關(guān)系表達式 表鋼包的重量y與試驗次數(shù)x數(shù)據(jù) 下面我們分三步進行 1確定可能的函數(shù)形式為對數(shù)據(jù)進行分析 首先描出數(shù)據(jù)的散點圖 判斷兩個變量之間可能的函數(shù)關(guān)系 圖是本例的散點圖 觀測這13個點構(gòu)成的散點圖 我們可以看到它們并不接近一條直線 用曲線擬合這些點應(yīng)該是更恰當(dāng)?shù)?這里就涉及如何選擇曲線函數(shù)形式的問題 首先 如果可由專業(yè)知識確定回歸函數(shù)形式 則應(yīng)盡可能利用專業(yè)知識 當(dāng)若不能有專業(yè)知識加以確定函數(shù)形式 則可將散點圖與一些常見的函數(shù)關(guān)系的圖形進行比較 選擇幾個可能的函數(shù)形式 然后使用統(tǒng)計方法在這些函數(shù)形式之間進行比較 最后確定合適的曲線回歸方程 為此 必須了解常見的曲線函數(shù)的圖形 見圖 本例中 散點圖呈現(xiàn)呈現(xiàn)一個明顯的向上且上凸的趨勢 可能選擇的函數(shù)關(guān)系有很多 比如 參照圖8 5 2 我們可以給出如下四個曲線函數(shù) 1 1 y a b x2 y a blnx3 y a b sqrt x 4 y 100 a exp x b 在初步選出可能的函數(shù)關(guān)系 即方程 后 我們必須解決兩個問題 如何估計所選方程中的參數(shù) 如何評價所選不同方程的優(yōu)劣 2參數(shù)估計對上述非線性函數(shù) 參數(shù)估計最常用的方法是 線性化 方法 以1 y a b x為例 為了能采用一元線性回歸分析方法 我們作如下變換u 1 x v 1 y則曲線函數(shù)就化為如下的直線v bu這是理論回歸函數(shù) 對數(shù)據(jù)而言 回歸方程為vi a bui i于是可用一元線性回歸的方法估計出a b formatlongx 23457810111415161819 y 106 42108 20109 58109 5110109 93110 49110 59110 60110 9110 76111111 20 plot x y k 數(shù)據(jù)的散點圖 x1 1 x y1 1 y plot x1 y1 k 變換后數(shù)據(jù)的散點圖x2 ones 13 1 x1 b bint rint stats regress y1 x2 z b 1 b 2 x1 yc 1 z plot x1 y1 k x1 z r 變換后數(shù)據(jù)的散點圖和回歸直線圖 R