2024/1/29中國人民大學六西格瑪質量管理研究中心1第5章多元線性回歸

§5.1多元線性回歸模型§5.2多元回歸參數的估計§5.3參數估計量的性質§5.4回歸方程的顯著性檢驗§5.5中心化和標準化§5.6相關陣與偏相關系數§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心2第5章多元線性回歸目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心3§5.1多元線性回歸模型一、多元線性回歸模型的一般形式

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心4§5.1多元線性回歸模型目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心5§5.1多元線性回歸模型目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心6§5.1多元線性回歸模型矩陣X是一n×(p+1)矩陣,稱X為回歸設計矩陣或資料矩陣。在實驗設計中，X的元素是預先設定并可以控制的,人的主觀因素可作用其中,因而稱X為設計矩陣。二、多元線性回歸模型的根本假定為了方便地進行模型的參數估計,對回歸方程〔5.4〕式有如下一些根本假定。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心7§5.1多元線性回歸模型目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心8§5.1多元線性回歸模型目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心9§5.1多元線性回歸模型三、多元線性回歸方程的解釋

為了給多元線性回歸方程及其回歸系數一個解釋,下面以p=2的一個微觀經濟問題為例給出回歸方程的幾何解釋和回歸系數的經濟意義。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心10§5.1多元線性回歸模型目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心11§5.1多元線性回歸模型對于回歸方程〔5.13〕式的圖形,已不像一元線性回歸時那樣,是一條直線,而是一個回歸平面。而對一般情況的回歸方程〔5.3〕式，當p>2時，回歸方程是一個超平面，無法用幾何圖形表示。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心12§5.2多元回歸參數的估計

一、回歸參數的普通最小二乘估計目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心13§5.2多元回歸參數的估計

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心14§5.2多元回歸參數的估計

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心15§5.2多元回歸參數的估計

二、回歸值與殘差目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心16§5.2多元回歸參數的估計

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心17§5.2多元回歸參數的估計

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心18§5.2多元回歸參數的估計

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心19§5.2多元回歸參數的估計

這是一個重要的結論,我們在多元線性回歸模型的根本假定中曾經用過它,這里就更可清楚這個假定的重要意義。結論說明,要想用OLSE估計多元線性回歸模型的未知參數,樣本容量必須不少于模型中參數的個數。在后邊關于回歸方程的假設檢驗中也少不了這一假設,否那么檢驗無任何意義。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心20§5.2多元回歸參數的估計三、實例分析例5.1生產總值是衡量一個國家或地區經濟開展狀況的重要指標，影響一個國家或地區生產總值的因素包括資本、資源、科技、勞動力、進出口、國家根底設施建設等多方面的因素。本例研究財政支出對生產總值的影響。?中國統計年鑒?把財政支出劃分為31個組成局部。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心21§5.2多元回歸參數的估計

采用2005年我國31個省、市、自治區的數據，以地區生產總值〔萬元〕為因變量y，以如上13種支出為自變量做多元線性回歸，數據見表5.1，其中自變量單位為萬元人民幣。用SPSS軟件計算出回歸系數表見表5.2：目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心22§5.2多元回歸參數的估計

這一回歸方程并不理想,所選自變量數目過多，回歸系數的顯著性檢驗不能通過，自變量間存在共線性，回歸系數的經濟意義不好解釋,這里只是作為多元線性回歸參數估計的一例,后邊我們將要進一步完善這一問題模型的建立。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心23§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心24§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心25§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心26§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心27§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心28§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心29§5.3參數估計量的性質

性質4Gauss-Markov定理目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心30§5.3參數估計量的性質

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心31§5.4回歸方程的顯著性檢驗當求出線性回歸方程后,還需對回歸方程進行顯著性檢驗。多元線性回歸方程的顯著性檢驗與一元線性回歸方程的顯著性檢驗既有相同之處，也有不同之處。下面介紹兩種統計檢驗方法,一是回歸方程顯著性的F檢驗,另一個是回歸系數顯著性的t檢驗。同時介紹衡量回歸擬合程度的擬合優度檢驗。一、F檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心32§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心33§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心34§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心35§5.4回歸方程的顯著性檢驗對例5.1題的數據,用SPSS軟件計算出的方差分析表如下：

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心36§5.4回歸方程的顯著性檢驗二、回歸系數的顯著性檢驗在多元線性回歸中,回歸方程顯著并不意味著每個自變量對y的影響都顯著,因此我們總想從回歸方程中剔除那些次要的、可有可無的變量,重新建立更為簡單的回歸方程。所以就需要對每個自變量進行顯著性檢驗。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心37§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心38§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心39§5.4回歸方程的顯著性檢驗由于某些自變量不顯著，因而在多元回歸中并不是包含在回歸方程中的自變量越多越好，這個問題將在第七章逐步回歸中做詳細討論。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心40§5.4回歸方程的顯著性檢驗在此僅介紹一種簡單的剔除多余變量的方法—后退法。當有多個自變量對因變量y無顯著性影響時,由于自變量之間的交互作用,不能一次剔除掉所有不顯著的變量。原那么上每次只剔除一個變量,先剔除其中|t|值最小的〔或P值最大的〕一個變量,然后再對求得的新的回歸方程進行檢驗,有不顯著變量再剔除,直到保存的變量都對y有顯著影響為止。也可根據對問題的定性分析選擇t值較小的變量先剔除。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心41§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心42§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心43§5.4回歸方程的顯著性檢驗在一元線性回歸中，回歸系數顯著性的t檢驗與回歸方程顯著性的F檢驗是等價的，而在多元線性回歸中，這兩種檢驗不同。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心44§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心45§5.4回歸方程的顯著性檢驗三、擬合優度

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心46§5.4回歸方程的顯著性檢驗在兩個變量的簡單相關系數中,相關系數有正負之分,而復相關系數表示的是因變量y與全體自變量之間的線性關系,它的符號不能由某一個自變量的回歸系數的符號來確定,因而復相關系數都取正號。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心47§5.4回歸方程的顯著性檢驗目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心48§5.5中心化和標準化

在多元線性回歸分析中,因為涉及到多個自變量,自變量的單位往往不同,給利用回歸方程進行結構分析帶來一定困難。再因為多元回歸涉及的數據量很大,就可能由于舍入誤差而使計算結果不理想。盡管計算機能使我們保存更多位的小數,但舍入誤差肯定還會出現。因此,對原始數據進行一些處理,盡量防止大的誤差是有實際意義的。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心49§5.5中心化和標準化

一、中心化目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心50§5.5中心化和標準化

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心51§5.5中心化和標準化

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心52§5.5中心化和標準化

二、標準化回歸系數在上述中心化的根底上,可進一步給出變量的標準化和標準化回歸系數。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心53§5.5中心化和標準化

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心54§5.5中心化和標準化

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心55§5.5中心化和標準化

當自變量所使用的單位不同時,用普通最小二乘估計建立的回歸方程,其回歸系數不具有可比性，得不到合理的解釋。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心56§5.5中心化和標準化

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心57§5.5中心化和標準化

標準化回歸系數是比較自變量對y影響程度相對重要性的一種較為理想的方法，有了標準化回歸系數后,變量的相對重要性就容易進行比較了。但是,我們仍提醒人們對回歸系數的解釋須采取謹慎的態度,這是因為當自變量相關時會影響標準化回歸系數的大小。參見參考文獻［13］。幾乎所有的統計軟件在建立多元線性回歸方程時都會自動給出標準化回歸系數，通常他們稱為貝它〔Beta〕值。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心58§5.6相關陣與偏相關系數一、樣本相關陣

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心59§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心60§5.6相關陣與偏相關系數用SPSS軟件計算出的例5.1生產總值數據的增廣樣本相關陣為目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心61§5.6相關陣與偏相關系數二、偏判定系數在多元線性回歸分析中,當其他變量被固定后,給定的任兩個變量之間的相關系數,叫偏相關系數。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心62§5.6相關陣與偏相關系數在講偏相關系數之前，首先引入偏判定系數。1．兩個自變量的偏判定系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心63§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心64§5.6相關陣與偏相關系數2.一般情況其余情況依此類推。由習題知，偏判定系數與回歸系數顯著性檢驗的F值是等價的。

三、偏相關系數偏判定系數的平方根稱為偏相關系數，其符號與相應的回歸系數的符號相同。偏相關系數與回歸系數顯著性檢驗的t值是等價的。

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心65§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心66§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心67§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心68§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心69§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心70§5.6相關陣與偏相關系數目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心71§5.7建模總結與評注

一、多元線性回歸模型的建立過程

本章結合兩個經濟問題實例介紹了多元線性回歸模型的建立過程,在此,我們再結合一個實例,把多元線性回歸模型的建立過程與應用做一個完整的介紹。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心72§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心73§5.7建模總結與評注

第一步，提出因變量與自變量，搜集數據，如例5.3所示。第二步,做相關分析，設定理論模型。用SPSS軟件計算增廣相關陣，自變量的偏相關陣，輸出結果如下：

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心74§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心75§5.7建模總結與評注

第三步,用軟件計算，輸出計算結果。本例采用SPSS軟件對原始數據作回歸分析，輸出結果如下：目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心76§5.7建模總結與評注

第四步，回歸診斷1.回歸方程為目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心77§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心78§5.7建模總結與評注

第五步，回歸應用

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心79§5.7建模總結與評注

二、評注對于多元線性回歸模型未知參數向量β的估計最主要的方法是普通最小二乘估計OLSE。在運用OLSE估計未知參數時應首先看具體問題的樣本數據是否滿足模型的根本假定,只有滿足根本假定的模型才能應用OLSE。目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心80§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心81§5.7建模總結與評注

目錄上頁下頁返回結束2024/1/29中國人民大學六西格瑪質量管理研究中心82§5.7建模總結與評注

目錄