1、第二章 簡單回歸模型 簡單回歸模型的定義 普通最小二乘法的推導 OLS的操作技巧 度量單位的函數形式 OLS估計量的期望值和方差 過原點回歸計量12.1 簡單回歸模型的定義 回歸模型的基本形式： 簡單回歸模型的基本形式： 稱為一元線性總體回歸模型。( )yf xuuxy10簡單回歸模型的定義 簡單回歸模型定義的幾個討論 公式變量與參數的解釋 用x解釋y時面臨的三個問題 該公式的不足 該公式的假設計量3簡單回歸模型的定義公式變量與參數的解釋 Y：被稱為因變量（dependent variable）、被解釋變量、被預測變量、回歸子 X：被稱為自變量（independent variable）、解釋

2、變量、預測變量、回歸元、協變量 u：為隨機擾動項或隨機誤差項，表示除x以外其他因素對y的影響。 0和1為兩個待定參數。從幾何意義上講，為直線的截距； 為直線的斜率（又稱斜率系數）。計量4簡單回歸模型的定義用x解釋y時面臨的三個問題計量5x能否來解釋y的變化？x和y存在著怎樣的相關關系 ?既然兩個變量間沒有一個確切的依存關系，應該如何考慮x以外的其他因素對y的影響？ 如何確定是在其他條件不變的情況下描述x和y的關系形式？ 簡單回歸模型的定義該公式的不足計量6簡單回歸模型的定義該公式的假設spring 2012計量7( |)( )0iE u xE u1要使得固定，需要施加一個約束：表明：表明： u

3、中不包含系統性的影響因素，既沒有變量遺漏問題，解釋變量也不存在系統的測量誤差，模型函數形式設定正確。u均值獨立于解釋變量隨機變量x和u不相關的三個層次： “獨立”：意味著對于x 、y和的任意可測函數 和 ，有 “均值獨立”:意味著 “線性無關”:意味著 ( )g u( )f xcov ( ), ( )0g uf x =cov ,( )0u f x=cov( , )0u x =spring 2012計量9簡單回歸模型的定義該公式的假設計量10.x1x2E(y|x) = 0 + 1xyf(y) 計量1111每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X200025003000350040

4、0045005000550060006500131215301631184320372277246929243515352113401619172619742210238828893338372139541400171317862006232525263090365038654108每每1548175018352265241926813156380240264345月月1688181418852367252228873300408741654812家家173819851943248526653050332142984380庭庭1800204120372515279931893654431245

5、80消消19022186207826892887335338424413費費220021792713291335344074支支231222982898303837104165出出2316292331673834 Y Y238730533310249831873510268932861591191520922586275430393396385340364148()iE Y X假如已知由假如已知由100100個家庭構成的總體的數個家庭構成的總體的數據據 (單位單位:元元) 12消費支出的條件期望與收入關系的圖形消費支出的條件期望與收入關系的圖形)(iXYE2.2 普通最小二乘法的推導計量13

6、最小二乘法是法國數學家勒讓德(A.M.Legendre，1752-1833)于1805正式提出的，但他的研究沒有涉及到誤差分析問題。這一缺陷由德國數學家高斯 (C.F.Gauss1777-1855) 于1809年發布的正態誤差理論補足，加上高斯宣稱自1799年以來他一直使用在這種方法，許多人將最小二乘法的發明權歸之于高斯。 總體回歸線和總體回歸函數計量14E(y|x) = 0 + 1xxy 對于實際的經濟問題，通常無法掌握所有總體單位的數值，總體回歸函數實際上是理論上存在，又稱理論回歸方程樣本回歸方程 通過對樣本觀測獲得的信息去估計總體回歸函數 如果變量x和y之間存在線性相關關系，對于任意抽取

7、的若干個觀測（樣本）點（ ）， 有 稱為樣本回歸模型 由兩部分組成 ：系統分量和隨機分量 系統分量 , iix y01iiiyxeiy01ix樣本回歸函數與總體回歸函數的區別 總體回歸函數雖然未知，但它是確定的（PRF唯一唯一) ； 樣本回歸線隨抽樣波動而變化，每次抽樣都能獲得一個樣本，就可以擬合一條樣本回歸線，（SRF不唯一）； 樣本回歸線只是樣本條件均值的軌跡，還不是總體回歸線，它至多只是未知的總體回歸線的近似表現 樣本回歸函數與總體回歸函數的關系樣本回歸函數與總體回歸函數的關系 SRF1 * * SRF2 * * * * yxPRF樣本回歸函數的函數形式應與設定的總體回歸函數的函數形式一

8、致 如果能夠通過某種方式獲得如果能夠通過某種方式獲得 和和 的數值，顯然的數值，顯然: 和和 是對總體回歸函數參數是對總體回歸函數參數 和和 的估計的估計 是對總體條件期望是對總體條件期望 的估計的估計 在概念上類似總體回歸模型中的在概念上類似總體回歸模型中的 ，可視，可視 為對為對 的估計。的估計。18對比：對比： 總體回歸函數總體回歸函數 樣本回歸函數樣本回歸函數10iyieiuiu10()iE y x1001()iiE y xx01iiiyxu01iiyx01iiiyxe對樣本回歸的理解對樣本回歸的理解普通最小二乘法（普通最小二乘法（OLS） （rdinary Least Squares

9、) 經典計量經濟學最常采用的參數估計方法 它是建立在一個簡單的估計準則最小二乘準則之上的 可以看出 最小二乘準則是使全部觀測值的殘差平方和為最小，即 01iiiiieyyyxminQ2ie201()iiyx= 由微積分求極值的原理知，要使 達到最小，必要條件是 對 和 的一階偏導數等于零： Q01Q0100112()02()0iiiiiQyxQyx x 0101()0()0iiiiiyxyx x即 、 應滿足下列方程組： 01這兩個方程分別相當于0,0,iiiee x 經整理后得正規方程組 解得： 01201iiiiiiynxx yxx122201()()()()iiiiiiiiinx yxy

10、xxyynxxxxyx 01由此估計出的 和 稱為參數的最小二乘估計量（OLSE）除了OLS以外，參數估計的方法還有最大似然估計（ML）方法、矩估計方法（MM）等 基于條件期望為0的普通最小二乘法的推導 由由E(u)=0 得得E(y 0 1x) = 0 對于給定的數據樣本，有對于給定的數據樣本，有 可得可得01101niiixynxyxy1010 由cov(x,u)=E(xu)=0 得Ex(y 0 1x) = 0 對于給定的數據樣本，有計量23niiiniiniiiniiiniiiixxyyxxxxxyyxxxyyx1211111111001101niiiixyxn 計量24下0 在假設前提1

11、21211niiniiniiixxxxyyxxxy10易得：2.3 OLS的操作技巧計量25擬合值與殘差OLSE的代數性質擬合優度擬合值和殘差 擬合值：定義y在x= 的擬合值為 殘差：觀察值 與其擬合值的差。 為正，則回歸線低估了 ；為負則回歸線高估了 ；無數據點是必須在回歸線上。ixixy10iiiixyu10iyiyiyOLS統計量的代數性質 OLS殘差和及其樣本均值均為零殘差和及其樣本均值均為零 代數表示代數表示 由由OLS的一階條件得出的一階條件得出計量27 01niiu01101niiixynOLSE的代數性質 回歸元和回歸元和OLS殘差的樣本協方差為零殘差的樣本協方差為零 代數表示

12、代數表示 由由OLS的一階條件得出的一階條件得出計量2801niiiux01101niiiixyxnOLSE的代數性質 OLS回歸線過樣本幾何中心 代數表示 擬合值的樣本均值與 的均值相等 擬合值與殘差之間的樣本協方差為0計量29xy10),(yxiyiiyy 0),cov(iiuy擬合優度擬合優度 定義定義 總平方和總平方和SST 解釋平方和解釋平方和SSE 殘差平方和殘差平方和SSR 計量計量30 2yyi 2yyi 2iu擬合優度擬合優度 SST=SSE+SSR的證明的證明計量計量31，所以得證0 又因為SSE 2SSR 222222yyuyyuyyyyuuyyuyyyyyyiiiiii

13、iiiiiiii擬合優度 擬合優度（又稱判定系數） 我們定義R2 = SSE/SST = 1 SSR/SST為擬合優度，又稱判定系數，總是介于0到1之間 一個接近于1的判定系數表明OLS給出了一個良好的擬合，一個于0的判定系數表明OLS給出了一個糟糕的擬合計量322.4 度量單位和函數形式度量單位和函數形式 改變度量單位對改變度量單位對OLS統計量的影響統計量的影響 在簡單回歸中加入非線性因素在簡單回歸中加入非線性因素 “線性線性”回歸的含義回歸的含義計量計量33改變度量單位對OLS統計量的影響 、 的計量單位 、 的經濟含義是什么？ X單位改變，y不變，影響 ，不影響 y單位改變，不管X是否

14、變化，影響 、 如果定義如果定義roedec = roe/100，那么樣本回歸線將會從，那么樣本回歸線將會從(estimated salary)=963.191 + 18.501roe改變到改變到(estimated salary)=963.191 + 1850.1roedec計量3401010110在簡單回歸中加入非線性因素 非線性因素的必要性：線性關系并不適合所有的經濟學運用 通過對因變量和自變量進行恰當的定義，我們可以在簡單回歸分析中非常容易地處理許多y和x之間的非線性關系 例子：工資教育模型，計量35自然對數形式計量36計量37變量非線性模型中的斜率： 線性模型 邊際貢獻 線性-對數模

15、型 半彈性 對數-線性模型 半彈性 對數-對數模型 彈性經濟學中的例子（x代表投資，y代表GDP)uxyuxyuxyuxyln3 . 131. 0ln115. 067. 0lnln12029887. 0368OLS估計量的期望值和方差 OLS的無偏性的無偏性 OLS估計量的方差估計量的方差計量38OLS的無偏性的無偏性 我們首先在一組簡單假定的基礎上構建我們首先在一組簡單假定的基礎上構建OLS的無偏性。的無偏性。假定假定SLR.1 線性于參數在總體模型中，因變量y與自變量x的誤差項u的關系如下： 其中， 和 分別表示總體的截距和斜率參數。計量3901yxu01OLS的無偏性的無偏性假定假定SL

16、R.2 隨機抽樣 我們具有一個服從從整體模型方程 的隨機樣本 : i=1,2n，其樣本容量為n.（更強假定：x非隨機或固定，y獨立同分布）計量4001yxu),(iiyxOLS的無偏性的無偏性假定假定SLR.3 解釋變量的樣本有變異x的樣本結果即 ,i=1,n 不是完全相同的數值。計量41ix0)()var(2nxxxOLS的無偏性的無偏性假定假定SLR.4 零條件均值（或稱嚴格外生假定、均值獨立假定） 給定解釋變量的任何值，誤差的期望值都是零。換言之,E(u|x)=0恒成立。恒成立。暗含以下兩個假定：1.隨機項的條件均值等于無條件均值，隨機項u均值獨立于所有解釋變量。2.表明模型函數形式設定

17、正確，即不存在函數形式設定偏誤，內有變量遺漏問題，解釋變量也不存在系統的測量誤差。計量42OLS的無偏性的無偏性 定理定理2.1 在在SLR.1-SLR.4下,對 的任何值，我們都有 ,換言之公式的推導：引理: 計量431 10 0 和和0011(),()EE0011,對而言是無偏的對而言是無偏的1(1)(- )0niix x1111(2)( - )()( - )()( - )nnnniiiiiiiiiiix xyyx x yxnx yx x y1111(3)()()()()( - )nnnnxiiiiiiiiiiiSSTxxxxxx xxnx xx x xOLS的無偏性的無偏性 計量4401

18、11111( - )()( - )( - )()()()nnniiiiiiiiiinxxiiix xyyx x yx xxuSSTSSTxx xx0111111111=(- )+(- )+(- )0(- )(- )(- )nnniiiiiiiinniiiiiinxiiix xx xxx x ux x xx x uSSTx x u分子OLS的無偏性的無偏性 于是有計量451111111( - )1()( - )1()-nxiiniiiixxniiiiixSSTx x ux x uSSTSSTd udx xSST其中1111111111()()()()( )1()*0nniiiiiixxniixE

19、E d ud E uSSTSSTdSSTOLS的無偏性的無偏性計量46010110110011011011()()()=E()+E()( )()0(.()2.1yxxuxxuExE uEE故有利用至此，定理證畢OLS估計量的方差估計量的方差 除了知道 的抽樣分布是以 為中心的以外，知道我們預期的 究竟離 多遠也非常重要。在其他條件不變的情況下，這就容許我們從所有的無偏估計量中選擇一個最佳估計量。度量估計量 分布的分散程度，最容易操作的一個指標就是其方差或者標準差。為了便于表示出估計量的方差，這里我們加入條假設SLR.5計量4711111OLS估計量的方差估計量的方差u假定假定SLR.5(同方差

20、性同方差性)給定解釋變量的任何值，誤差都具有相同給定解釋變量的任何值，誤差都具有相同的方差，換言之：的方差，換言之：Var(u|x)=u同方差的假定簡化了同方差的假定簡化了 方差的計算，而方差的計算，而且還意味著且還意味著OLS具有某種有效性。然而具有某種有效性。然而當當Var(u|x)是是x的函數事，往往就會出現的函數事，往往就會出現異方差的情形。異方差的情形。計量4821一個工資方程中的異方差性一個工資方程中的異方差性 其他條件不變情況下，其他條件不變情況下，educ對對wage的影響時的影響時無偏估計量，我們假定無偏估計量，我們假定E(u|educ)=0,若同時假若同時假定定Var(u|x)= ,即工資相對于其均值的波動不即工資相對于其均值的波動不依賴于受教育水平。在現實中這或許不太可能。依賴于受教育水平。在現實中這或許不太可能。 這是因為接受了更多教育的人可能有更廣泛的這是因為接受了更多教育的人可能有更廣泛的興趣和更多的就業機會，從而導致收教育程度興趣和更多的就業機會，從而導致收教育程度越高，工資變異越大；受教育水平越低，工資越高，工資變異越大；受教育水平越低，工資變異越小。圖形見下張變異越小。圖形見下張PPT 計量492spring 2012計量50OLS估計量的方差估計量的方差計量5112122122212221()(