1、精選ppt1第二章第二章 回歸分析與模型設定回歸分析與模型設定General Regression Analysis and Model Specification精選ppt2 回歸分析（回歸分析（Regression Analysis）:一種最常用的一種最常用的統計分析工具，用來分析一個變量關于其他變量的統計分析工具，用來分析一個變量關于其他變量的依賴關系。依賴關系。 X 與與 Y間的回歸關系可用來研究間的回歸關系可用來研究X對對Y的影響，或用的影響，或用X來預測來預測Y。一、一、 總體均值與樣本均值總體均值與樣本均值 How to find the relationship between

2、 X and Y? 理論上應尋找總體回歸函數總體回歸函數( PRF),即在給定X時，Y的條件均值條件均值的函數 : Y|x=E(Y|X)=F(X) 2.1 回歸分析回歸分析:問題的引入問題的引入egression Analysis: Introduction精選ppt3 但我們往往只能得到樣本數據。因此自然想到用樣本均值樣本均值來估計總體均值，總體均值， 并尋找樣本回歸函數樣本回歸函數 (SRF): mY|x=f(X) PRFSRFXYWe hope the SRF is a good estimate of the PRF.精選ppt4XY0.51.52.53.54.55.56.78.812

3、.517.50.500.0010.0110.0070.0060.0050.0050.0080.0090.0140.0040.400.0010.0020.0060.0070.0100.0070.0080.0090.0080.0070.250.0020.0060.0040.0070.0100.0110.0200.0190.0130.0060.150.0020.0090.0090.0120.0160.0200.0420.0540.0240.0200.050.0100.0230.0330.0310.0410.0290.0470.0390.0420.0070.000.0130.0130.0000.002

4、0.0010.0000.0000.0000.0000.000-0.050.0010.0120.0110.0050.0120.0160.0170.0140.0040.003-0.180.0020.0080.0130.0060.0090.0080.0080.0080.0060.002-0.250.0090.0090.0100.0060.0090.0070.0050.0030.0020.003p(x)0.0410.0930.0930.0820.1130.1030.1550.1550.1130.052Table 2.1 Joint frequency distribution of X=income

5、and Y=saving rateA simple illustration: how to find the sample mean 表 2.1 是1960年美國1027個家庭關于收入與儲蓄率的聯合頻率分布. p(xi,yj) =the proportion of the 1027 families who reported the combination (X=xi and Y=yj).精選ppt5The conditional mean of Y given X=xi is jijijjijjxYxpyxpyxypymi)(),()|(|mY|XConditional mean func

6、tion of Y on X-0.050.000.050.100.150.200.51.52.53.54.55.56.78.812.517.5Income(thousands of dollars)Savings RateFig 2.1精選ppt6 同樣地,如果可獲得總體數據，我們就可得到給出X值時Y的總體條件均值總體條件均值 (population conditional means ) (xi,yi) =joint frequencies of the population (xi)=j (xi,yi) =marginal frequencies of X (yj|xi)=(xi,yi)/

7、(xi) =conditional frequencies of Y given X X= i xi(xi) =population mean of X Y|X= j yi(yj|xi) =population conditional mean of Y given XY|x=E(Y|X)=F(X)mY|x=f(X)精選ppt7Question: how to get f(x)?如果經濟理論表明如果經濟理論表明: Y|x=+X 但表2.1顯示 mY|X 并非一條直線 - 我們是保持 mY|X 的原樣呢? 還是對樣本的 mY|X通過一條直線來平滑: m*Y|X=a+bX -如果用平滑線, 如何尋

8、找該直線? -用平滑線估計總體均值，要比樣本均值估計效果更好嗎? 如果經濟理論表明如果經濟理論表明: Y|X=X - 如何尋找該曲線(curve)? 平滑的樣本曲線 m*Y|X 仍能告知有關 Y|X的相關信息嗎？ 精選ppt8二、條件分布二、條件分布 假設(X,Y)的聯合概率密度函數聯合概率密度函數( joint probability density function , pdf) 為 f(x,y) ，則 X的邊際密度函數邊際密度函數(marginal pdf ): fX(x) =f(x,y)dy Y在 X=x 的條件密度函數條件密度函數( conditional pdf ): fY|X(y

9、|x)=f(x,y)/fX(x) 條件 pdf fY|X(y|x) 完全描述了Y 對 X的依賴關系。精選ppt9已知條件 pdf, 可計算: 條件期望條件期望(The conditional mean)dyxyyfxXYExYEXY)|()|()|(| 條件方差條件方差(The conditional variance)22|2)|()|()|()|()|()|(xYExYEdyxyfxYEyxXYVarxYVarXY 條件偏度條件偏度 (The conditional skewness) 條件峰度條件峰度 (The conditional kurtosis)2/33)|(|)|()|(xYV

10、arxxYEYExYS2/44)|(|)|()|(xYVarxxYEYExYK精選ppt102.2 回歸分析回歸分析Regression Analysis What statistical properties does E(Y|X) process?一、回歸函數及其性質一、回歸函數及其性質 定義定義 Regression Function: 稱條件期望 E(Y|X)為Y關于 X 的回歸函數(regression function )。Lemma Law of iterated expectation: EE(Y|X)=E(Y)例例: 設 Y=工資, X=1 (女性) and X=0 (男性)

11、，則 E(Y|X=1) = 女性員工平均工資 E(Y|X=0) = 男性員工平均工資精選ppt11 EE(Y|X) =P(X=1)E(Y|X=1)+P(X=0)E(Y|X=0) = 全體平均工資 =E(Y)Question: Why is E(Y|X) important from a statistical Perspective? 假設我們希望使用X的函數g(X)來預測Y，且使用均方誤均方誤( Mean Square Error ,MSE) 準則來評估 g(X)逼近Y的程度. 則均方誤準則均方誤準則（ MSE criterion ）下的最優預測就是條件期望E(Y|X).。精選ppt12 定

12、義定義 MSE: The mean square error of function g(X) used to pridict Y is defined as MSE(g)=EY-g(X)2精選ppt13 記 g0(X)=E(Y|X) 則 MSE(g)=EY-g(X)2 =EY-g0(X) + g0(X)-g(X)2 =EY-g0(X)2 + Eg0(X)-g(X)2 +2EY-g0(X)g0(X)-g(X) = EY-g0(X)2 + Eg0(X)-g(X)2 = 方差 + 偏誤2 方差方差測度了測度了Y對其期望對其期望真實誤差真實誤差( true error)。 偏誤20，且 g(X)=g

13、0(X)時等號成立. 因此，選擇 g(X)=E(Y|X) 可使 MSE(g)達到極小。 證明證明: 使用方差與偏誤平方分解技術精選ppt14 Theorem Regression Identity: 給定 E(Y|X), 總有如下等價式： Y = E(Y|X)+ = Y-E(Y|X)這里 稱為回歸擾動項回歸擾動項(regression disturbance)且滿足 E(|X)=0 證明: 定義 = Y-E(Y|X)，則 E(|X)=EY-E(Y|X)|X =E(Y|X) E(Y|X)=0 二、回歸函數的等價形式二、回歸函數的等價形式 精選ppt15 注意注意: (a) 回歸函數 E(Y|X)

14、可用來通過X的信息預測Y的均值; (b) E(|X)=0 意味著回歸誤差 不包含X的任何可用來預測Y的信息。 換言之, 所有可用來預測Y期望值的信息都完全包含在 E(Y|X)之中。 條件 E(|X)=0 對模型參數經濟含義的解釋至關重至關重要要(crucial )。精選ppt16 (c) E(|X)=0 意味著 E()=EE(|X)=0 且 E(X)=EE(X|X)=EXE(|X)=EX0=0 (d) 可能存在 E(|X)=0 但 Var(|X) 是X的函數。 如果 Var(|X)=20, 稱 是條件同方差條件同方差的(conditional homoskedasticity). 否則, 如果

15、 Var(|X)=2(X), 稱存在條件異方差條件異方差(conditional heteroskedastisity) 注意：注意：計量經濟方法往往視是否存在條件異方差而有所不同。精選ppt17 Example: 設 Y=0+(1+2)X+其中 X 與 相互獨立, 且 E()=0, Var()=2。求 E(Y|X) 及 Var(Y|X). E(Y|X)= 0+E(1+2)X|X+E(|X) = 0+1X+2XE(|X)+E(|X) = 0+1X+2X0+0 = 0+1X Var(Y|X)= EY-E(Y|X)2|X = E0+(1+2)X+-(0+1X)2|X = E(2X+)2|X = E

16、(2X+1)22|X = (1+2X)2E(2|X)= (1+2X)22精選ppt18注意: 該例解釋了為什么的條件方差可能依賴 X。 事實上,上述過程可寫為 Y=0+1X+其中 =(1+2X) 易知 E(Y|X) = 0+1X +(1+2X)E(|X)= 0+1X Var(Y|X) = (1+2X)2Var(|X)= (1+2X)22 精選ppt192.3 線性回歸模型線性回歸模型Linear Regression Modeling 但總起來看, 回歸函數 E(Y|X) 的函數形式未知。 Question: How to model E(Y|X)?精選ppt20一、一、 建立條件期望建立條件

17、期望 E(Y|X)的模型的模型 總地說來, 有種最基本的方法： (a) 非參數法非參數法(Nonparametric approach) (b) 參數法參數法(Parametric approach) 在經典計量經濟學中在經典計量經濟學中, 我們只關注我們只關注參數方法：參數方法： By restricting the class of functions F, we solve the MSE-minimization problem 特別地, 我們通常只用一簇線性函數線性函數(linear functions)來近似 g0(X). 當然，可以用類似的方法來建立 g0(X) 的非線性非線性回

18、歸模型回歸模型(Nonlinear regression models)精選ppt21 對該簇函數,函數形式已知為線性;未知的是 (k+1)1 向量 .精選ppt22 注意注意: (1) 這里函數簇A的主要特征是 g(X)=X 關于是線性的。關于X可以是非線性的，如 g(X)= 0+ 1X+ 2X2 或 g(X)= 0+ 1lnX (2) 關于參數的取值沒有約束。精選ppt23 證明：證明： 求解最小化問題22min)(min1XYEXgYEkgRA精選ppt24根據一階偏導為零的條件02XYE0)(2)()(2)()(2)(2XYXEXXYEXXYEXYE設*滿足上述一階條件，則EX(Y-X

19、*)=0E(XY)-E(XX*)=0E(XY)=E(XX)*=E(XX)-1E(XY)精選ppt25注意： (a) 條件E(Y2)保征E(Y|X)存在； (b) 非奇異矩陣)()()()()()()()()() (2212221212121kkkkkXEXXEXXEXXEXEXXEXXEXXEXEXXE保證解*存在。(c) 一般地，最佳線性最小二乘預測值(the best linear LS predictor) g*(X)=X*E(Y|X).精選ppt26Question: What is the interpretation for *? 在一元線性回歸一元線性回歸 g(X)=X中， =(

20、0, 1), X=(1, X1)。 )(),(11*1XVarXYCov Slope:Intercept:)()(1*1*0XEYEWhy?1)()()()()(1)()()(11)()()()()()(11)(112121212111112112111121111XEXEXEXEXEXEXEXEXEXEXEXEXEXEXXXEXXE驗證驗證精選ppt27)()()(11YXEYEYXYEXYE)()()()()()()()()(1)()(1)()()()()(1)()(11112121211112121211*YXEYEXEYXEXEYEXEXEXEYXEYEXEXEXEXEXEXYEXXE

21、)()()(),()()()(11121211YEXEYXEYXCovXEXEXVar于是：由于則：)(),(11*1XVarYXCov精選ppt28而),()()()()()()()()()()()()()()()()()()()()()()(1111112121212111211121YXCovXEYEXVarYEXEYXEXEYEXEXEYEXEYEXEYXEXEYEXEYXEXEYEXE)()(),()()()()(11*11111*0XEYEYXCovXEYEXVarXVar于是可通過求解minE(Y-(0+1X1)2的方法解出*0，*1精選ppt29Definition Linea

22、r Regression Model: The specification Y=X+u, Rk+1is called a linear regression model, where u is the model regression disturbance or regression error. 注意： 線性回歸模型線性回歸模型（linear regression model) 是人為定義的。因此，該模型可能沒有包括真正的回歸函回歸函數數（regression function）: g0(X)=E(Y|X)二、二、 線性回歸模型線性回歸模型精選ppt30Theorem: 對線性回歸模型 Y

23、=X+u以*代表最佳線性最小二乘解(best linear least square approximation coefficient)，則 =*當且僅當如下正交條件成立： E(Xu)=0 Proof: 記 u=Y-X 如果 =*，則 E(Xu)=E(XY)-E(XX)* =E(XY)-E(XX)E(XX)-1E(XY)=0 如果 E(Xu)=0, 則 E(Xu)=E(XY)-E(XX)=0 于是： =E(XX)-1E(XY)= * 精選ppt31注意：注意： (1)無論E(Y|X) 是否線性，我們總可以寫出線性回歸模型Y=X+u，并設定E(Xu)=0，以使= * ； (2) 當X中包含有截

24、距項時（如X1=1）， E(Xu)=0 就意味著E(u)=0。(Why?) (3) E(Xu)=0與E(u|X)=0不能等同。有E(u|X)=0就有E(Xu)=0, 但反之不成立。 例如例如：設u=1+，X與為相互獨立且服從標準正態分布N(0,1)的兩隨機變量，則 E(u|X)= 1 E(Xu)=E(X1)+E(X)=E(X)+E(X)E()=0 (4) 當E(u)=0時， E(Xu)=Cov(X, u) (Why?)精選ppt322.4 模型的正確設定模型的正確設定Correct Model Specification 對于被解釋變量Y，最好的代表就是其條件期望E(Y|X)，因此，線性模型中

25、模型的正確設定就是關于條件期望的正確設定。 What is the characterization for correct model specification in mean?Definition Correct Model Specification in Mean: 線性回歸模型 Y=X+u, Rk+1稱為是關于E(Y|X)正確設定的，如果存在0Rk+1 使得 E(Y|X)=X0精選ppt33注意： (1)如果對所有的Rk+1，都有E(Y|X)X，則認為該線性模型沒有關于E(Y|X)正確設定(misspecified)； (2)如果一個線性模型是正確設定的，則參數0稱為是“真實參數”

26、（true parameter)； (3)經濟理論不能保證E(Y|X)的函數形式關于X是線性的。因此當解釋參數的經濟含義時應慎重。精選ppt34Theorem: 如果線性模型 Y=X+u關于E(Y|X)正確設定，則 (a) 存在0使 Y=X0+， 其中E(|X)=0 (b) E(X)=0 (c) *=0注意：注意： （1）結論(a)意味著E(Y|X)=X0 （2）結論（c）意味著，在正交性條件下，最佳線性最小二乘近似解(beat linear LS approximation coefficient)*等于參數的真實值0。精選ppt35 (b) 由(a)知E(|X)=0，從而易推出E(X)=0； (c) 由(b)知對模型Y=X0+ 成立正交性條件，因此 0=*Proo