《計量經濟學》

Econometrics

第3章一元線性回歸3.1傳統假設下的一元線性回歸模型3.2

一元線性回歸模型的基本假設3.3最小二乘估計值的特征3.4判定系數3.5最小二乘回歸的若干重要結論3.6參數顯著性檢驗：t檢驗3.7預測3.8案例分析

23.1傳統假設下的一元線性回歸模型3.1.1回歸分析的基本概念3.1.2總體回歸函數、隨機誤差項、樣本回歸函數33.1.1回歸分析的基本概念4回歸這個術語是由英國著名統計學家FrancisGalton在19世紀末期研究孩子及他們的父母的身高時提出來的。孩子的身高會趨向平均發展。當雙親的身高都很高（矮）時，他們的孩子身高雖然會高（矮）于一般人，卻往往比父母親矮（高）。高爾頓的普遍回歸定律。（lawofuniversalregression）5舉例高爾頓的普遍回歸定律。高爾頓的興趣在于發現為什么人口的身高分布有一種穩定性。但現代觀點關心的則是給定父輩身高的情形下找出兒輩平均身高的變化。即關心一旦知道了父輩的身高，怎樣預測兒輩的平均身高。6070657560657075父輩身高，英寸兒輩身高，英寸對應于給定父親身高的兒子身高的假想分布姚明女兒的身高？回歸的現代釋義回歸分析是關于研究一個被解釋變量對另一個或多個解釋變量的依賴關系，其用意在于通過后者（在重復抽樣中）的已知或設定值，去估計或預測前者的（總體）均值。雖然回歸分析研究一個變量對另一（些）變量的依賴關系，但它并不一定意味著因果關系。6相關關系和回歸分析的比較注意①

相關分析對稱地對待任何（兩個）變量，兩個變量都被看作是隨機的。

回歸分析對變量的處理方法存在不對稱性，即區分應變量（被解釋變量）和自變量（解釋變量）：前者是隨機變量，后者是固定的。②相關關系關心兩個變量間關系的緊密程度；

回歸分析感興趣的則是試圖根據其他變量的設定值來估計或預測某一變量的平均值。73.1.2總體回歸函數、隨機誤差項、

樣本回歸函數總體回歸函數：在解釋變量Xi確定的情況下，被解釋變量Yi的期望軌跡稱為總體回歸線，其相應的函數形式為

稱為總體回歸函數（PRF），或稱條件期望函數。含義：回歸函數（PRF）說明被解釋變量Y的平均狀態（總體條件期望）隨解釋變量X變化的規律。8實例例：一個假想的社區有99戶家庭組成，要研究該社區每月家庭消費支出Y與每月家庭可支配收入X的關系。即如果知道了家庭的月收入，能否預測該社區家庭的平均月消費支出水平。為達到此目的，將該99戶家庭劃分為組內收入差不多的10組，以分析每一收入組的家庭消費支出。9Y的條件均值E（Y/X）60582510451265148517051925214523652585236505001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費支出Y（元）

描出散點圖發現：隨著收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。12在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為總體回歸線?；蚋话愕胤Q為總體回歸曲線?？傮w回歸線800140011006058251045E（Y︱Xi）13隨機誤差項一個例子

凱恩斯絕對收入假設消費理論：消費（Y）是由收入（X）唯一決定的，是收入的線性函數：

Y=+X(2.2.1)

但實際上上述等式不能準確實現。原因⑴消費除受收入影響外，還受其他因素的影響；⑵線性關系只是一個近似描述；⑶收入變量觀測值的近似性：收入數據本身并不絕對準確地反映收入水平。14隨機誤差項的意義隨機誤差項是從模型中省略下來的而又集體地影響著Y的全部變量的替代物，那么為什么不把這些變量明顯地引進到模型中來？即為什么不構造一個含有盡可能多個變量的多元回歸模型？隨機誤差項主要包括下列因素：在解釋變量中被忽略的因素的影響；模型關系的設定誤差的影響；變量觀測值的觀測誤差的影響；其他隨機因素的影響。15因此，一個更符合實際的數學描述為：

Y=+X+

其中：是一個隨機誤差項，是其他影響因素的“綜合體”，是不可控的。這個式子由于引進了隨機誤差項，成為計量經濟學模型，所以被稱為總體回歸模型。16隨機誤差項該偏差稱為觀察值圍繞它的期望值的離差（deviation），是一個不可觀測的隨機變量，稱為隨機誤差項（stochasticerror）。17樣本回歸函數（SRF）例:在上例的總體中有如下一個樣本，能否從該樣本估計總體回歸函數PRF？X800110014001700200023002600290032003500Y59463811221155140815951969207825852530表：家庭消費支出與可支配收入的一個隨機樣本問題的提出：由于總體的信息往往無法掌握,現實的情況只能在一次觀測中得到總體的一組樣本.18

該樣本的散點圖（scatterdiagram)：

畫一條直線以盡好地擬合該散點圖，由于樣本取自總體，以該直線近似地代表總體回歸線。該直線稱為樣本回歸線（sampleregressionlines，SRF）。19記樣本回歸線的函數形式為：稱為樣本回歸函數（sampleregressionfunction，SRF）20樣本回歸函數的隨機形式/樣本回歸模型同樣地，樣本回歸函數也有如下的隨機形式：

由于方程中引入了隨機項，成為計量經濟模型，因此也稱為樣本回歸模型（sampleregressionmodel）。

21回歸分析的主要目的即，根據

估計根據樣本回歸函數SRF，估計總體回歸函數PRF。3.2一元線性回歸模型的基本假設22由于回歸分析的主要目的是要通過樣本回歸函數(模型)SRF盡可能準確地估計總體回歸函數(模型)PRF,即通過估計普遍采用普通最小二乘法或最大似然法需要對解釋變量和隨機項做出假設,否則滿足不了這個技術路線.23

假設1.解釋變量X是確定性變量，不是隨機變量，且在重復抽樣中X值是固定的；解釋變量間不相關；

假設2.隨機誤差項具有零均值、同方差和不序列相關性：滿足這三條假設的隨機誤差項，稱為“球形擾動項”i=1,2,…,n24假設3.隨機誤差項與解釋變量X之間不相關：假設4.服從零均值、同方差、零協方差的正態分布:

25X1X3●●●●●●●●●●●●●●●●●●●●●●●●X2均值YX這一假定是說，凡是模型不含的因而歸屬于ui的因素，對Y的均值都沒系統的影響26如果兩個變量關系中確實是線性函數主導的，誤差項只是次要的隨機擾動因素，那么如果對同樣的X多次重復觀測對應的Y值，則Y值的概率均值應該能消除隨機擾動的影響，即隨機誤差項對Y沒有系統的影響，符合線性函數的基本趨勢。等價表示形式：E[Y|Xi]=β0+β1Xi。即被解釋變量的數學期望始終落在總體回歸直線上。零均值的意義27Var(i)=2i=1,2,…,n誤差項的方差反映的是誤差項作為隨機函數的分布分散程度。這個假設的意義是對應不同觀測數據誤差項分布的發散趨勢相同。如果i

的方差會隨i變化，就意味著這部分因素對被解釋變量的影響力度，會隨i而變化，不能再理解為是一些微小的可被忽略的因素的影響。28同方差X1X3X2YXμi的概率密度f(μ)這個假定也意味著Yi的條件方差也是同方差的。29異方差X1X3X2YXμi的概率密度f(μ)30Cov(i,j)=0i≠ji,j=1,2,…,n意義：對應不同的觀測值的誤差項之間沒有相關性。31Cov(Xi,i)=0i=1,2,…,n32這個假設表面上看起來限制性很大，因為它排斥了誤差項服從任意其他分布的可能性，但實際上只要變量關系確實滿足線性回歸分析的基本思想，其誤差項代表許多微小擾動因素的綜合，那么根據中心極限定理，誤差項服從正態分布是很自然的。i~N(0,2)i=1,2,…,n33思考線性回歸模型的零均值假設是否可以表示為？為什么？3.3最小二乘估計值的特征最佳線性無偏估計量——高斯-馬爾可夫定理線性性：意義：參數估計量與被解釋變量服從相同類型的分布無偏性：意義：參數估計量是以參數真實值為分布中心的隨機變量，反復抽樣估計可得真實值。有效性 :意義：說明估計量的分布分散程度較小，比較密集于分布中心的附近。34最小二乘估計的表達根據以上性質，可知參數估計量的概率分布：35原因：由于隨機誤差項是服從正態分布的隨機變量，決定了也是服從正態分布的隨機變量，而又是的線性函數，決定了也是服從正態分布的隨機變量。

所以確定了的均值和方差即可。3.4判定系數（擬合優度檢驗）擬合度指回歸直線與樣本數據趨勢的吻合程度。擬合度是判斷模型假設的變量的關系的真實性的重要指標。36思考殘差平方和是好的擬合度的評價標準嗎？殘差平方和存在的問題——受樣本容量、量綱等因素影響不同樣本，不同容量的情況，沒有橫向可比性。度量擬合優度的指標：判定系數（可決系數）R2建立在對被解釋變量總離差分解的基礎之上3738

思路：總離差平方和的分解來自殘差SRF來自回歸總離差

如果Yi=?i

即實際觀測值落在樣本回歸“線”上，則擬合最好?？烧J為，“離差”全部來自回歸線，而與“殘差”無關。來自殘差SRF來自回歸總離差40

對于所有樣本點，則需考慮這些點與樣本均值離差的平方和，可以證明：其中：剛得到41TSS=ESS+RSS記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）判定系數（可決系數）R2統計量

42稱

R2

為（樣本）可決系數/判定系數?？蓻Q系數的取值范圍：[0，1]隨抽樣波動，樣本可決系數是隨抽樣而變動的隨機變量R2越接近1，說明實際觀測點離樣本線越近，擬合優度越高。數值上等于相關系數的平方3.5最小二乘回歸的若干重要結論1.估計值的均值和方差分別為多大？2.估計值的分布是什么樣的？根據最小二乘估計量的特點可知：43當模型為一元線性回歸時，k=1實驗錄入表2-1中的數據，做回歸模型，其中被解釋變量“人均居民消費水平”，解釋變量為“人均GDP”。觀察回歸輸出結果。44453.6參數顯著性檢驗：t檢驗3.6.1t檢驗3.6.2參數的置信區間

463.6.1t檢驗在一元線性模型中，回歸分析就是要判斷X是否對Y具有顯著的線性性影響。這就需要進行變量的顯著性檢驗。變量的顯著性檢驗所應用的方法是數理統計學中的假設檢驗。4748

知識回顧：假設檢驗

以50名同學的平均身高為例

，如果假設平均身高為163，但一次抽樣10人，發現平均身高180，則會推翻原假設，因為，一次抽樣，小概率事件就發生了。

1–aa/2a/2假設檢驗的過程49顯著性水平和拒絕域0臨界值臨界值a/2

a/2樣本統計量拒絕H0拒絕H01-置信水平相對于顯著性水平的臨界值為：單側tα或雙側tα/2計算的統計量為t50

（1）對總體參數提出假設（原假設和備擇假設）

（2）以原假設H0構造t統計量，并由樣本計算其值（3）給定顯著性水平，查t分布表得臨界值(4)比較，判斷，變量的顯著性檢驗：假設檢驗步驟51此時，t統計量分別是多少？52

參數估計量只是參數真實值的近似，不僅與參數真實值有偏差，而且本身不能說明偏差的大小。因此還需要尋求包括真實參數的可能范圍，并說明其可靠性。

置信區間則限定了其偏差程度。

置信區間的含義：要判斷樣本參數的估計值在多大程度上可以“近似”地替代總體參數的真值，往往需要通過構造一個以樣本參數的估計值為中心的“區間”，來考察它以多大的可能性（概率）包含著真實的參數值。這種方法就是參數檢驗的置信區間估計。3.6.2參數的置信區間如果存在這樣一個區間，稱之為置信區間；1-α稱為置信系數，α稱為顯著性水平；置信區間的端點稱為置信限或臨界值。1–aa/2a/254一元線性模型中，i(i=0，1）的置信區間

在μi的正態性假定下，OLS估計量和本身就是正態分布的?？傮w回歸函數中隨機擾動項的方差離差標準化公式要求記住下面的式子是定值55

但是很少能知道，在實踐中用無偏估計量來代替，則統計量t服從自由度為n-2的t分布：是隨機變量當總體方差已知、或者總體方差未知但是大樣本時，應該用z統計量。但是計量經濟學中常常遇到的情況是小樣本且方差未知，所以一般用t統計量。56

意味著，如果給定置信度（1-α），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-tα/2,tα/2)的概率是(1-α)。表示為：

即57由于置信區間一定程度地給出了樣本參數估計值與總體參數真值的“接近”程度，因此置信區間越小越好。要縮小置信區間，需要（1）增大樣本容量n。因為在同樣的置信水平下，n越大，t分布表中的臨界值越?。煌瑫r，還可使樣本參數估計量的標準差減?。唬?）提高模型的擬合優度。因為樣本參數估計量的標準差與殘差平方和呈正比，模型擬合優度越高，殘差平方和應越小。3.7預測基本思想利用計量經濟模型做預測：指利用所估計的樣本回歸函數，用解釋變量的已知值或預測值，對預測期或樣本以外的被解釋變量數值做出定量的估計。對被解釋變量Y的預測分為：

點預測和區間預測5859

對于一元線性回歸模型給定樣本以外的解釋變量的觀測值X0，可以得到被解釋變量的預測值?0

，可以此作為其條件均值E(Y|X=X0)或個別值Y0的一個近似估計。

預測值、平均值、個別值的相互關系XY點估計值YfE（Y│Xf)真實的個別值YXfPRFSRF∧基本思路：為了對Y

的個別值做區間預測，需要尋找與點預測值和預測目標個別值Y0

有關的統計量，并要明確其概率分布。具體做法：已知殘差項是與預測值及個別值都有關的變量，并且已知服從正態分布，且可證明60總體個值預測值的預測區間61由Y0=β0+β1X0+μ知:于是

式中

:從而在1-α的置信度下，Y0的置信區間為

將未知的代以它的無偏估計量，可構造t統計量