多元線性回歸分析第七講多元回歸的聯合檢驗總體回歸函數：樣本回歸函數：總體回歸模型：樣本回歸模型：第七講多元回歸的聯合檢驗多元線性回歸模型的基本經典假定

假設1

隨機誤差項具有零均值。

假設2

對于解釋變量的所有觀測值，隨機誤差項有相同的方差。

第七講多元回歸的聯合檢驗

假設3隨機誤差項彼此之間不相關

第七講多元回歸的聯合檢驗滿足經典假設的u的方差協方差矩陣第七講多元回歸的聯合檢驗如果不滿足假設二，我們稱誤差項存在異方差：Var(u)主對角線上的元素不相等。第七講多元回歸的聯合檢驗如果不滿足假設三，我們稱誤差項存在自相關：非主對角線上的元素不為0。第七講多元回歸的聯合檢驗假設4

所有的解釋變量Xi為確定性變量，與隨機誤差項彼此之間不相關。第七講多元回歸的聯合檢驗假設5

解釋變量Xi之間不存在精確的線形關系，即解釋變量的樣本觀測值矩陣X是滿秩矩陣，應滿足關系式：

rank(X)=k+1<n

可以理解為各X之間互不相關（無多重共線性），或者說，其中一個解釋變量不能寫成其他解釋變量的線性組合。第七講多元回歸的聯合檢驗1100401022000230000411204013220002300000,第七講多元回歸的聯合檢驗可以證明：若X是滿秩的，則X’和X’X均是滿秩的，即X’X非奇異，因此可求逆。若X不是滿秩的，則X’和X’X均不是滿秩的。此時由于│X’X│=0，所以其逆矩陣不存在，OLS將失效。第七講多元回歸的聯合檢驗假設6隨機誤差項服從正態分布，Y也服從正態分布。在大樣本下，這一假設可以放松為i.i.d.假設7

不太可能出現大異常值。第七講多元回歸的聯合檢驗總體回歸模型n個隨機方程的矩陣表達式為

令原方程可以簡寫為第七講多元回歸的聯合檢驗在滿足上述經典假設下，系數的決定為：第七講多元回歸的聯合檢驗回歸標準誤差對于誤差項ui，我們更關心它在回歸線附近的離散程度，即標準差。希望標準差越小越好。由于ui本身是不可知的，因此，實際上sui是無法獲得的，為了模擬其數值大小，我們用的標準差作為ui的標準差的估計值，稱為回歸的標準誤差。第七講多元回歸的聯合檢驗第七講多元回歸的聯合檢驗多元回歸的擬合優度

總離差平方和的分解總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）第七講多元回歸的聯合檢驗可以推導：

TSS=ESS+RSS第七講多元回歸的聯合檢驗

可決系數R2統計量

稱

R2為（樣本）的可決系數/判定系數/擬合優度（coefficientofdetermination)。

擬合優度的取值范圍：[0，1]R2越接近1，說明實際觀測點離樣本線越近，擬合優度越高。第七講多元回歸的聯合檢驗由于每次向回歸方程中增加解釋變量，R2必然只增不減。為此，可以通過調整自由度對解釋變量過多進行“懲罰”，因此，可以定義“調整的擬合優度”第七講多元回歸的聯合檢驗即對于每一個系數，滿足：第七講多元回歸的聯合檢驗

最小二乘估計量的性質

在滿足基本假設的情況下，最小二乘估計量具有：線性性、無偏性、有效性（最小方差性）(BLUE特性)。高斯—馬爾可夫定理(Gauss-Markovtheorem)

在滿足基本經典線性回歸的假定下，最小二乘估計量是具有最小方差的最優線性無偏估計量。第七講多元回歸的聯合檢驗多重共線性的檢驗和處理第七講多元回歸的聯合檢驗多元回歸中的假設檢驗和置信區間單個系數的假設檢驗和置信區間：方法同一元線性回歸。第七講多元回歸的聯合檢驗1。單個系數的假設檢驗。需要檢測某個回歸系數是否顯著。第七講多元回歸的聯合檢驗單個變量的假設檢驗（大樣本假設下）第七講多元回歸的聯合檢驗單個變量的置信區間（大樣本假設下）第七講多元回歸的聯合檢驗regtestscrstrel_pct,robust第七講多元回歸的聯合檢驗單個變量的假設檢驗（小樣本假設下）

（1）對總體參數提出假設

H0：i=0，H1：i0（2）以原假設H0構造t統計量，并由樣本計算其值（3）給定顯著性水平，查t分布表，得臨界值t/2(n-k-1)(4)比較，判斷若|t|>t/2(n-k-1)，則拒絕H0

，接受H1

；若|t|

t/2(n-k-1)，則拒絕H1

，接受H0

；第七講多元回歸的聯合檢驗

i的置信區間是

單個變量的置信區間（小樣本假設下）第七講多元回歸的聯合檢驗regtestscrstrel_pct第七講多元回歸的聯合檢驗我們可以看出，大樣本假設和小樣本假設下同一個回歸的系數完全一樣，但標準誤和t值、置信區間完全不同。第七講多元回歸的聯合檢驗

多元回歸分析使學區負責人相信，基于目前的證據，縮小學區內的班級規模有利于提高測試成績。但她現在又提出了有點細微差別的問題。即如果她雇用了更多的教師，則她要么通過縮減預算內的其他開支(不再購買新的計算機，降低維修費等等)，要么要求增加預算(顯然不是納稅人喜歡的)來支付這些教師的工資。因此她問到，如果保持每個學生所分攤的預算(和英語學習者百分率)不變那么降低學生/教師比對測試成績的效應是多少?第七講多元回歸的聯合檢驗這個問題可以通過估計測試成績對學生/教師比，每個學生所分攤的預算以及英語學習者百分率的回歸來解決。即解釋變量包含三個：學生/教師比，每個學生所分攤的預算、英語學習者百分率。第七講多元回歸的聯合檢驗方程中加入每個學生的花費第七講多元回歸的聯合檢驗原因的一種解釋是，在這些加利福尼亞學區的數據中，學校管理者有效地分配了預算。假設，與事實相反，上式中STR的系數取大的負值。如果是這樣的話，學區可以通過減少其他用途(教材、技術、運動等等)的資金而將其用于雇用更多的教師以便在費用固定情況下通過降低班級規模來提高測試成績。但是，上式中STR的系數較小且統計上不顯著，表明資金的這種轉移對測試成績幾乎沒什么影響。換言之，學區內的資金分配已經很有效了。第七講多元回歸的聯合檢驗納稅人的假設是個聯合假設，因此我們需要用新的工具F統計量來檢驗它。第七講多元回歸的聯合檢驗聯合檢驗稱方程附加了兩個約束第七講多元回歸的聯合檢驗為什么不能使用t檢驗雖然看似可以通過利用常用t統計量一次檢驗一個約束來檢驗聯合假設，但這種方法是不可靠的。具體地，假設你想檢驗式子：

?1=0且?2=0

令t1表示檢驗原假設?1=0的t統計量，t2表示檢驗原假設?2=0的t統計量。第七講多元回歸的聯合檢驗

假設t統計量相互獨立：拒絕原假設概率公式為：1-0.952=9.75%這種“一次一個”的方法給了你太多的機會，也就是當你用第一個t統計量無法拒絕時，你還可以嘗試使用第二個t統計量，所以過多地拒絕了原假設。若回歸變量相關，則情況要更復雜。第七講多元回歸的聯合檢驗記為χ2

分布和F分布定義:

設相互獨立,都服從正態分布N(0,1),則稱隨機變量：

所服從的分布為自由度為

n

的分布.分布是由正態分布派生出來的一種分布.第七講多元回歸的聯合檢驗F分布定義:

設X與Y相互獨立,n1稱為第一自由度，n2稱為第二自由度,記作:F~F(n1,n2).則稱統計量服從自由度為n1及n2的F分布.第七講多元回歸的聯合檢驗異方差假設下的F檢驗（大樣本）一。q=2個約束的F統計量。假設我們想檢驗式子：

?1=0且?2=0

令t1表示檢驗原假設?1=0的t統計量，t2表示檢驗原假設?2=0的t統計量。第七講多元回歸的聯合檢驗1。假設t統計量不相關F=(1/2)(t12+t22)即，F統計量是t統計量平方的均值。原假設下t1和t2為獨立的標準正態隨機變量，所以原假設F服從F2,∞分布。如果?1或者?2顯著（或者都顯著），t12或者t22很大，檢驗結果拒絕原假設。第七講多元回歸的聯合檢驗

在經濟計量學中，具有大分母自由度的F分布是很普遍的。當n2變為無限時，F的分母完全收斂為1，所以我們可以將分布Fn1,n2變為Fn1,∞我們可以證明，在一元回歸模型中，F統計量與t統計量存在關系：F≈t2第七講多元回歸的聯合檢驗2。假設t統計量相關原假設依然服從F2,∞分布。第七講多元回歸的聯合檢驗二。q個約束的F統計量。可以證明，原假設服從Fq,∞分布。第七講多元回歸的聯合檢驗利用F統計量計算p值第七講多元回歸的聯合檢驗“總”回歸的F統計量“總”回歸的F統計量檢驗了所有斜率系數為零的聯合假設。假設方程有k個變量。可以證明，原假設服從Fk,∞分布。第七講多元回歸的聯合檢驗應用實例一：1。回歸方程必須要加robust選項。2。檢驗命令用test(Wald檢驗)regtestscrstrexpnel_pct,robusttest(str=0)(expn=0)第七講多元回歸的聯合檢驗應用實例二：regtestscrstrexpnel_pct,robusttest(str=0)(expn=0)(el_pct=0)或者簡單寫成：teststrexpnel_pct結果和stata呈現的F值相同。第七講多元回歸的聯合檢驗同方差適用F統計量當檢驗被解釋變量yt與一組解釋變量x1,x2,...,xk是否存在回歸關系時，給出的零假設與備擇假設分別是H0：1=2=...=k=0；H1：i

，i=1,...,k不全為零。第七講多元回歸的聯合檢驗檢驗思路：（所有參數聯合檢驗）無約束模型為：方程（a）yt=0+1x1t+2x2t+…+kxkt

+ut

受約束模型：方程（b）：yt=0+vt受約束模型表示原假設為真，無約束模型表示備則假設為真。第七講多元回歸的聯合檢驗如果原假設成立，那么模型（a）中的參數1,…,k均不顯著，模型（a）與模型（b）的殘差平方和近似相等。如果備擇假設成立，那么模型（a）中至少有一個變量是顯著的，而模型（b）中的隨機擾動項vt包含了這些顯著性的變量，因此模型（b）的殘差平方和會明顯高于模型（a）的殘差平方和。第七講多元回歸的聯合檢驗模型（a）的殘差平方和表示為RSSU（其中U表示沒有約束（Unrestricted））。模型（b）的殘差平方和表示為RSSR（其中R表示帶有約束（Restricted））。第七講多元回歸的聯合檢驗因此，可以根據殘差項方差的變化來檢驗假設是否是正確的。如果（RSSR

-RSSU）比較大（小），則傾向于拒絕（接受）原假設。正式的統計檢驗是通過構建如下F統計量來完成的。第七講多元回歸的聯合檢驗在H0成立條件下，有FF(k,n–k–1)由檢驗思路可以看出，F統計量越大（小），我們越傾向于拒絕（接受）原假設。因此，這是右單端檢驗。檢驗可以臨界值方法和構建p值的方法來完成。設檢驗水平為，檢驗規則如下。臨界值法：若FF(k,n–k–1)，則接受H0；若F>F(k,n–k–1)，則拒絕H0。P值法：若P(x>F)>α，接受H0；若P(x>F)<α，拒絕H0。第七講多元回歸的聯合檢驗拒絕H0意味著肯定有解釋變量與yt存在回歸關系。若F檢驗的結論是接受H0，則說明k個解釋變量都不與yt存在回歸關系。此時，假設檢驗應該到此為止。當F檢驗的結論是拒絕H0時，應該進一步做t檢驗，從而確定模型中哪些是重要解釋變量，哪些是非重要解釋變量。第七講多元回歸的聯合檢驗第七講多元回歸的聯合檢驗重新計算前面兩個例子結論相同F值差異較大計算簡單，只適用于同方差假設（沒有異方差）第七講多元回歸的聯合檢驗練習例一：工資方程usewage2,clearreglnwageeductenureexperexpersq1。教育（educ）和工作時間（tenure）對工資的影響相同。

testeduc=tenure2。工齡（exper）對工資沒有影響

testexper或者testexper=03。檢驗educ和tenure的聯合顯著性

testeductenure或者test(educ=0)(tenure=0)第七講多元回歸的聯合檢驗例二：生產函數productionuseproduction,clear假設方程為Y=AKαL?reglnylnllnk1。檢驗α和?的聯合顯著性

testlnllnk2。檢驗α=0.2并且?=0.8test(lnk=0.2)(lnl=0.8)3。該生產過程規模報酬不變

testlnk+lnl=1第七講多元回歸的聯合檢驗多個系數的置信集第七講多元回歸的聯合檢驗多元回歸的模型假定如果決定Yi的遺漏因素至少和其中一個回歸變量相關則多元回歸系數的OLS估計量存在遺漏變量偏差。例如來自富裕家庭的學生通常比非富裕家庭的學生有更多的學習機會。因此會取得更好的成績。此外，如果該地區較富有，則學校往往有更多的財政預算和更低的學生/教師比。第七講多元回歸的聯合檢驗如果是這樣的話，學生的富裕程度和學生/教師比呈負相關，則即使控制了英語學習者的百分率，但學生/教師比系數的OLS估計量中還是包含了地區平均收入的效應。簡言之漏掉學生的經濟背景會使測試成績對學生/教師比和英語學習者百分率的回歸中包含遺漏變量偏差。第七講多元回歸的聯合檢驗第七講多元回歸的聯合檢驗理論和實際應用中的模型設定我們解決遺漏變量偏差難題的方法分為兩部分：首先，基于專業判斷、經濟理論和數據收集的方法選擇核心或基礎的回歸變量集合；有時稱基于該回歸變量基礎集合的回歸為墓礎設定形式。它應該包括最感興趣的變量以及根據專業判斷和經濟理論得到的控制變量。列出候選的備選設定形式，即備選的回歸變量集如果感興趣的系數估計值在所有備選設定形式中大小差不多，則提供證據表明了由基礎設定形式得到的估計值是可靠的。但如果感興趣的系數估計值在不同形式中變化很大，則提供證據表明了原先設定的形式中存在遺漏變量偏差。第七講多元回歸的聯合檢驗R2和調整R2在實際應用中的解釋第七講多元回歸的聯合檢驗第七講多元回歸的聯合檢驗第七講多元回歸的聯合檢驗測試成績集分析1。如何利用多元回歸緩解遺漏變量偏差。2。利用表格列出回歸結果。第七講多元回歸的聯合檢驗基礎和備選設定形式的討論某些影響測試成績的因素和學生/教師比相關，所以在回歸中遺漏這些變量會導致遺漏變量偏差。如果可獲得這些遺漏變量的數據，解決這個問題的方法是把它們作為回歸變量加入到多元回歸中。如果我們這么做了，那么學生/教師比的系數就是在保持這些其他因素不變情況下，學生/教師比變化的效應。第七講多元回歸的聯合檢驗這里我們加入控制影響測試成績的三個學生背景特征變量。其中一個控制變量我們以前用過，是還在學習英語的學生比率。另外兩個變量是新引入的，用于控制學生的經濟背景。由于在數據集中沒有經濟背景的理想度量，因此我們利用學區內家庭低收入的兩個不完全指標變量來衡量。其中第一個新變量是校內有資格接受資助或免費午餐的學生百分率。只有學生家庭收入低于某個閥值(大概是貧困線的150%)時，他們才有資格享受該項計劃。第二個新變量是學區內學生家庭有資格享受加利福尼亞收入補貼計劃的學生百分率。家庭是否有資格享受這個收入補貼計劃部分取決于他們家庭的收入但其閥值要低(嚴格)于午飯資助計劃的閥值。第七講多元回歸的聯合檢驗故后兩個變量衡量了學區內經濟困難的學生比率；顯然它們之間是相關的，但并不完全相關(它們的相關系數為0.74)。雖然理論上表明經濟背景是個很重要的遺漏因素，但理論和專業判斷實際上并沒有幫助我們確定這兩個變最中哪個能更好地衡量學生的家庭收入背景。在基礎設定形