1、標(biāo)準(zhǔn)文檔實(shí)用文案邏輯回歸模型1.1 邏輯回歸模型考慮具有 p 個(gè)獨(dú)立變量的向量，設(shè)條件概率為根據(jù)觀測量相對于某事件發(fā)生的概率。邏輯回歸模型可表示為. ； （ 1.1）上式右側(cè)形式的函數(shù)稱為稱為邏輯函數(shù)。下圖給出其函數(shù)圖象形式。個(gè)具有 k 個(gè)取值的名義變量，將變?yōu)?k-1 個(gè) dummy 變量。這樣，有那么，事件發(fā)生與事件不發(fā)生的概率之比為這個(gè)比值稱為事件的發(fā)生比（the odds of experiencing an event）,簡稱為 odds。因?yàn)?0p0。對 odds 取對數(shù)，即得到線性函數(shù)，呵（:-島8用-+：一.6州- . （ 1.5）1.2 極大似然函數(shù)其中二-。如果含有名義變量

2、,則將其變?yōu)?dummy 變量。(1.3)戶（工二|力二F二護(hù)代P（O|x）-p(1.4)定義不發(fā)生事件的條件概率為1標(biāo)準(zhǔn)文檔實(shí)用文案假設(shè)有 n 個(gè)觀測樣本，觀測值分別為 】匚設(shè)一-:-為給定條件下標(biāo)準(zhǔn)文檔實(shí)用文案得到一 的概率。在同樣條件下得到二-1的條件概率為 = 0|）=1-。于是,得到一個(gè)觀測值的概率為口打 /（ 1.6）因?yàn)楦黜?xiàng)觀測獨(dú)立，所以它們的聯(lián)合分布可以表示為各邊際分布的乘積。/（Q 二 fl 加計(jì)1 班勁 7（1.7）上式稱為 n 個(gè)觀測的似然函數(shù)。我們的目標(biāo)是能夠求出使這一似然函數(shù)的值最大的參數(shù)估 計(jì)。于是，最大似然估計(jì)的關(guān)鍵就是求出參數(shù)必二小上，使上式取得最大值。對上述函

3、數(shù)求對數(shù).1I（ 1.8）對此函數(shù)求導(dǎo)，得到 p+1 個(gè)似然方程。上式稱為似然方程。為了解上述非線性方程，應(yīng)用牛頓拉斐森（Newton-Raphson）方法進(jìn)行 迭代求解。牛頓拉斐森迭代法對二,1求二階偏導(dǎo)數(shù)，即 Hessian 矩陣為如果寫成矩陣形式，以 H表示Hessian 矩陣，X表示耳 1？邯（1.11 ）上式稱為對數(shù)似然函數(shù)。為了估計(jì)能使匸取得最大的參數(shù)的值。(1.9)j=1,2,.,p.二心碼（1羽）J-1(1.10)j.iVr標(biāo)準(zhǔn)文檔實(shí)用文案令得牛頓迭代法的形式為(1.13)注意到上式中矩陣 H為對稱正定的，求解二 即為求解線性方程 HX = U中的矩陣 X。對 H進(jìn)行 chol

4、esky 分解。最大似然估計(jì)的漸近方差(asymptotic varianee)和協(xié)方差(covarianee)可以由信息矩陣(information matrix)的逆矩陣估計(jì)出來。而信息矩陣實(shí)際上是川二階導(dǎo)數(shù)的負(fù)值，8乜(肉/ 二-1斥表示為疔：。估計(jì)值的方差和協(xié)方差表示為- ,也就是說，估計(jì)值的方差為矩陣 I的逆矩陣的對角線上的值，而估計(jì)值-;和- 的協(xié)方差為除了對角線以外的值。然而在多數(shù)情況，我們將使用估計(jì)值的標(biāo)準(zhǔn)方差，表示為2上】忙 -，for j=o,1,2,p (1.14 )顯著性檢驗(yàn)下面討論在邏輯回歸模型中自變量 i 是否與反應(yīng)變量顯著相關(guān)的顯著性檢驗(yàn)。零假設(shè) * = 0 (表

5、示自變量 對事件發(fā)生可能性無影響作用)。如果零假設(shè)被拒絕，說明事件發(fā)生可能性依賴于、的變化。Wald test對回歸系數(shù)進(jìn)行顯著性檢驗(yàn)時(shí)，通常使用爲(wèi)磁: - (1(1.12 )u =1殆1%-W4*切*則袈。再令 911和a(注：前一個(gè)矩陣需轉(zhuǎn)置)，即似然方程的矩陣形式。AvWald 檢驗(yàn)，其公式為(2.1 )標(biāo)準(zhǔn)文檔實(shí)用文案(&)F標(biāo)準(zhǔn)文檔實(shí)用文案其中，浪紗為 A 的標(biāo)準(zhǔn)誤差。這個(gè)單變量 Wald 統(tǒng)計(jì)量服從自由度等于 1 的分布。如果需要檢驗(yàn)假設(shè) 匚：止：匚；小：= 0,計(jì)算統(tǒng)計(jì)量其中，：為去掉所在的行和列的估計(jì)值，相應(yīng)地，為去掉 所在的行和列的標(biāo) 準(zhǔn)誤差。這里， Wald 統(tǒng)計(jì)量

6、服從自由度等于 p 的分布。如果將上式寫成矩陣形式，有（2.3）矩陣 Q是第一列為零的一常數(shù)矩陣。例如，如果檢驗(yàn),則然而當(dāng)回歸系數(shù)的絕對值很大時(shí)，這一系數(shù)的估計(jì)標(biāo)準(zhǔn)誤就會膨脹，于是會導(dǎo)致Wald統(tǒng)計(jì)值變得很小，以致第二類錯(cuò)誤的概率增加。也就是說，在實(shí)際上會導(dǎo)致應(yīng)該拒絕零假設(shè)時(shí)卻未能拒絕。所以當(dāng)發(fā)現(xiàn)回歸系數(shù)的絕對值很大時(shí)，就不再用 Wald 統(tǒng)計(jì)值來檢驗(yàn)零假設(shè)，而應(yīng)該使用似然比檢驗(yàn)來代替。似然比(Likelihood ratio test )檢驗(yàn)在一個(gè)模型里面，含有變量與不含變量的對數(shù)似然值乘以-2 的結(jié)果之差，服從分布。這一檢驗(yàn)統(tǒng)計(jì)量稱為似然比（likelihood ratio），用式子表示為

7、計(jì)算似然值采用公式（1.8 ）。倘若需要檢驗(yàn)假設(shè)=0,計(jì)算統(tǒng)計(jì)量+i Ji.! .1-4 JiF昇-呻咸1上式中， 表示 I =0 的觀測值的個(gè)數(shù)，而 表示丄 1 的觀測值的個(gè)數(shù)，那么 n 就表示 所有觀測值的個(gè)數(shù)了。實(shí)際上，上式的右端的右半部分.-1 ;1_- 表示只含有的似然值。統(tǒng)計(jì)量 G 服從自由度為 p 的；分布Score 檢驗(yàn)在零假設(shè)1：- = 0 下，設(shè)參數(shù)的估計(jì)值為-工，即對應(yīng)的=0。計(jì)算 Score 統(tǒng)計(jì) 量的公式為肛二刖磁（夕）F(2.2 )G = -2fa(不含石似然）含有召似然丿(2.4)(2.5 )標(biāo)準(zhǔn)文檔實(shí)用文案上式中，.山：；表示在=0 下的對數(shù)似然函數(shù)(1.9 )

8、的一價(jià)偏導(dǎo)數(shù)值，而：學(xué)表示在一=0 下的對數(shù)似然函數(shù)(1.9 )的二價(jià)偏導(dǎo)數(shù)值。Score 統(tǒng)計(jì)量服從自由度等于 1 的 / 分布。模型擬合信息模型建立后，考慮和比較模型的擬合程度。有三個(gè)度量值可作為擬合的判斷根據(jù)。0976?45895? ?-2LogLikelihood0976?45895? ?Akaike 信息準(zhǔn)則(Akaike In formation Criterio n.AlC = -2LogL+2(K+S)(2.8)其中 K為模型中自變量的數(shù)目，S 為反應(yīng)變量類別總數(shù)減 1,對于邏輯回歸有-2LogL 的值域?yàn)?0 至二，其值越小說明擬合越好。當(dāng)模型中的參數(shù)數(shù)量越大時(shí)，似然值也就越

9、大，-2LogL 就變小。因此，將 2(K+S)加到 AIC 公式中以抵銷參數(shù)數(shù)量產(chǎn)生的影響。在其它條件不變的情況下，較小的AIC 值表示擬合模型較好。0976?45895? ?Schwarz 準(zhǔn)則這一指標(biāo)根據(jù)自變量數(shù)目和觀測數(shù)量對-2LogL 值進(jìn)行另外一種調(diào)整。SC 指標(biāo)的定義為SC 二-2 必四+2(K+S)恤(2.9)其中 ln(n)是觀測數(shù)量的自然對數(shù)。這一指標(biāo)只能用于比較對同一數(shù)據(jù)所設(shè)的不同模型。在 其它條件相同時(shí)，一個(gè)模型的AIC 或 SC 值越小說明模型擬合越好。回歸系數(shù)解釋3.1 發(fā)生比Y(1)連續(xù)自變量。對于自變量，每增加一個(gè)單位，odds rati on 為(2.6 )簡

10、寫為 AIC)S=2-1=1。odds=p/(1-p)率(odds rati on).標(biāo)準(zhǔn)文檔實(shí)用文案(3.1)標(biāo)準(zhǔn)文檔實(shí)用文案根據(jù)公式(2.6 )計(jì)算待進(jìn)入模型變量的Score 檢驗(yàn)值，并得到相應(yīng)的P 值。找出最小的 p 值，如果此 p 值小于顯著性水平,則此變量進(jìn)入模型。如果此變量 是某個(gè)名義變量的單面化 (dummy)變量，則此名義變量的其它單面化變理同時(shí)也進(jìn)入模型。 不然，表明沒有變量可被選入模型。選擇過程終止。?7明?盠?回到(2)繼續(xù)下一次選擇。具體選擇程序如下常數(shù)(即截距)進(jìn)入模型。(2)(3)(2)二分類自變量的發(fā)生比率。變量的取值只能為0 或 1,稱為dummy variab

11、le。當(dāng) i 取值為 1，對于取值為 0 的發(fā)生比率為(3.2)亦即對應(yīng)系數(shù)的幕。(3)分類自變量的發(fā)生比率。如果一個(gè)分類變量包括 m 個(gè)類別，需要建立的dummyvariable的個(gè)數(shù)為 m-1,所省略的那個(gè)類另 U 稱作參照類(reference category) 。設(shè) dummy variable為，其系數(shù)為照類，其發(fā)生比率為 1。3.2 邏輯回歸系數(shù)的置信區(qū)間對于置信度 1-亠，參數(shù) 的 100? (1 - _：)的置信區(qū)間為上式中，：為與正態(tài)曲線下的臨界乙值(critical valueA 為系數(shù)估計(jì)代的以-席 x s 卷 A+迓x翌標(biāo)準(zhǔn)誤差，.和fft-兩值便分別是置信區(qū)間的下限

12、和上限。當(dāng)樣本較大時(shí)，= 0.05 水平的系數(shù)-：的 95?置信區(qū)間為A1 河?( 3.4 )變量選擇4.1 前向選擇(forward select ion 一次一個(gè)地加入模型。):在截距模型的基礎(chǔ)上，將符合所定顯著水平的自變量(1)標(biāo)準(zhǔn)文檔實(shí)用文案4.2 后向選擇(backward selection ):在模型包括所有候選變量的基礎(chǔ)上，將不符合保留 要求顯著水平的自變量一次一個(gè)地刪除。具體選擇程序如下(1)所有變量進(jìn)入模型。根據(jù)公式(2.1 )計(jì)算所有變量的 Wald 檢驗(yàn)值，并得到相應(yīng)的p 值。(3) 找出其中最大的 p 值，如果此 P 值大于顯著性水平、則此變量被剔除。對于某個(gè)名義變量

13、的單面化變量，其最小 p 值大于顯著性水平，則此名義變量的其它單面化變量也 被刪除。不然，表明沒有變量可被剔除，選擇過程終止。(4) 回到(2)進(jìn)行下一輪剔除。4.3 逐步回歸(stepwise selection)(1)基本思想：逐個(gè)引入自變量。每次引入對 Y影響最顯著的自變量，并對方程中的老變量逐個(gè)進(jìn)行檢驗(yàn)，把變?yōu)椴伙@著的變量逐個(gè)從方程中剔除掉，最終得到的方程中既不漏掉對 Y影響顯著的變量，又不包含對 Y影響不顯著的變量。篩選的步驟：首先給出引入變量的顯著性水平和剔除變量的顯著性水平“，然后按下圖篩選變量。乳7=工士 、-2JY、叫用丄I引小魚I(亦爲(wèi)J一亠-.-卽冷J. I(3)逐步篩選

14、法的基本步驟逐步篩選變量的過程主要包括兩個(gè)基本步驟：一是從不在方程中的變量考慮引入新變量的步驟；二是從回歸方程中考慮剔除不顯著變量的步驟。假設(shè)有 p 個(gè)需要考慮引入回歸方程的自變量.?榵?明7明1榵7?凂?致?設(shè)僅有截距項(xiàng)的最大似然估計(jì)值為二。對 p 個(gè)自變量每個(gè)分別計(jì)算Score 檢驗(yàn)值，設(shè)有最小 p 值的變量為-，且有“1/1，對于單面化(dummy)變量，也如此。若標(biāo)準(zhǔn)文檔實(shí)用文案 血 ，則此變量進(jìn)入模型，不然停止。如果此變量是名義變量單面化(dummy)的變量,則此名義變量的其它單面化變量也進(jìn)入模型。其中為引入變量的顯著性水平。?榵?明7明11榵7?凂?致?為了確定當(dāng)變量在模型中時(shí)其它 p-1 個(gè)變量也是否重要，將/ -分 別與進(jìn)行擬合。對 p-1 個(gè)變量分別計(jì)算 Score 檢驗(yàn)值，其 p 值設(shè)為 I。設(shè)有最小 p 值的 變量為,且有 二唄內(nèi)）.若他 兔 ，則進(jìn)入下一步，不然停止。對于單面化變量，其方式如同上步。?榵?明7明1榵榵7?凂?致?此步開始于模型中已含有變量 與；I。注意到有可能在變量被引入后，變量 榵 不再重要。本步包括向后刪除。根據(jù)（2.1）計(jì)算變量與：I 的 Wald 檢驗(yàn)值，和相應(yīng)的 p 值。 設(shè) I 為