1、對數(shù)線性回歸多元社會統(tǒng)計分析 一、對數(shù)線性模型簡介 1、對數(shù)線性模型基本思想 對數(shù)線性模型分析是把列聯(lián)表資料的網(wǎng)格頻數(shù)的對數(shù)表示為各變量及其交互效應(yīng)的線性模型，然后運(yùn)用類似方差分析的基本思想，以及邏輯變換來檢驗(yàn)各變量及其交互效應(yīng)的作用大小 區(qū)別區(qū)別 方法方法列聯(lián)表列聯(lián)表邏輯回歸邏輯回歸對數(shù)線性模型對數(shù)線性模型作用分析定類變量和定類變量之間有無關(guān)系分析尺度變量（也可引入類別變量）與二分類別變量之間的因果關(guān)系綜合運(yùn)用方差分析和邏輯回歸中的建模方法，應(yīng)用于純粹定類變量之間，系統(tǒng)評價各變量間關(guān)系和交互作用大小的多元統(tǒng)計方法優(yōu)缺點(diǎn) 不需要確定因變量和自變量。但是，卡方檢驗(yàn)對三維和三維以上列聯(lián)表資料的分析

2、有一定困難，即對混雜變量的控制較難 解決了對混雜變量的控制的問題，而且，它能將因變量與自變量的關(guān)系用模型表示出來，清晰易理解。 但是，當(dāng)模型中自變量較多，特別是名義變量較多，或名義變量的類別較多時，分析自變量之間的交互效應(yīng)就很繁雜，可能需要建立很多啞變量 可以直接分析各種類型的分類變量，對于名義變量，也不需要事先建立啞變量，可以直接分析變量的主效應(yīng)和交互效應(yīng)。對數(shù)線性模型不僅可以解決卡方分析中常遇到的高維列聯(lián)表的“壓縮”問題，又可以解決logistic回歸分析中多個自變量的交互效應(yīng)問題 2、列聯(lián)表的四種類型 雙向無序列聯(lián)表； 單向有序列聯(lián)表； 雙向有序且屬性不同的列聯(lián)表； 雙向有序且屬性相同的

3、列聯(lián)表3、列聯(lián)表的優(yōu)勢 約束條件少 清晰 可以快速準(zhǔn)確進(jìn)行判斷4、列聯(lián)表的劣勢：對于多關(guān)系變量（兩個以上）研究：不能被清晰解讀 失去了對多變量之間的交互聯(lián)系的分析 進(jìn)行兩變量間關(guān)聯(lián)分析時缺乏統(tǒng)計控制 不能準(zhǔn)確定量描述一個變量對另一個變量的作用幅度5、對數(shù)線性模型：多維度列聯(lián)表解決之道，以及模型自身特點(diǎn) 通過數(shù)學(xué)方法（方差分析+邏輯變換）來描述多元頻數(shù)分布。 綜合性：同時囊括多個變量于一個模型之中。 控制性：可以在控制其他變量的條件下研究兩個分類變量之間的關(guān)聯(lián)。 飽和性：將多元頻數(shù)分布分解成具體的各項(xiàng)主效應(yīng)和各項(xiàng)交互效應(yīng)，以及高階效應(yīng)，不會漏項(xiàng)。（飽和模型與不飽和模型）定量性：以發(fā)生比的形式來表

4、示自變量的類型不同反映在因變量頻數(shù)分布上的差異。 可檢驗(yàn)性：不僅可以對所有參數(shù)估計進(jìn)行檢驗(yàn)，使抽樣數(shù)據(jù)可以推論總體，且能夠通過不同模型的統(tǒng)計檢驗(yàn)結(jié)果，對備選模型進(jìn)行篩選和評價，進(jìn)而確定具有最大解釋能力且最簡單的模型。消除抽樣波動所帶來的明顯的不規(guī)則性 6、對數(shù)線性模型的缺點(diǎn) 對數(shù)線性模型更強(qiáng)調(diào)的是變量之間的交互效應(yīng)，它不能直接將因變量用自變量的函數(shù)表示出來。 對數(shù)線性模型抽象復(fù)雜，特別是高維模型，不如線性回歸模型易理解二、對數(shù)線性模型的基本原理 1、與方差分析相關(guān)的 在多元方差分析中，以二元方差為例：每一個觀測值yij=+Ai的效果+Bj的效果+(AB)ij交互作用+ij 2、比數(shù)比 比數(shù)比是

5、對數(shù)線性模型的基礎(chǔ)，而比數(shù)比又是由比數(shù)計算而來。那么什么叫做比數(shù)呢？比數(shù)是一個事件發(fā)生的概率與其不發(fā)生概率之比,測量了一個事件發(fā)生的可能性。這個數(shù)值越高說明結(jié)果2相對于結(jié)果1發(fā)生的可能性就越高。 Fij代表某模型fij的期望值，令ij 代表與單元格（i , j）有關(guān)的期望概率 上表可轉(zhuǎn)化為 1=12/11 2=22/21 同理我們可以測量兩個兩個類別間的比值，稱作比數(shù)比。 = 1/ 2=2221/1221=F11 F22/ F12 F21 一個大于1的比數(shù)比意味著行變量和列變量的第二個（或者第一個）存在正相關(guān)；等于1無關(guān)；小于1負(fù)相關(guān)。 比數(shù)比的不變性，不隨1）總樣本量2）行邊緣分布3）列邊緣

6、分布的變化而變化。所以，只要關(guān)心比數(shù)比的估值，那么適用于簡單隨機(jī)樣本的最大似然估計就可以被直接應(yīng)用到分層樣本中了。3、與邏輯變換有關(guān)的：對數(shù)線性模型的出現(xiàn) 令R表示行，C表示列，fij表示第i行第j列的觀測頻次。那么期望頻次Fij被設(shè)定為一個乘積的函數(shù) Fij=RiCjRCij 代表概率里面的總概率值1，R 和C分別代表R和C的邊緣效應(yīng)，RC代表R與C的二維交互效應(yīng)，而交互效應(yīng)實(shí)質(zhì)上測量的就是R與C之間的比數(shù)比，當(dāng)RCij=1的時候就是我們熟悉的獨(dú)立模型。 相乘形式的不好計算，我們將其取對數(shù) 上兩式的數(shù)學(xué)變換使各種效應(yīng)項(xiàng)相乘的關(guān)系被轉(zhuǎn)換成相加的關(guān)系，使各項(xiàng)效應(yīng)獨(dú)立化了。 常數(shù)效應(yīng)； A因素效應(yīng)

7、； B因素效應(yīng)；（主效應(yīng)） A、B兩因素的交互效應(yīng)； 主效應(yīng)和多元交互列表涉及因素數(shù)量相等； 交互效應(yīng)的總數(shù)則為所有因素各階組合數(shù)之和。 對數(shù)線性模型有一個限制條件：模型中每一項(xiàng)效應(yīng)的各類參數(shù)之和等于0；如果每項(xiàng)效應(yīng)中只有一類的參數(shù)未知，那么可以由已知參數(shù)推算出來。通過上組式子，我們可以計算出線性模型等式右側(cè)的所有參數(shù)值。A因素效應(yīng)是行平均值與總平均值之差B因素效應(yīng)是列平均值與總平均值之差交互效應(yīng)計算結(jié)果表示在除去所有其他分布效應(yīng)之后兩個因素之間的凈關(guān)聯(lián)。 常數(shù)項(xiàng)只受樣本規(guī)模和交互單元數(shù)的影響； 主效應(yīng)項(xiàng)反映的是各因素內(nèi)部類別頻數(shù)分布的特征，是在總平均頻數(shù)基礎(chǔ)上的“補(bǔ)差”； 如果模型中所有交互

8、效應(yīng)都等于0，我們將會看到雖然每行（列）頻數(shù)不同，但行（列）頻數(shù)分布比例卻是相同的，都等于原來分類變量的類別分布比例。 泊松分布 多項(xiàng)分布 乘積-多項(xiàng)分布 所以我們不能直接應(yīng)用最小二乘法對模型、總體、參數(shù)進(jìn)行估計，但幸運(yùn)的是，三個抽樣模型下的極大似然估計是等同的。但是可以通過迭代再加權(quán)最小二乘法，可是運(yùn)算起來比較繁瑣。 4、分布5、估計 參數(shù)估計通俗的來講：根據(jù)抽樣結(jié)果來合理地、科學(xué)的猜測一下總體的參數(shù)大概是什么？或者是在什么范圍？點(diǎn)估計就是用樣本計算出來的一個參數(shù)來估計未知參數(shù)；區(qū)間估計就是通過樣本計算出來一個范圍來對位置參數(shù)進(jìn)行估計。極大似然法與最小二乘法的區(qū)別于聯(lián)系 最小二乘法所要解決的

9、問題是：為了選出似的模型輸出與系統(tǒng)輸出盡可能接近的參數(shù)估計，用誤差平方和即離差平方和的大小來表示接近程度。使離差平方和最小的參數(shù)值即為估計值。簡單來說，已知點(diǎn)，自己擬合模型也即分布函數(shù)（概率密度函數(shù)的積分），進(jìn)行預(yù)測。 極大似然估計所要解決的問題是：選擇參數(shù)，使已知數(shù)據(jù)在某種意義下最可能出現(xiàn)。某種意義指的是似然函數(shù)最大，此處似然函數(shù)就是概率密度函數(shù)。也就是經(jīng)常提到的“模型已知，參數(shù)未定”。 二者的區(qū)別就是，后者需要知道概率密度函數(shù)。最小二乘法要的是求出最優(yōu)的那個參數(shù)，而極大似然要求出概率最大（最可能出現(xiàn)的）參數(shù)。舉個例子，生活中我們一個著眼最合理是哪一個，一個著眼于最可能的是哪一個（極大似然法

10、）當(dāng)總體服從正態(tài)分布時，二者是一樣的。 對于最小二乘法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得模型能最好地擬合樣本數(shù)據(jù)；而對于最大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該是使得從模型中抽取該n組樣本觀測值的概率最大。 密度函數(shù)和似然函數(shù)（帶著參數(shù)的密度函數(shù)）是相同的，但前者視參數(shù)是固定的且數(shù)據(jù)時變化的，后者視參數(shù)變化的且數(shù)據(jù)時固定的。 （1） 寫出似然函數(shù)； （2） 對似然函數(shù)取對數(shù)，并整理； （3） 求導(dǎo)數(shù) ； （4） 解似然方程三、對數(shù)線性模型的假設(shè)檢驗(yàn) 1、假設(shè)檢驗(yàn)的作用 統(tǒng)計推論中包括參數(shù)估計與假設(shè)檢驗(yàn)兩部分，上面我們已經(jīng)介紹了參數(shù)

11、估計，那估計的可信度有多少，還要經(jīng)過假設(shè)檢驗(yàn)。不經(jīng)過統(tǒng)計檢驗(yàn)，研究者便不能肯定得到的參數(shù)估計是不是僅僅源于抽樣誤差，因而不能肯定在總體中是否存在相同情況。所有結(jié)論只能限于這個樣本之內(nèi)，不能肯定再抽一個樣本能否得到類似結(jié)果。2、統(tǒng)計量 似然卡方比，根據(jù)相關(guān)計算，看原假設(shè)是否成立。 貝葉斯信息標(biāo)準(zhǔn)，不同模型而言越小的BIC越好。 3、對數(shù)線性模型的統(tǒng)計檢驗(yàn) 四種主要檢驗(yàn)：1、對于假設(shè)模型的整體檢驗(yàn)；2、分層效應(yīng)的檢驗(yàn)；3、單項(xiàng)效應(yīng)的檢驗(yàn)；4、單個參數(shù)估計的檢驗(yàn)。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 1、對于假設(shè)模型的整體檢驗(yàn) 采用似然比卡方檢驗(yàn)（likelihood-ratio chi-square test，

12、標(biāo)為L2） 在樣本量較大時， L2與皮爾遜卡方統(tǒng)計量的值十分接近。 L2優(yōu)越性：1、期望頻數(shù)采用似然估計方法，因而更加穩(wěn)健；2、可以被分解成若干部分，即各項(xiàng)效應(yīng)都有對應(yīng)的似然卡方值，并且它們的似然卡方值之和等于整個模型的似然卡方比值。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 公式：其中 為估計交互頻數(shù)。 原假設(shè)：檢驗(yàn)?zāi)Ｐ偷念l數(shù)估計與觀測頻數(shù)無差異，也可以理解為檢驗(yàn)?zāi)Ｐ秃惋柡湍Ｐ蜔o差異。（無關(guān)假設(shè)）對數(shù)線性模型的統(tǒng)計檢驗(yàn) 飽和對數(shù)線性模型可以完美無缺的再現(xiàn)觀測頻數(shù)，因此不需要對飽和模型進(jìn)行整體性檢驗(yàn)。 DF等于0，意味著所檢驗(yàn)的模型與飽和模型之間的效應(yīng)項(xiàng)目沒有差別。 對數(shù)線性模型的統(tǒng)計檢驗(yàn) 真正有意義的是檢驗(yàn)非飽

13、和模型（簡略模型，reduced model） 如果簡略模型仍然可以比較準(zhǔn)確的擬合觀測數(shù)據(jù)（其擬合程度與飽和模型無顯著差異），說明剔除的效應(yīng)對于擬合意義不大。（科學(xué)的簡約性原則） 研究目的：不是為了再現(xiàn)觀測頻數(shù)，而是通過在模型中加入和減少交互效應(yīng)項(xiàng)的試驗(yàn)，以尋求真正重要的因素。 從飽和模型開始逐步剔除不重要的交互效應(yīng)項(xiàng)，在保證擬合程度不受較大影響的前提下，直到形成效應(yīng)項(xiàng)最少的模型。（找到最關(guān)鍵因素）對數(shù)線性模型的統(tǒng)計檢驗(yàn)舉例說明：由圖可知，自由度變?yōu)?，L2由0增大到10.284，顯著性水平為0.01（P）（拒絕原假設(shè)），說明簡略模型和飽和模型存在十分顯著的差異，即擬合程度受到很大影響。顯著=

14、不能剔除該交互因素在因素很多的復(fù)雜飽和模型中，通過此方法刪減多個不顯著效應(yīng)項(xiàng)來形成簡略模型。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 整體檢驗(yàn)的不足之處：整體檢驗(yàn)顯著只能說明撤銷的效應(yīng)項(xiàng)中起碼有一項(xiàng)是有顯著作用的，但不能確定是哪一項(xiàng)顯著。所以，整體檢驗(yàn)在實(shí)際對數(shù)線性模型分析中，主要服務(wù)于整個檢驗(yàn)?zāi)Ｐ偷臋z驗(yàn)情況，而確定各項(xiàng)效應(yīng)時則是通過單項(xiàng)效應(yīng)的檢驗(yàn)。且，對于一個多階多項(xiàng)效應(yīng)的復(fù)雜模型，采用整體檢驗(yàn)方式就意味著逐項(xiàng)效應(yīng)的剔除測試，這樣分析過程效率太低。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 2、分層效應(yīng)檢驗(yàn) 當(dāng)研究中涉及的因素較多時，不僅主效應(yīng)項(xiàng)會增加，交互效應(yīng)項(xiàng)增加得更快。例如，四個因素的模型，主效應(yīng)4個，二階交互效應(yīng)6項(xiàng)，三

15、階交互效應(yīng)4項(xiàng)，四階交互效應(yīng)1項(xiàng)。如此，逐項(xiàng)檢驗(yàn)篩選重要目標(biāo)就太繁瑣了。 且，在一般情況下，高階交互效應(yīng)不太容易顯著。因此采用按階次集體檢驗(yàn)交互效應(yīng)項(xiàng)的方法十分間接有效。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 分層效應(yīng)檢驗(yàn)有兩種： 一、某一階及更高階所有交互效應(yīng)項(xiàng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階及以上各階中是否至少有一項(xiàng)是重要的； 二、某一階所有交互效應(yīng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階所有交互效應(yīng)中是否至少有一項(xiàng)是重要的。 前者檢驗(yàn)比后者綜合性更強(qiáng)。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 案例 二階以上(簡略模型)一階以上一階二階對數(shù)線性模型的統(tǒng)計檢驗(yàn) 分層檢驗(yàn)提供了模型L2的分解。 第一種分層檢驗(yàn)中，一階及以上

16、所有效應(yīng)都從模型中刪除，就會使簡略模型的L2增加到13.142，而第二種分層檢驗(yàn)告訴我們，這個L2的增量是一階效應(yīng)L2 2.858與二階效應(yīng)L2 10.284之和。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 分層效應(yīng)檢驗(yàn)的不足：整體檢驗(yàn)或分層檢驗(yàn)的結(jié)果只能說明所有效應(yīng)中或某一組效應(yīng)中至少有一項(xiàng)效應(yīng)具有顯著重要影響。但并不能明確知道究竟是哪一項(xiàng)顯著。為了了解到底是哪些具體項(xiàng)目顯著，還需要采用單項(xiàng)效應(yīng)的單獨(dú)檢驗(yàn)。對數(shù)線性模型的統(tǒng)計檢驗(yàn) 3、單項(xiàng)效應(yīng)的檢驗(yàn) SPSS的單項(xiàng)效應(yīng)檢驗(yàn)只是在分層模型中對飽和模型分析時提供。它反映的是如果從模型中撤銷一個效應(yīng)以后對L2變化的檢驗(yàn)，稱為偏關(guān)聯(lián)檢驗(yàn)(tests of PARTIAL associations)對數(shù)線性模型的統(tǒng)計檢驗(yàn)偏關(guān)聯(lián)檢驗(yàn)沒有最高階項(xiàng)，對于例子而言，兩個主效應(yīng)顯著概率都大于0.05偏關(guān)聯(lián)檢驗(yàn)實(shí)際上是對飽和模型的L2與刪除該項(xiàng)效應(yīng)后簡略模型L2之間的增量的檢驗(yàn)。可以視為分層檢驗(yàn)的進(jìn)一步分解：2.858=1.602+1.257對數(shù)線性模型的統(tǒng)計檢驗(yàn) 單項(xiàng)效應(yīng)檢驗(yàn)的不足：在制定對數(shù)線性模型時，一個因素中可能不只兩個類別。單項(xiàng)效應(yīng)檢驗(yàn)只是肯定這項(xiàng)效應(yīng)中起碼有一