缺失數據結構方程模型的三層分析數據呈現、模型擬合與參數效應量李曉煦lixiaoxu@20JUN2008,17:00北京大學深圳研究生院C1031Non-ignorableMissing(MNAR)≈

ConvenientSample

MissingCompletelyatRandom(MCAR)的特點：任意組缺失模式下的完整觀測變量樣本都可以代表被研究的總體觀測到的分布圖示與總體分布族假定吻合Little(1988)提出多組均值的MCAR檢驗，Enders(2006)提供了SAS下的代碼行為科學定量方法的實踐起點：抽樣2MissingatRandom(MAR)的框架MAR特點：是從全信息最大似然方法(FIML)逆推出來的理論條件；并非真實數據常見特性，而是模型所期待的特性。基本的邏輯：如果真實世界不是這樣的，就不能被適宜認知地呈現(Simon,1996,p.207)

雖然代數表達式簡潔，但因為影響缺失率的函數形式是開放的，無法檢驗，無從圖示；實際中常見的情形是單調缺失，影響缺失率的函數形式限于很簡單的情形(分段常數函數或者線性函數，或者已知而確定的函數)。3抽樣遇到的其他瑕疵異常值多元異常值mahalanobis距離，其平方與對應自由度卡方分布的分位值比較。異常值(比如大于2000毫秒的反應時)雖然是被觀測的總體，但通常不是被研究的總體；而地震災害領域，異常值才是研究的重點，正常值反而不是。離散值

圖來自Wilkinson&TFSI(1999)4正態分布及其均值、方差、偏度、峰度由中心極限定理得到：樣本不太小時，其平均值只有均值和(協)方差有研究意義從正態分布數據到協方差矩陣(與均值向量)之間沒有信息損失Anscombe(1973)的經典案例指出真實數據到協方差矩陣的信息損失Wilkinson&TFSI(1999)指出研究者必須以圖示來呈現充足的信息目前EFA與PCA軟件多數能輸出因子散點圖，但SEM軟件卻只輸出協方差的殘差圖，而不是樣本殘差圖或者因子散點圖。SEM應用者對數據與協方差之間的差距缺乏基本的警覺。缺失模式內的觀測值呈現正態分布，是MCAR的重要表征被觀測總體能否推測被研究總體的均值與協方差？Tobit模型能，雖然它是典型的MNAR普通的MNAR，在知道總體分布類型時，也能推測均值與協方差的范圍十倍于自由參數的樣本量如果用四階矩的模型，需要的樣本量非常大，使得高階矩的估計失去意義測量項目的打包策略(Hau&Marsh,2004)5一維數據圖示：Glivenko-Cantelli

定理與QQ圖沒有唯一的直方圖，有唯一的經驗分布圖直方圖損失信息，經驗分布圖保全信息分布函數圖與QQ圖一一對應(橫軸縱軸對換，橫軸再做尺度的變換)，正態分布對應到直線經驗分布一致收斂到總體分布正態分布的QQ圖收斂到直線可用統計檢驗拒絕分布假設；尚無支持分布假設的統計量實際應用中，用偏度和峰度來支持正態假設，默認為4階以上的矩(涉及四次方以上的函數表達式期望值)都沒有研究意義6二維數據圖示：LOESS曲線LOESS需要較密集的局部數據LOESS仍然受異常值影響LOESS能趨近真實的總體，不論這個真實總體是否能被理論模型近似呈現圖來自Wilkinson&TFSI(1999)7缺失值影響的二維圖示均值方差相關系數回歸系數標準正態變量X在(X>t+1orX<t)下的條件方差(實線函數)下方虛線是對應的完整數據百分比8普通的模型對于“正確的”SEM可作參數的Wald檢驗（實際傳統為報告均值、標準誤，由置信區間直接解讀其意義）H0:LX11<=cH1:LX11>c； (或H0:LX11>=-cH1:LX11<-c; 或H0:|LX11|<=cH1:|LX11|>c;

或H0:|LX11|>=cH1:|LX11|<c;)對任何給定真實數據，c與p有單調關系(Li,Hau,&Marsh,2006)FIML與ML對于“正確的”SEM可作同樣的Wald檢驗“正確的”SEM：總體恰好擬合模型，RMSEA總體值為0。H0的位置(和H1相對H0的方向)決定了p值，H1定量偏移無影響c-p關系對應于置信區間與置信度的關系教科書傳統的例子為H0:LX11=0，實際應用中有不良影響行為科學定量方法基本范式：H0與p值9兩層分析：數據呈現與效應量置信區間兩組均值的z檢驗同方差兩組均值的t檢驗異方差兩組均值的t檢驗非參數的中值檢驗10通常的方法：調整數據以適應模型(可能是探索性地)向正態分布變換相關系數的變換公式 1/2*log[(1+r)/(1-r)]，方差為1/(N-3)篩除高影響樣本對離散值分組建模或者引入啞變量列刪11缺失數據下的推薦方法：發展模型充分利用數據FIML/EMEM能快速給出協方差、均值的點估計MI三個步驟：先抽樣，再逐一建模，再整合結果Tobit模型(截斷/刪失的正態數據)從分布函數“完整的局部”推測整體12缺失數據問題的主流觀點：MI與FIML已完全解決MAR條件下的參數點估計與標準誤點估計對于MNAR情形，應該盡量增加進有相關的數據，能幫助被研究的總體更接近MAR條件MNAR條件下的情況太多，個案的研究意義不大；MARvsMNAR的檢驗同樣因為情況太負責，個案的研究意義不大比較有希望的方向是Bayesian學派下的工作13對MAR條件下三種方法的共識

穩健性與標準誤添變量模型擬合信息FIML不夠穩健；對分布族前提條件敏感，如果不夠滿足，得到的標準誤偏小不便于增加模型外變量能給出恰好擬合虛無假設下的似然比檢驗EM在點估計上效率極高，很穩健。對標準誤的處理需要借助bootstrap法，效率低，而且需要足夠的樣本量。極便于增加模型外變量能給出協方差的擬合殘差MI在點估計和標準誤上都很穩健增加模型外變量需要較多的運算資源能給出恰好擬合虛無假設下的似然比檢驗，但軟件上的實現比較困難14研究者的分歧：列刪法在特定條件下的價值在參數點估計和標準誤上，列刪法可以被MI/FIML徹底淘汰(Wilkinson&TFSI,1999)在近似MCAR條件下，如果完整樣本達到95%，列刪法是充分而足夠的方法，能保留完整數據的所有優點(Graham,Cumsille&Elek-Fisk,2003,4.1&4.5)15我的個人觀點：MI與FIML只解決MAR條件下的中心參數點估計與標準誤點估計，非中心參數的置信區間問題未解決當缺失率不太高時，缺失率本身比率信息可被利用從缺失率可以估計協方差的偏離限度。MNAR與各部分缺失率如果都很不利，抽樣已無代表性，不可能有解決方案列刪法可與MI方法比照使用仿異常值問題上的Tabachnick&Fidell(2007)所主張的策略。16行為科學定量方法的中間層：模型近似擬合McDonald(1997)：統計教師的“雙重生活”教本科生用t檢驗、F檢驗去拒絕被約束的模型(H0：各組總體均值相等)教研究生用擬合指標(RMSEA)去支持被約束的模型(SEM相對協方差無約束的自由模型，自由參數更少、約束條件更多)17

McDonald釋疑：效應量≈擬合劣度方差分析中的效應量點估計與SEM的RMSEA擬合指標可以用似然比極限值統一地近似表達。入門的研究問題：真實的總體與約束模型之間定性的符合與否。進階的研究問題：真實的總體與約束模型之間定量的差距大小。當樣本量不夠時，用擬合指標點估計支持結構方程，的確是在錯誤地用不顯著結論支持虛無假設；但樣本量足夠時，可以得到足夠窄的置信區間，解決統計顯著性的困難。18McDonald所啟發的三層分析框架McDonald的數據總體缺省地符合自由模型，從自由模型到約束模型之間有一個連續區間的擬合劣度(或整體效應量)參數概率模型。在SEM應用中，數據呈現是第一層，與第二層的自由模型(協方差矩陣)有近似關系；自由模型與第三層的約束模型(SEM)之間又有近似關系。最終估計的loading置信區間才是實際問題的研究指向。19FIML與MI對于“正確的”SEM可作似然比檢驗H_0:just-fit(RMSEA=0)H_1:not-just-fit(RMSEA>0)任何給定真實總體，RMSEA不可能恰好為0。n無窮，p0不存在n的調整值，所以FIML/MI無法比照完整數據下的模型對“近似正確的”SEM作非中心參數卡方檢驗H_0:Not-close-fit(RMSEA>=閾值c)H_1:close-fit(RMSEA<閾值c)只能對真實數據提供RMSEA保守的(偏寬的)置信區間，在n的保守調整值不夠大時，得到的區間太寬數據缺失時McDonald建議的范式遇到困難20

額外的困難：RMSEA的悖論Cohen’sd是相對效應量點估計，不同的研究情境不能直接對比。總體變異越大，同樣的絕對效應量，Cohen’sd越小RMSEA也是相對效應量點估計，不同的研究情境不能直接對比。在非對角線協方差擬合精度相同時，測量模型信度越低(對角線殘差越大)，RMSEA越小。導致測量模型信度越高，擬合指標越差(Browne,MacCallum,Kim,Andersen,&Glaser,2002;Hancock&Muller,2007)

。21

小結：要用量化方法說服同行，有三層呈現機制在數據層多數情況下，數據與分布族假設之間存在差異用充分的圖示方法；包括最終約束條件模型下的殘差圖。在模型擬合層多數情況下，真實分布族參數與簡約概括的模型近似而不恰好吻合需要對模型整體效應量(擬合指標)具體而準確地解讀在(絕對)效應量參數層建議提供置信區間置信區間需考慮數據層的根據是否充分，盡量按數據層缺失比例與模型擬合層的擬合劣度置信區間作出保守的調整。在第二層和第三層的方法可以不同，比如在第二層用MI與列刪對照法、同時在第三層用MI與FIML對照法22ReferencesAnscombe,F.J.(1973).Graphsinstatisticalanalysis.AmericanStatistician,27,17–21.Browne,M.W.,MacCallum,R.C.,Kim,C.,Andersen,B.L.,&Glaser,R.(2002).Whenfitindicesandresidualsareincompatible.PsychologicalMethods,7,403-421.Enders,C.K.(2006).Analyzingstructuralequationmodelswithmissingdata.InG.R.Hancock&P.O.Mueller(Eds.),Structuralequationmodeling:asecondcourse(pp.313-342).Greenwich,CT:InformationAgePublishingGraham,J.W.,Cumsille,P.E.,&Elek-Fisk,E.(2003).Methodsforhandlingmissingdata.InJ.A.Schinka,&W.F.Velicer(Eds.),Researchmethodsinpsychology:Vol.2,Handbookofpsychology(pp.87–114).NewYork:Wiley.Hancock,G.R.,&Mueller,R.O.(2007,Apr).ThereliabilityparadoxinStructuralEquationModelingfitindices.PaperPresentedatAmericanEducationalResearchAssociationAnnualMeeting,Chicago,IL.Hau,K-T.,&Marsh,H.W.(2004).Theuseofitemparcelsinstructuralequationmodeling:Nonnomraldataandsmallsamplesizes.BritishJournalofMathematicalandStatisticalPsychology,57,327-351.Li,X.,Hau,K.T.,&Marsh,H.W.(2007b).RelationbetweenpopulationRMSEAandp-value:2-dimensionalapproachinassessingandreportinggoodnessoffitinStructuralEquationModeling.PapertobepresentedattheannualmeetingoftheAmericanEducationalResearchAssociation,Chicago,IL,9-13April.