1、第二章 ROC曲線分析概要本文先介紹了 ROC理論的一些基礎(chǔ)知識(shí)如特異度和靈敏度等，然后簡(jiǎn)要介紹 了非參數(shù)ROC分析方法，并建立了ROC模型。最后介紹了 ROC曲線及在R軟件中的繪 制。2.1 ROC 分析的基本要素ROC分析的基本要素包括真陽(yáng)性和假陽(yáng)性也稱靈敏度和特異度，以及“金標(biāo) 準(zhǔn)”“金標(biāo)準(zhǔn)”劃分被測(cè)試者的真實(shí)狀態(tài)為對(duì)照組和病例組兩類。 常見(jiàn)的金標(biāo)準(zhǔn) 有跟蹤隨訪、活組織檢查、尸體解剖、手術(shù)探查等。雖然“金標(biāo)準(zhǔn)”沒(méi)有必要是 十全十美的，但“金標(biāo)準(zhǔn)”應(yīng)與評(píng)價(jià)的診斷系統(tǒng)無(wú)關(guān)，而且比要評(píng)價(jià)的診斷系統(tǒng) 更可靠。“金標(biāo)準(zhǔn)”不夠完美時(shí)，可用采用 Bayesian 、模糊金標(biāo)準(zhǔn)、 EM估計(jì)等方 法解決。

2、對(duì)按照“金標(biāo)準(zhǔn)” 確定的二分類總體， 對(duì)照組和病例組分別用陰性和陽(yáng)性表 示診斷試驗(yàn)結(jié)果。假定總體樣本量是 N，診斷試驗(yàn)的可能結(jié)果總共有四種：被測(cè)試者患病且被正確診斷為患病者， 被測(cè)試者無(wú)病且被錯(cuò)誤診斷為患病者， 被測(cè)試 者無(wú)病且被正確診斷為無(wú)病者， 被測(cè)試者無(wú)病且被錯(cuò)誤診斷為患病者。 我們可以 用一個(gè) 22的列聯(lián)表來(lái)表示它們之間的關(guān)系。“金標(biāo)準(zhǔn)”診斷結(jié)果患病者健康者合計(jì)陽(yáng)性a( 真陽(yáng)性)b(假陽(yáng)性)a+b陰性c( 假陰性)d(真陰性)c+d合計(jì)a+cb+da+b+c+d=NabTPR= a+acFPR= b+bd在醫(yī)學(xué)研究中，診斷試驗(yàn)準(zhǔn)確度指標(biāo)最常用的是靈敏度與特異度。靈敏度( sensiti

3、vity )，也叫真陽(yáng)率( true positive rate ，即 - 假陰率 (FNR)=a+cTPR)是被 測(cè)試者患病且被正確診斷為患病者的樣本量在陽(yáng)性總體中占的比例。 靈敏度值越 大，假陰率越小。據(jù)表2-1 其計(jì)算公式是： 靈敏度(sensitivity)= 真陽(yáng)率(TPR)標(biāo)準(zhǔn)誤為： SETPR = ac/(a + c)3特異度(specificity )，也叫真陰率 (true non-positive rate ，即TNPR)，特異度 (specificity) =真陰率(TNPR) = 1 -假陽(yáng)率(FPR) =db+d是受試者無(wú)病且被正確診斷為無(wú)病者的樣本量占陰性總體的比例

4、。 假陽(yáng)率（ false positive rate，即FPR） = 1 - 特異度特異度值越大，假陽(yáng)率越小。據(jù)表 2-1 其計(jì)算公式是：標(biāo)準(zhǔn)誤為： SEFPR = bd/(b + d)3假設(shè)二分類總體均服從正態(tài)分布， TPR、FPR、TNPR 和FNPR之間的關(guān)系可以 用圖2-1來(lái)描述。圖中 x = c 為截?cái)帱c(diǎn)（診斷閾值），為假陽(yáng)率（ FPR）， 為假陰率（ FNPR）。2.2 ROC 準(zhǔn)確性評(píng)價(jià)指標(biāo)的優(yōu)越性診斷試驗(yàn)的準(zhǔn)確性評(píng)價(jià)指標(biāo)有正確率、靈敏度和特異度等。它們雖然都可以 反映診斷的準(zhǔn)確性，但評(píng)價(jià)的效果不是很理想。正確率是被測(cè)試者被正確診斷的例數(shù)和所占總體的百分?jǐn)?shù)。其計(jì)算公式是：正確百分

5、率 = a+ d 100%N標(biāo)準(zhǔn)誤是： SE正確百分率 = （a+ d）（b + c）/N 3正確百分率的不足之處：1很大程度上依賴患病率。例如，雖然患病率是 5%，如果判定所有樣本為健康者，也有可能有 95%的正確百分率；2受診斷閾值的限制；3沒(méi)有表示出假陽(yáng)性和假陰性錯(cuò)誤診斷所占的比例，沒(méi)有唯一性表示，即=TPR- FPR=a+cbb+d使有相同的正確百分率的兩個(gè)總體，也可能有十分不同的假陽(yáng)性和假陰性。基于此， 單獨(dú)計(jì)算靈敏度和特異度， 以彌補(bǔ)正確率的不足， 如果兩個(gè)指標(biāo)的 值越高，診斷評(píng)價(jià)效果也就越好，其實(shí)不然。在對(duì)診斷系統(tǒng)做出比較時(shí)，如果單 獨(dú)使用靈敏度與特異度， 就會(huì)存在很大的不足：

6、這兩個(gè)指標(biāo)依賴于診斷閾值 （或 截?cái)帱c(diǎn)），改變?cè)\斷閾值可以增加診斷的靈敏度， 但同時(shí)也減少了特異度； 反之， 如果增加診斷的特異度，則需要以減少靈敏度為代價(jià)。另外，有人提出的 Youden 指數(shù)、陽(yáng)性似然比、 ：真陽(yáng)率與假陽(yáng)率之比）和 陰性似然比等等。Youden指數(shù)是指真陽(yáng)性率與假陽(yáng)性率之差，計(jì)算公式為：Youden指數(shù)=靈敏度+特異度-1=真陽(yáng)性率 -假陽(yáng)性率其標(biāo)準(zhǔn)誤為： SEYouden 指數(shù) = ac 3 + bd 3 Youden 指數(shù) （a+c ）3 （b+d ）3陽(yáng)性似然比（ positive likelihood ratio 簡(jiǎn)寫(xiě)為： LR+）是真陽(yáng)性率與假陽(yáng)性率 之比，即靈敏

7、度與（ 1-特異度）的比值，它是 ROC曲線某工作點(diǎn)對(duì)應(yīng)的斜率。陰性似然比（ negative likelihood ratio 簡(jiǎn)寫(xiě)為： LR-）是假陰性率與真陰性率 之比，即（ 1-敏感度）與 特異度的比值。這些診斷指標(biāo)綜合考慮了靈敏度和特異度， 但一個(gè)指標(biāo)只對(duì)應(yīng)于一個(gè)診斷閾值。當(dāng)診斷閾值改變時(shí)，會(huì)得到不同的指標(biāo)值，給診斷準(zhǔn)確度的比較帶來(lái)不便。所以一般選擇陽(yáng)性似然比或 Youden 指數(shù)最大者為最佳工作點(diǎn)。在評(píng)價(jià)整個(gè)診斷 方法的準(zhǔn)確性時(shí)用 ROC 分析，當(dāng)改變?cè)\斷閾值時(shí)， 可同時(shí)獲得靈敏度和特異度， 也就可以獲得 TPR 和 FPR 值。 ROC 曲線是以 FPR 為橫坐標(biāo)和以 TPR 為

8、縱坐 標(biāo)繪制而成，并且 ROC 曲線下的面積大小衡量了診斷系統(tǒng)的判別能力。2.3 ROC 曲線的構(gòu)建以假陽(yáng)性率（ FPR）為橫坐標(biāo)、真陽(yáng)性率（ TRP）為縱坐標(biāo)，形成正方形，在 圖上將 ROC工作點(diǎn)標(biāo)出，并用線條將這些低昂依序連接起來(lái)構(gòu)建不光滑的ROC曲線。構(gòu)建光滑的曲線需要交涉對(duì)照組和病例組服從于某一分布（如正態(tài)分布、 Gamma分布等），用曲線擬合技術(shù)估計(jì)其參數(shù)，直接用參數(shù)產(chǎn)生曲線。無(wú)論資料 類型如何，曲線一定通過(guò)（ 0,0 ）和（1,1 ）兩點(diǎn)，這兩個(gè)點(diǎn)對(duì)應(yīng)著靈敏度 =0，特 異度=1和靈敏度 =1，特異度=0.理論上診斷實(shí)驗(yàn)都有 TPR=1，F(xiàn)PR=0。完全無(wú)價(jià)值 的診斷為 TPR=F

9、PR這, 條線條稱為幾率線（ guessing line 或 chance line ），也 稱為無(wú)信息線（ line of no information ）；ROC曲線對(duì)診斷的準(zhǔn)確性采用同一尺度直觀地體現(xiàn)出來(lái)， 描述了診斷實(shí)驗(yàn)對(duì) 正反兩種狀態(tài)的判別能力。 曲線上每一個(gè)點(diǎn)通過(guò)改變其診斷閥值 （截?cái)帱c(diǎn)）而得， 是靈敏度和特異度的折衷結(jié)果。 提高診斷標(biāo)準(zhǔn)則產(chǎn)生較低的靈敏度和較高的特異 度；降低診斷標(biāo)準(zhǔn)則產(chǎn)生較高的靈敏度和較低的特異度。 如果比較兩個(gè)診斷方法 的效果，則較高的 ROC曲線具有較好的診斷性能， 如果曲線交叉， 則通過(guò)計(jì)算曲 線下面積進(jìn)行進(jìn)一步比較。用 ROC曲線下面積 （記為 AZ）反

10、映診斷試驗(yàn)的準(zhǔn)確度， 它可以被看成是正確 決策的概率。該面積的取值范圍為（ 0.5,1 ），完全無(wú)價(jià)值的診斷 AZ=0.5 ；完美的 診斷 AZ=1。習(xí)慣上認(rèn)為 ROC曲線下面積為 0.50 0.70 ，表示診斷的準(zhǔn)確度較低； 在 0.70 0.90 之間表示診斷的準(zhǔn)確度中等； 面積達(dá)到 0.90 以上則表示診斷的準(zhǔn) 確度較高。2.4 ROC 曲線的擬合方法ROC曲線的獲得是通過(guò)兩個(gè)不同的總體（正常組和異常組） ，它的橫軸和縱 軸（假陽(yáng)性率和真陽(yáng)性率）存在相關(guān)關(guān)系，因此不能假定它們來(lái)自單一的總體， 不能用一般非線性模型擬合。 ROC曲線擬合方法主要有雙正態(tài)模型參數(shù)法和非參 數(shù)法。除了主要的 R

11、OC分析方法外，有序回歸模型（包括位置尺度模型、比例優(yōu) 勢(shì)模型、 GEE法）、 COX比例風(fēng)險(xiǎn)模型等也可以擬合 ROC曲線、計(jì)算 ROC曲線下 面積以及標(biāo)準(zhǔn)誤。這些模型還考慮了協(xié)變量的混雜效應(yīng)。2.4.1雙正態(tài)模型參數(shù)法雙正態(tài)模型假定正常組和異常組都服從正態(tài)分布。 當(dāng)前該模型在 ROC分析上 比較完善，可以處理不同的 ROC資料，獲得光滑的 ROC曲線。當(dāng)樣本量較大時(shí)， 有序分類數(shù)大于 5 時(shí)，該模型獲得的結(jié)果是比較可靠的。但是當(dāng)樣本量較少時(shí)， 雙正態(tài)模型擬合會(huì)產(chǎn)生退化資料， ML估計(jì)會(huì)迭代不收斂。按“金標(biāo)準(zhǔn)” 將實(shí)驗(yàn)對(duì)象劃分為正常組和異常組， 假設(shè)它們分別服從總體均 值為0、 1 （0 ?正

12、| 常 = 1 - （0 ）0真陽(yáng)性率為：t - 1TPR= Pr?1 ?異| 常 = 1- （1 ）1其中?0?、?1分別表示正常組和異常組的實(shí)驗(yàn)測(cè)量值或有序分類之； t 為截?cái)?點(diǎn)，實(shí)驗(yàn)測(cè)量值 xt, 診斷為陽(yáng)性， xt 診斷為陰性；（ ）為標(biāo)準(zhǔn)正態(tài)累積分布函數(shù)。令 t = 0 + 0 -1 (1 - FPR), 則有：1 - 00 -1TPR= ( 1 0) + 0-1 (FPR) 11令a= 1-0,b =10, 則上式可寫(xiě)為： 1-1TPR= a+ b-1 (FPR),0 FPR1其中 -1 （ ?）為標(biāo)準(zhǔn)正態(tài)離差值A(chǔ)Z = a1+ b2參數(shù)a、b通過(guò)極大似然法maximum lik

13、elihood，ML）估計(jì)整個(gè)ROC曲線下面積為：2.4.2非參數(shù) ROC擬合方法非參數(shù)法主要有： Hanley 和 McNeil 法、 Delong 和 Clarke-Pearson 法。非 參數(shù)法對(duì)正常組和異常組的分布沒(méi)有要求， 它們可以充分利用所有的截?cái)帱c(diǎn)， 對(duì) 連續(xù)性樣本量沒(méi)有大小的顯著， 不會(huì)出現(xiàn)計(jì)算結(jié)果不收斂的情況。 當(dāng)截?cái)帱c(diǎn) (或 有序分類)大于 5 時(shí)，結(jié)果比較理想，當(dāng)截?cái)帱c(diǎn)不斷增加時(shí)， ROC曲線將逐漸向 光滑參數(shù)曲線靠攏。Hanley 和 McNeil 非參數(shù)法假設(shè)正常組的觀察值個(gè)數(shù)為 n0, 記作 x1j(j = 1,2,? , n0) ；異常組的觀察值個(gè) 數(shù)為 n1,

14、記 作x0i(i = 1,2,? ,n1)。異 常組 的觀 察值 更大 ，根據(jù) WilcoxonMann-Whitney 統(tǒng)計(jì)量， ROX曲線下面積(AZ)等于異常組每個(gè)觀測(cè)值大于正常組 每個(gè)觀測(cè)值的概率。即AZ的標(biāo)準(zhǔn)誤為：SE(AZ) = AZ(1- AZ)+ (n1- 1)(Q1n-nAZ2) +(n0- 1)(Q2- AZ2)n1n0其中Q1是兩個(gè)隨機(jī)隨著的異常組觀測(cè)值比一個(gè)隨機(jī)選擇的正常組觀察值都更大 可能分類為異常的概率。 Q2是一個(gè)隨機(jī)隨著的異常組觀測(cè)值比兩個(gè)隨機(jī)選擇的 正常組觀察值都更大可能分類為異常的概率。2.5基于非參數(shù)法的 ROC 分析基于本文實(shí)證分析采用的是非參數(shù)方法的

15、ROC模型，因此將在本小結(jié)著重介 紹下非參數(shù)法的 ROC分析。2.51 等級(jí)變量的非參數(shù) ROC分析 通常情況下，診斷系統(tǒng)獲得的原始資料的記錄有離散型和連續(xù)型兩種形式。許多生物醫(yī)學(xué)診斷試驗(yàn)的測(cè)量工具是連續(xù)型的， 如血清抗原和酶濃度； 醫(yī)學(xué)影像 診斷試驗(yàn)的診斷結(jié)果是離散型的。 n0n1 (x0i , x1j)j=1i=11x1j x0i0.5x1j =x0i0 x1j x0i(x 0i,x1j) =1 AZ = n1n0對(duì)于不同的形式， ROC曲線估計(jì)方法是相同的， 我們以離散型診斷結(jié)果為例。如果將診斷指標(biāo)以有序分類的方式分成 k類，k = 1, , K 。其中 1類別 表示完全沒(méi)患病， K 類

16、別表示肯定患病。假設(shè)對(duì)于每一個(gè)分類類別 Y，有一個(gè)隱 藏的連續(xù)決策變量 X，將結(jié)果劃分到第 k 類中，如果決策變量 X在區(qū)間( k-1 ,k)FPR=N30 + N40 + N50N0異常組陽(yáng)性個(gè)體數(shù)為N31+N41+N51，其真陽(yáng)率為TPR=N31 + N41 + N51中，k = 1, , K; 0= -, k= + ；即當(dāng)k-1 ? ?|?k = 1)n12.5.3連續(xù)變量的非參數(shù) ROC分析 若診斷結(jié)果為連續(xù)型變量，則處理方法與上面等級(jí)變量類似，設(shè)定閾值c，當(dāng)yc時(shí)為陽(yáng)性，當(dāng) yc時(shí)為陰性。那么，若設(shè)“金標(biāo)準(zhǔn)”為 K，則對(duì)于每一個(gè)閾 值 c，我們就能推斷出相應(yīng)的真陽(yáng)率 TPR(靈敏度)

17、和假陽(yáng)率 FPR( 1 特異度)， 設(shè)靈敏度為 Sen(c) ，特異度為 Spe(c) ，則有：FPR(c) = 1 -Spe(c) =in=01 I(yi ?|?k = 0)n0其中， n0為金標(biāo)準(zhǔn) K=0時(shí)的樣本量，同理， n1為金標(biāo)準(zhǔn) K=1時(shí)的樣本量。如上述所示，當(dāng)變量為連續(xù)型時(shí)，每個(gè) c都有對(duì)應(yīng)的靈敏度和特異度，把 c 取遍此連續(xù)型變量在樣本中的所有互異的觀測(cè)值， 把這些點(diǎn)對(duì) FPR(c) ，TPR(c) 連成曲線便構(gòu)成 ROC曲線。2.6 ROC 曲線間差異的顯著性檢驗(yàn)ROC曲線提供了直觀比較兩個(gè)診斷方法準(zhǔn)確性的方法， 較高的 ROC曲線具有 較好的診斷性能，但是如果曲線交叉，則無(wú)

18、法直觀地看出來(lái)，同時(shí)，直觀上看兩 條曲線有差異， 但是不一定是統(tǒng)計(jì)顯著的， 所以需要通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)一步 檢驗(yàn)兩種診斷方法的準(zhǔn)確性是否有顯著差別。 采用參數(shù)法非參數(shù)法擬合 ROC曲線 有不同的檢驗(yàn)方法。 對(duì)于雙正態(tài)模型方法擬合的 ROC曲線，可以采用雙變量參數(shù) 卡方檢驗(yàn)(bivariate Chi-square test )、真陽(yáng)性率 z 檢驗(yàn)(TPRZ -score test )、 面積 z 檢驗(yàn)( area z-score test )。2.6.1雙變量參數(shù)卡方檢驗(yàn)檢驗(yàn)兩診斷實(shí)驗(yàn)的雙正態(tài)參數(shù)間有無(wú)差異。 假設(shè)兩個(gè) ROC曲線的參數(shù)分別是(a1,b1)、( a2,b2)。原假設(shè)：兩條雙正

19、態(tài) ROC曲線相同，即 a1 = a2,b1 = b2。 如果原假設(shè)成立，且參數(shù)估計(jì)值 ?a1,b?1,a?2，b?2為聯(lián)合正態(tài)分布。則檢驗(yàn)統(tǒng)計(jì) 量為：22 = -1 ?服從自由度為 2 的卡方分布，其中 為行向量( a?1 - ?a2, b?1 - b?2)， 是 22協(xié) 方差矩陣，矩陣元素：11 = Var( a?1 ) + Var( a?2 ) - 2Cov(a?1 ,a?2)22 = Var(b?1 ) + Var(b?2) - 2Cov(b?1 ,b?2)12 = 21 = Cox(?a1 ,b?1) + Cox(a?2 ,b?2) - Cox(a?1 ,b?2) - Cox(?a2

20、 ,b?1)2.6.2真陽(yáng)性 z 檢驗(yàn) 有時(shí)候想要研究的是在特定的假陽(yáng)性率條件下， 兩條 ROC曲線上的真陽(yáng)性率 是否相同。此時(shí)并不關(guān)心兩診斷實(shí)驗(yàn)是否產(chǎn)生完全相同的 ROC曲線。此時(shí)，原假設(shè)為：在特定的FPR0 下，兩條 ROC曲線的 TPR 相等，即TPR1=TPR2=TPR0。當(dāng)原假設(shè)成立，且 a?1 ，b?1，a?2 ，b?2為多變量正態(tài)，則v = (FPR2) - (FPR1 ) = a2+ b2-1 (FPR0 ) - a1 + b1-1 ( FPR0 ) 服從均值為 0，標(biāo)準(zhǔn)差v = 11 - 2t 12 + t222的隨機(jī)正態(tài)分布。其中 -1t=-1 (1 - FPR0)。2.6

21、.2面積 z 檢驗(yàn)該方法對(duì) ROC曲線下面積間的差值做 z 檢驗(yàn)來(lái)判斷兩個(gè)診斷實(shí)驗(yàn)方法的準(zhǔn)確 性。原假設(shè)為：兩條 ROC曲線下面積相等，即 Az1= Az2。，如果原假設(shè)成立，且樣 本量較大，則兩診斷 ROC曲線下面積的差值：?a1a?2v = Az1 - Az2 = - ( 1 + b?1 )( 1 + b?2 )近似服從均值為 0，方差為：442 ?v ?vv2 = (?) (?) Cov(?i,?j)j=1 i=1 i j的正態(tài)分布，其中 i ： i = 1,2,3,4 = a1,a2,b1,b2,為ROC曲線的四個(gè)參數(shù)當(dāng)兩個(gè)比較的診斷實(shí)驗(yàn)相互獨(dú)立時(shí)，對(duì)應(yīng)的所有交叉曲線協(xié)方差項(xiàng)等于 0.

22、Metz 等的研究表明，當(dāng)正常組和異常組的樣本量都超過(guò) 50 時(shí)，以上檢驗(yàn)的結(jié)果都是 可靠的。2.6.3非參數(shù)擬合 ROC曲線時(shí)，曲線下面積的比較利用 Hanley 和 McNeil 非參數(shù)法擬合 ROC曲線時(shí)，比較兩個(gè) ROC曲線下面積 間是否有顯著差異時(shí)，可用檢驗(yàn)統(tǒng)計(jì)量|Az1 - Az2 |z= SE12 + SE22 - 2rSE1SE2z 是標(biāo)準(zhǔn)正態(tài)的離差值， SE1和 SE2 是兩個(gè)實(shí)驗(yàn)的標(biāo)準(zhǔn)誤，分別有上文計(jì)算公式得 到。r 是兩個(gè) ROC曲線下面積間的相關(guān)系數(shù)，計(jì)算正常組的兩診斷實(shí)驗(yàn)間的相關(guān) 系數(shù)和異常組的兩診斷實(shí)驗(yàn)間的相關(guān)系數(shù)， 得到兩診斷實(shí)驗(yàn)的平均相關(guān)系數(shù)， 以 及平均面積，查表可得 r 值。2.7 ROC 曲線的統(tǒng)計(jì)軟件實(shí)