27.秩和檢驗（一）參數檢驗與非參數檢驗通常情況下，對數據進行分析時，總是假定誤差項服從正態分布，因為正態分布的原始出發點就是來自于誤差分布，至于當樣本相當大時，數據的正態近似，這是由于大樣本理論所保證的。但有些資料不一定滿足上述要求，或不能測量具體數值，其觀察結果往往只有程度上的區別，如顏色的深淺、反應的強弱等，此時就不適用參數檢驗的方法，而只能用非參數統計方法來處理。這種方法對數據來自的總體不作任何假設或僅作極少的假設，因此在實用中頗有價值，適用面很廣。一、統計方法分為參數統計和非參數統計參數統計——已知總體分布類型，對未知參數進行統計推斷，依賴于特定分布類型，比較的是參數；非參數統計——不以特定的總體分布為前提，不對總體參數推斷；比較分布或分布位置；適用圍廣，可用于任何類型資料（等級資料）。二、參數檢驗與非參數檢驗的特點、優缺點、應用對比（二）符號檢驗和Wilcoxon符號秩檢驗一、單樣本的符號檢驗符號檢驗，最簡單的非參數檢驗方法，是根據正、負號的個數來假設檢驗。符號檢驗可用于：（1）樣本中位數和總體中位數的比較；（2）數據的升降趨勢的檢驗；（3）特別適用于總體分布不服從正態分布或分布不明的配對資料；（4）定性表示的當配對資料（如試驗前后比較結果為顏色從深變淺、程度從強變弱，成績從一般變優秀）。對于配對資料，符號檢驗的基本步驟為：首先定義成對數據指定正號或負號的規則，然后計數：正號的個數S+及負號的個數S-.注意：不能標記正負號的觀察值要從資料中剔除；1.當小樣本（n≤20）時，用二項分布（1）檢驗配對資料試驗前后有無變化原假設H0：配對資料試驗前后無變化（S+和S-可能性相等），正號/負號出現的概率均為p=0.5,故S+和S-均服從二項分布B(n,0.5).（2）檢驗試驗后正號有無增加原假設H0：正號出現的概率p≤0.5.若p>0.5則拒絕H0，表明正號有增加；（3）檢驗試驗后正號有無減少原假設H0：正號出現的概率p≥0.5.若p<0.5則拒絕H0，表明正號有減少。2.大樣本（n>20）時，用二項分布的正態近似用S表示正號或負號的個數，則S～B(n,p),期望均值為np，方差為np(1-p)，當n較大時，可以近似地認為符號檢驗時p=0.5代入上式即可.當S>n/2時，應該修正S為S-0.5；當S>n/2時，應該修正S為S+0.5.目的是為了能將連續分布應用到近似的離散型分布。二、配對資料的Wilcoxon符號秩檢驗若兩組配對資料近似服從正態分布，則它們差值的檢驗可以使用配對t檢驗法；若配對資料的正態分布的假設不成立，可以使用Wilcoxon符號秩檢驗（非參數檢驗）。Wilcoxon符號秩檢驗是對配對資料的差值采用符號秩方法來檢驗。基本要差值數據設置為最小的序列等級和兩組配對資料是相關的（配成對）。在兩組配對資料的差異有具體數值的情況下，符號檢驗只利用大于0和小于0的信息，即正號和負號的信息，而對差異大小所包含的信息卻未加利用，但Wilcoxon符號秩檢驗方法既考慮了正、負號，又利用了差值大小，故效率較符號檢驗法高。基本步驟：1.假設檢驗（比較兩個總體均值（中位數）是否有顯著差異）H0：兩個總體的均值（中位數）相同；H1：兩個總體的均值（中位數）不相同；先求出每對數據的差值D，按其絕對值由小到大排列（去掉差值為0的數據，相同值用平均秩），并將其“排列順序號”編為秩R.然后將R分成正和負差值的兩個部分秩值R+和R-，最后求符號秩和T+=∑R+,T-=∑R-（注意：T++T-=n(n+1)/2）；符號秩的平均值為n(n+1)/4.再構造Wilcoxon符號秩統計量為若H0為真，T+與T-應該有相同的值=n(n+1)/4，因此太大的S值或太小的S值都是拒絕H0的依據。在實際中為了便于計算，常取W=min(T+,T+)作為統計量，W服從Wilcoxon符號秩分布。查表在顯著水平α下，關于n的雙側檢驗的臨界值Wb，則得W值的拒絕區域為[0,Wb]，接受域為[Wb,n(n+1)/4]，若W統計量<Wb，則拒絕H0.2.方差分析對于n>20樣本，當原H0為真時，統計量T=T+-T-接近于0，其方差為建立檢驗統計量近似于標準正態分布。由于T=T+-T-=2T+-n(n+1)/2，故可將上式中的T改寫為T+的形式：標準正態分布使用顯著水平α=0.05時，拒絕區域為z<－1.96和z>1.96，因為2.24>1.96，計算出z統計量的值，判斷拒絕H0與否。三、SAS實現（PROCUNIVARIATE過程步）例1檢驗提高學生某種素質的訓練是否有效。隨機地選取15名學生作為試驗樣本，在訓練開始前做了一次測驗，每個學生的素質按優、良、中、及、差打分，經過三個月訓練后，再做一次測試對每個學生打分（素質提高用+表示，降低用－表示，無變化用0表示）。表1訓練前后的素質比較學生編號訓練之前訓練之后差異符號1中優＋2及格良＋3良中－4差中＋5良良06中優＋7差及格＋8良優＋9中差－10差中＋11中優＋12及格良＋13中及格－14中優＋15差中＋為了處理，先對定性資料進行量化：用1,2,3,4,5，分布表示差、及格、中、良、優。代碼：datatraining;inputbeforeafter;d=after-before;datalines;352443134435124531133524323513;run;procprintdata=training;title'原始數據';run;procunivariatedata=training;vard;run;運行結果及說明：注意：只能調用univariate過程，而不能調用means過程來進行符號檢驗。分析變量為單樣本數據集training中的d變量。符號檢驗統計量M(Sign)=4，它是取正符號和負符號兩者之間的小者作為檢驗統計量（？）Pr>=|M|計算的概率是二項分布的兩尾概率之和，因此它是雙側檢驗，檢驗正符號和負符號是否相同，結果為0.0574。在顯著水平設定為0.1時，由于0.0574<α=0.1，拒絕原假設。符號檢驗的缺點是丟失了差值d大小的信息，如果設定檢驗的顯著水平為0.05，那么本例檢驗結果卻由于0.0574>0.05，則變為不能拒絕原假設。但是，如果用考慮差值d大小的信息的Wilcoxon符號秩檢驗，即SgnRank，由于0.0154<0.05，仍然得到拒絕原假設的檢驗結果。例2某制造商想要比較兩種不同的生產方法所花費的生產時間是否有差異。隨機選取了11個工人，每一個工人都分別隨機地使用兩種不同的生產方法來完成一項相同的任務。任務完成時間的正差值表示生產方法1需要更多的時間，負差值表示生產方法2需要更多的時間。表2兩種不同生產方法完成任務的時間（分鐘）工人編號n生產方法M差值D絕對差值秩次R符號秩次RM1M2D=M1-M2|D|-+110.29.50.70.78829.69.8-0.20.22239.28.80.40.43.53.5410.610.10.50.55.55.559.910.3-0.40.43.53.5610.29.30.90.91010710.610.50.10.111810.010.000———911.210.60.60.6771010.710.20.50.55.55.51110.69.80.80.899符號秩次總和T-=5.5，T+=49.55.549.5代碼：datatime;inputm1m2;d=m1-m2;datalines;10.29.59.69.89.28.810.610.19.910.310.29.310.610.510.010.011.210.610.710.210.69.8;run;procprintdata=time;title'原始數據';run;procunivariatedata=timenormal;vard;run;運行結果及說明：“normal”選項，對差值作正態性檢驗。差值D的正態性檢驗的結果為0.5339>0.05配對資料如果其差值不是具體數字，只能用符號檢驗。但如果差值有具體數字，而使用符號檢驗，相當于只利用了它的“+”、“-”，而對數字大小中所包含信息卻未加利用。此時，若符合正態分布則使用配對資料的t檢驗；若不符合正態分布則用Wilcoxon符號秩檢驗。差值D的正態性檢驗的結果為0.5338>0.05，因此不能拒絕差值D具有正態性。因為制造商拒絕相信差值D具有正態性，所以采用Wilcoxon符號秩檢驗。Wilcoxon符號秩統計量S=22。SAS建議在n≤20時，Pr>=|S|的概率由S的精確分布計算，而S的分布是尺度二項分布的卷積，所以精確結果為p值=0.0234<α=0.05，拒絕原假設H0，即兩種不同的生產方法所花費的生產時間是有差異。若>20時，將符號秩統計量S標準化成自由度為－1的t統計量來計算顯著水平（注意跟前文的轉換成標準正態分布略有不同），原因是當較大時，t分布漸近標準正態分布。另外，SAS系統在計算秩統計量S的方差時，用結值來修正方差。p值=0.0194<α=0.05,也是拒絕原假設H0.（三）Wilcoxon秩和檢驗一、兩樣本的Wilcoxon秩和檢驗Wilcoxon秩和檢驗，用來決定兩個獨立樣本是否來自相同的或相等的總體。如果這兩個獨立樣本來自正態分布和具有方差齊性（相同方差），則可以采用t檢驗比較均值。但當這兩個條件都不能確定時，常用Wilcoxon秩和檢驗。Wilcoxon秩和檢驗是基于樣本數據秩和。先將兩樣本看成是單一樣本（混合樣本）然后由小到大排列觀察值統一編秩。若“原假設H0：兩個獨立樣本來自相同的總體”為真，則小的、中等的、大的秩值大約均勻分布在兩個樣本中。若“備擇假設H1：兩個獨立樣本來自不相同的總體”為真，則其中一個樣本有更多的小秩值，這樣就會得到一個較小的秩和；另一個樣本將會有更多的大秩值，會得到一個較大的秩和。設兩個獨立樣本為：第一個x樣本容量為n1，第二個y樣本容量為n2，在容量為n=n1+n2的混合樣本中，x樣本的秩和為Wx，y樣本的秩和為Wy，且有定義以x樣本為例，若它們在混合樣本中享有最小的n1個秩，則Wx取到最小值n1(n1+1)/2；同樣Wy可能取的最小值為n2(n2+1)/2。那么，Wx的最大取值等于混合樣本的總秩和減去Wy的最小值，即同樣，Wy也同理。所以W1和W2均為取值在0與之間的變量。當原假設H0為真，所有的xi和yi相當于從同一總體中抽得的獨立隨機樣本，可看成一排n個球隨機地指定n1個為x球另n2個為y球，共有種可能（且是等可能的）。基于這樣分析，在原假設H0為真的條件下可求出W1和W2的概率分布為為樣本大小為n1和n2的Mann-Whitney-Wilcoxon分布。一個具有實際價值的方法是，對于每個樣本中的觀察數≥8的大樣本來說，我們可以采用標準正態分布Z來近似檢驗。由于W1的中心點為n1n2/2，故Wx中心點μ為Wx的方差σ2為若樣本中存在結值，需要對方差做修正：其中，τj為第j個結值的個數（結值的存在將使方差變小）。標準化后Wx為其中分子±0.5是為了對離散變量進行連續性修正，對于Wx-μ>0減0.5修正，對于Wx-μ<0加0.5修正。二、PROCNPAR1WAY過程步（單因子非參數方差分析）NPAR1WAY過程，是分析變量的秩，并計算幾個基于經驗分布的函數和通過一個單因子分類變量的響應變量確定的秩得分的統計量。秩的得分計算有：Wilcoxon得分、中位數得分、Savage得分和VanderWaerden得分等。然后再由秩得分計算簡單的線性秩統計量，由這個秩統計量可以檢驗一個變量的分布在不同組中是否具有相同的位置參數，或者在EDF檢驗下，檢驗這個變量分布在不同組中是否分布相同。秩得分的統計量也可以先用procrank過程計算秩得分，然后用procanova過程分析這些秩得分而得到。秩得分計算，用線性秩統計量：其中Ri為第i個觀察的秩，a(Ri)為秩得分，Ci是一個指示向量（由0和1組成），它表示了第i個觀察所屬的類，n是觀察的總數。下面介紹NPAR1WAY過程的四種不同的a(Ri)秩得分的計算：（1）Wilcoxon得分a(Ri)=Ri它對Logistic分布的位置移動是局部最優的。在計算兩樣本情況下的Wilcoxon秩和統計量時，過程對零假設下的漸近標準正態分布的Z統計量進行一個連續的±0.5校正。（2）Median得分又稱為中位數得分。當觀察的秩大于中位點時，中位數得分為1，否則為0.對于雙指數分布，中位數得分是局部最優。（3）VanderWaerden得分簡稱為VW的得分，是對正態分布的次序統計量的期望值的近似：a(Ri)=F-1(Ri/(n+1))其中F-1(x)是標準正態的累積分布函數的反函數，這個得分對正態分布是最優的。（4）Savage得分是指數分布的次序統計量的期望值，減去1使得得分以0為中心：它在指數分布中比較尺度的不同性或在極值分布中的位置移動上是最優的。基本語法：PROCNPAR1WAYdata=數據集<可選項>;BY變量;CLASS變量;EXACT統計量選項;FREQ變量;OUTPUT<OUT=數據集名><統計量選項>;VAR變量列表;說明：（1）可選項：ANOVA——方差分析CONOVER——協方差分析D——運用Kolmogorov-Smirnov(D)統計量評分進行分析KLOTZ——運用Klotz評分進行分析MEDIAN——運用中位數評分進行分析MOOD——運用Mood評分進行分析SAVAGE——運用Savage評分進行分析（指數分布）SCORES=DATA——以原始數據為評分值進行分析ST——運用Siegel-Tukey評分進行分析VW/NORMAL——運用VanderWaerden評分進行分析（通過應用反正態分布累積函數得到近似的正態得分）WILCOXON——Kruskal-Wallis秩和檢驗EDF——計算基于經驗分布函數的統計量（2）EXACT語句，對指定的統計量（選項）進行精確概率的計算。例3某航空公司的CEO注意到飛離亞特蘭大的飛機放棄預定座位的旅客人數在增加，他想知道，是否從亞特蘭大起飛的飛機比從芝加哥起飛的飛機有更多的放棄預定座位的旅客。獲得一個從亞特蘭大起飛的9次航班和從芝加哥起飛的8次航班上放棄預定座位的旅客人數樣本。表3放棄預定座位的旅客人數及統一秩值航班次數亞特蘭大（組）芝加哥（組）放棄人數統一編秩放棄人數統一編秩1115.513721591483103.5103.541812815115.51610620139272416171182215211492517秩和96.556.5代碼：datanoshows;dogroup=1to2;inputn;doi=1ton;inputx;output;end;end;dropin;datalines;9111510181120242225813141081691721;run;procprintdata=noshows;title'原始數據';run;procnpar1waydata=noshowswilcoxon;classgroup;varx;run;運行結果及說明：選項wilcoxon要求進行wilcoxon秩和檢驗。要注意，若兩組樣本是配對樣本，應該使用配對t檢驗或wilcoxon符號檢驗，因為使用wilcoxon秩和方法，將損失配對信息。組1和組2的秩和分別為96.50和56.50。原假設H0為真時（組1和組2的總體分布相同），期望秩值分別為（96.50+56.50）×9/（9+8）=81.0（96.50+56.50）×8/（9+8）=72.0標準差為10.3795614，每組平均得分分別為96.50/9=10.722222256.50/8=7.0625000Wilcoxon兩樣本秩和統計量（較小的秩和）S=56.5000，正態近似檢驗統計量Z=-1.44515（連續性修正因子為0.5，加在分子上），正態分布的雙尾p值之和為0.1484>α=0.05，不能拒絕原假設H0.同時還給出了近似t檢驗和卡方檢驗的結果：近似t檢驗的p值=0.1677，近似卡方檢驗統計量為2.2300，自由度為1，p值=0.1354。結果都是相同的，不能拒絕原假設H0.（四）完全隨機設計的Kruskal-Wallis秩和檢驗一、概述方差分析，可以檢驗三個或更多總體的均值是否相等的問題，數據是被假設成具有正態分布和方差齊性（相等的方差），此時F檢驗才能奏效。但有時數據不能完全滿足這些條件，不妨將數據轉換成秩統計量（秩統計量的分布與總體分布無關），可以擺脫總體分布的束縛。在比較兩個以上的總體時，廣泛使用非參數的Kruskal-Wallis秩和檢驗，它是對兩個以上的秩樣本進行比較，本質上它是兩樣本時的Wilcoxon秩和檢驗方法在多于兩個樣本時的推廣。Kruskal-Wallis秩和檢驗，首先要求從總體中抽取的樣本必須是對立的，然后將所有樣本的值混合在一起看成是單一樣本，再把這個單一的混合樣本中值從小到大排序，序列值替換成秩值，最小的值給予秩值1，多個相同值時用平分秩值。將數據樣本轉換成秩樣本后，再對這個秩樣本進行方差分析，但此時構造的統計量KW不是組間平均平方和除以組平均平方和，而是組間平方和除以全體樣本秩方差。這個KW統計量是我們判定各組之間是否存在差異的有力依據。二、基本原理設有k組樣本，ni是第i組樣本中的觀察數，n是所有樣本中的觀察總數，Ri·是第i組樣本中的秩和，Rij是第i組樣本中的第j個觀察值的秩值。需要檢驗的原假設H0為各組之間不存在差異，或者說各組的樣本來自的總體具有相同的中心或均值或中位數。在H0為真時，各組樣本的秩平均應該與全體樣本的秩平均比較接近：所以組間平方和為恰好是刻劃該接近程度的一個統計量，除以全體樣本秩方差消除量綱的影響。樣本方差的自由度為n-1，所以全體樣本的秩方差為：因此，Kruskal-Wallis秩和統計量KW為：若樣本中存在多個相同值（結值）則需要調整KW公式，校正系數C為：其中，其中τj為第j個結值的個數。調整后的KWc統計量為：KWc=KW/C如果每組樣本中的觀察數目至少有5個，那么樣本統計量KWc非常接近自由度為k-1的卡方分布。因此，我們將用卡方分布來決定KWc統計量的檢驗。三、SAS實現（PROCNPAR1WAY過程步）例4某制造商從來自3個大學的雇員中隨機地抽取了3個獨立樣本，想知道來自這3個不同大學的雇員在管理崗位上的表現是否有所不同。表4來自三個不同大學雇員得分及統一秩值雇員大學A統一編秩大學B統一編秩大學C統一編秩12536095072701220270123609304609485171518015.5595204069018.569018.5355701278015.57514秩和組A秩和95組B秩和27組C秩和88代碼：datacolleges;dogroup=1to3;inputn;doi=1ton;inputx;output;end;end;datalines;7257060859590806602030154035750706080907075;run;procnpar1waydata=collegeswilcoxon;classgroup;varx;run;運行結果：組1、組2和組3的秩和分別為95.0、27.0和88.0;原假設H0（組1、組2、組3的總體分布相同）為真時，期望秩值分別為（95+27+88）×7/（7+6+7）=73.50（95+27+88）×6/（7+6+7）=63.00（95+27+88）×7/（7+6+7）=73.50各組的標準差分別為12.5718985、12.0786894、12.5718985。每組平均得分分別為95/7=13.5714286、27/6=4.50、88/7=12.5714286。原假設H0：各組的總體均值相等。按修正公式修正后的多樣本的Kruskal-Wallis秩和檢驗統計量為8.9839，用自由度為DF=3-1=2的卡方分布近似，得到大于近似卡方檢驗統計量8.9839的概率為p=0.0112<α=0.05，拒絕H0,表明各組的總體分布的差異是有統計學意義的。根據平均秩和的結果，組1的最高，組2的最低，因此