1、非參數統計方法簡介2011.3.171提 綱統計的穩健性參數統計 vs 非參數統計單總體位置參數的檢驗 1）中位數的符號檢驗 2）符號秩和檢驗分布的一致性檢驗: 2檢驗兩總體的比較與檢驗多總體的比較與檢驗2統計之都論壇的一個帖子標題：心理統計求教，方差分析還是T檢驗呢？內容： 問題是這樣的：對我校4個年級的大學生適應心理進行分析，每個年級得出50組數據，現在要比較不同年級之間適應性的差異性，到底要用什么檢驗，用spss這樣操作呢？小妹在此求教求真理，謝謝各位大哥了！ 回答一： 一般與人的行為相關的數據都是偏態的分布，方差分析和t-test就不適用了吧 3統計的穩健性指統計的一種性質：當真實模型

2、與理論模型有不大的偏離時，統計方法仍能維持較為良好的性質，至少不致變得太壞。實際應用中總體的分布的假定的分布常略有偏離；大量的觀測數據中常存在部分異常數據。（1）對總體分布的穩健性 若性能與總體的正態性有較強的依賴關系者，如F檢驗，其穩健性較差；而與總體均值相關的統計方法，如t檢驗之類，其穩健性相對較好。（2）對異常數據的穩健性 典型例子：樣本均值估計總體均值，受異常數據影響較大，相對中位數與截斷均值更不穩健。 獲得對異常數據穩健性的途徑：a) 設計有效的方法發現并剔除異常值；b) 設計對個別異常數據不敏感的統計方法4參數統計 vs 非參數統計參數統計 假設總體分布函數已知（大多數基于正態假設

3、）或只帶有一些未知參數非參數統計 如果在一個統計問題中，如果其總體分布不能用有限個實數來刻畫，只能對它做一些分布連續、有密度、具有某些矩等一般性的假定，則稱為非參數統計問題。5非參數方法的特點方法的適用面廣而效率可能較低大樣本理論占重要位置 所謂大樣本統計方法是指根據統計量的極限性質而得出的統計方法 大樣本理論依賴于概率論的極限理論從數據本身獲取信息具有良好的穩健性6基本概念秩(Rank): 把樣本X1,X2,Xn按大小排列為X(1) = X(2) = X(n), 若Xi=X (Ri) ,則稱Ri為Xi的秩， 全部n個秩構成秩統計量。秩統計量是非參數統計的一個主要工具。 Statistical

4、 Methods Based on RankE.L. Lehmann Order Statistics H.A. David中位數(Median) 均值(Mean)優點：（1）有時比數學期望更有代表性； （2）受少數異常值的影響很小 （3）理論上總是存在性質：設X有概率密度函數f(x), 另h(a)=E|X-a|, 當a為X的中位數m時，h(a)達到最小值。缺點：（1）X1+X2的中位數與X1,X2的中位數缺乏簡單聯系，數學上處理復雜且不方便 （2）中位數可能不唯一，對于離散型，定義可能不理想 （3）實際計算的復雜度遠大于均值計算的復雜度7樣本數據分析的一般步驟數據探查 R: plot, hi

5、st, boxplot分布的檢驗 使用QQ圖 R：qqnorm, qqline Shapiro-Wilk Normality test（正態分布檢驗）(適合小樣本 N 0, i=1,2,3,n 將其轉化為二項分布檢驗： S+ binom(n, )R實現：無直接函數，自己借用binom.test(s, n, p=0.5, )9符號秩和檢驗符號檢驗不足：不考察值的大小，不能檢驗出偏度非常大的分布（實例中的值明顯偏大于6064，卻沒有檢驗出來）。符號秩和檢驗（又稱Wilcoxon符號秩檢驗）基本思想：考察 |xi-M0| 的秩，假定總體是連續的，且對其中位數是對稱的，則 W+ = Ri(+) 服從中

6、點為n(n+1)/4的對稱分布。符號秩和檢驗一般比符號檢驗更有效(強勢）R： wilcox.test()可用來進行符號秩和檢驗 wilcox.test(x, y = NULL, alternative = c(two.sided, less, greater), mu = 0, paired = FALSE, exact = NULL, correct = TRUE, = FALSE, conf.level = 0.95, .) 10 分布的一致性檢驗：2檢驗用來檢驗數據分布是否與假設分布是否一致(擬合優度檢驗）H0: X具有分布F H1: X不具有分布F理論（Pearson

7、定理）：若F(x)完全已知，則 K = m(ni- npi)2 / npi 2(m-1) 其中n= ni, pi是第i個區間的理論概率, m為區間數。 （區間的選擇：不宜太大，也不宜太小，每個區間一般至少要有5個數據，總區間數可選5-10個）R: chisq.test chisq.test(x, y = NULL, correct = TRUE, p = rep(1/length(x), length(x), rescale.p = FALSE, simulate.p.value = FALSE, B = 2000) 11 r x c 列聯表一般,若總體中的個體可按兩個屬性A與B分類，A有r個

8、等級A1,A2,Ar；B有個等級B1,B2,Bc,從總體中抽取大小為n的樣本設其中有nij個屬于等級Ai和Bj，nij稱為頻數，將r個nij(i=1,2,r; j=1,2,)排列為一個r行列的二維列聯表（表2），簡稱r 表。12 兩總體獨立性的2檢驗統計量 的漸近分布是自由度為 (r1)(1) 的2分布，式中Eijninj/n稱為期望頻數。 假設： H0（零假設）: 對任意的i, j, 事件“一個觀測值在行i”與事件”同樣的觀測在列j”是獨立性。 H1（備擇假設）: 行與列不獨立R: wilcox.test13Fisher精確檢驗2檢驗只允許20%以下的個子的期望頻數小于5，如果不滿足此條件，

9、則應該使用Fisher精確檢驗基本思想：固定各邊緣和的條件下，根據超幾何分布，可以計算觀測頻數出現任一種特定排列的條件概率。把實際出現的觀測頻數排列以及比它呈現更多關聯跡象的所有可能排列的條件概率算出來并相加，若所得結果小于給定的顯著水平，則判定所考慮的兩個屬性存在關聯，從而拒絕H0。fisher.test(x, y = NULL, workspace = 200000, hybrid = FALSE, control = list(), or = 1, alternative = two.sided, = TRUE, conf.level = 0.95, simulate.

10、p.value = FALSE, B = 2000) 14兩樣本Wilcoxon秩和檢驗在正態總體的假定下，兩樣本的均值檢驗通常使用t檢驗，但t檢驗并不穩健基本思想：將樣本X1,X2,Xm和Y1,Y2,Yn混合起來，并把N=(m+n)個觀測值從小到大排列起來每一個觀察在混合排列中都有自己的秩。計算X與Y樣本的秩和Wx與Wy.假設檢驗(檢驗兩樣本中值是否相等）：H0: Mx=My H1: Mx My R: wilcox.test15兩樣本尺度參數的Mood檢驗兩獨立樣本方差之比的F檢驗對于總體非正態或數據有嚴重污染時不一定適用。設兩連續總體X與Y獨立，樣本X1, X2, ,XmF(x-1/1)

11、Y1, Y2, , YmF(x-2/2) , 而且F(0)=1/2, 1 = 2 (若不相等，可以通過平移來使它們相等）假設檢驗： H0: 1 = 2 H1: 1 2 構造統計量：記R11, R12, , R1m為X的觀察值在混合樣本中的秩， M = m(R1i-(N+1)/2)2R: mood.test(x, y, alternative = c(two.sided, less, greater), .) 注意：做檢驗時必須保證兩樣本中值相等！16兩樣本尺度參數的Ansari-Bradley檢驗檢驗兩樣本方差是否相等（相當于F檢驗）R: ansari.test(x, y, alternative = c(two.sided, less, greater), exact = NULL