第二章非參數統計分析(研究)20081201課件_第1頁
第二章非參數統計分析(研究)20081201課件_第2頁
第二章非參數統計分析(研究)20081201課件_第3頁
第二章非參數統計分析(研究)20081201課件_第4頁
第二章非參數統計分析(研究)20081201課件_第5頁
已閱讀5頁,還剩183頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

第二章

單樣本非參數檢驗第二章

單樣本非參數檢驗12.1符號檢驗和分位數推斷2.2Cox-Stuart趨勢檢驗2.3游程檢驗2.4Wilcoxon符號秩檢驗2.5正態記分檢驗2.6相對效率比較2.1符號檢驗和分位數推斷22.1符號檢驗2.1符號檢驗3符號檢驗的統計量為符號檢驗。設隨機變量X1,…,Xn是從某個總體X中抽出的簡單隨機樣本。且分布函數F(X)在X=0是連續的。假設檢驗問題檢驗的統計量可以取符號檢驗的統計量為符號檢驗。設隨機變量X1,…,4在原假設為真的條件下,有服從參數為n和0.5的二項分布b(n,0.5)。由于原假設為真時,B應該不太大,也不太小,如果B太大或太小,應該拒絕原假設。對于顯著性,求c1和c2,有拒絕區域為:在原假設為真的條件下,有服從參數為n和0.55

精確的符號檢驗是指檢驗的p值是由精確的概率給出的。我們利用正號和負號的數目,來檢驗某假設,這是一種最簡單的非參數方法。

【例】聯合國人員在世界上66個大城市的生活花費指數(以紐約市1996年12月為100)按自小至大的次序排列如下(這里北京的指數為99)。2.1.1.精確中位數的符號檢驗精確的符號檢驗是指檢驗的p值是由精確的概率給出的。我6

667578808181828383838384858586868686878788888888888989898990909191919192939396969697

99100101102103103104104104105106109109110110110111113115116117118155192

這個總體的中間水平是多少?北京使在該水平之上還是之下?(北京為99)第二章非參數統計分析(研究)20081201課件7通常在正態總體分布的假設下,關于總體均值的假設檢驗和區間估計是用與t檢驗有關的方法進行的。然而,在本例中,總體分布是未知的。為此,首先看該數據的直方圖從圖中很難說這是什么分布。

假定用總體中位數來表示中間位置,這意味著樣本點,取大于M的的概率應該與取小于M的概率相等。所研究的問題,可以看作是只有兩種可能“成功”或“失敗”。通常在正態總體分布的假設下,關于總體均值的假設8符號檢驗的思路,記成功:X-0大于零,即大于中位數M,記為“+”;失敗:X-0小于零,即小于中位數M,記為“-”。令S+=得正符號的數目

S-=得負符號得數目可以知道S+或S—均服從二項分布B(65,0.5)。則可以用來作檢驗的統計量。其假設為:符號檢驗的思路,記9關于非參數檢驗統計量需要說明的問題在非參數檢驗中,可以得到兩個相互等價的統計量,比如在符號檢驗中,得負號與得正好的個數,就是一對等價的統計量,因為S++S-=N。那么我們在檢驗時應該用那個呢?關于非參數檢驗統計量需要說明的問題在非參10對于左側檢驗,當零假設為真的下,S+

應該不大不小。當過小,即只有少數的觀測值大于假定值,則可能假定值太大,目前總體真實中位數可能要小一些。如果,則拒絕原假設。所以我們選擇統計量對于左側檢驗,當零假設為真的下,S+應該不大不小。11對于右側檢驗,當零假設為真的下,S+應該不大不小。當過大,即有多數的觀測值大于假定值,則可能假定值太小,目前總體的真實中位數可能要大一些。如果,則拒絕原假設。我們選擇統計量對于右側檢驗,當零假設為真的下,S+應該不大12對于雙側檢驗,當零假設為真的下,S+應該不大不小。當其中之一很小,即有觀測值大于或小于假定值,假定值或太小或太大。如果,則拒絕原假設。我們選擇統計量對于雙側檢驗,當零假設為真的下,S+應該不大13

檢驗統計量S+=23S+=23P-值

=0.01242=0.0248檢驗的結果拒絕零假設拒絕零假設結論中位數小于99中位數不等于99

檢驗統計量S+=23S+=23P-值142.1.2.大樣本的情形當樣本容量足夠大,我們可以利用二項分布的正態近似來對該問題進行檢驗。因為計數統計量在原假設為真時,服從b(n,0.5)。且其均值為0.5n,方差為0.25n。則檢驗的統計量為

當B<n/2,+0.5;當B>n/2,-0.5。這個加或減一個常數的原因是使得其估計出的p值更接近近似值。舉例如下。假設x服從b(20,0.7),用二項分布和其正態近似求x小于12的概率比較其結果。2.1.2.大樣本的情形當樣本容量足夠大,我們可15精確概率近似概率計算一:近似概率計算二:精確概率近似概率計算一:近似概率計算二:162.1.3置信區間

1.小樣本的置信區間中位數M的點估計是樣本的中位數,因而用順序統計量來構造中位數的置信區間是很自然的。對于固定的n,前面的符號檢驗表示,大于或小于中位數M的樣本點的個數服從二項分布b(n,0.5),置信度為1-的可以滿足2.1.3置信區間1.小樣本的置信區間17注意到,我們現在關鍵是確定Xi-1和Xj+1的位置。注意到,我們現在關鍵是確定Xi-1和Xj+1的位置。18根據上面的公式,可以知道區間作為中位數M的置信區間其置信度為只要n>7,則置信度大于99%,然而這并非是最好的,區間估計中有兩個需要考慮的問題:一個是精度,另一個是置信度。這個估計雖然置信度十分高,但是精度很低。根據上面的公式,可以知道區間作為中位數M19注意到,任取i和j,注意到,任取i和j,20下面選擇最優的區間,即置信度足夠大,區間足夠小。例表是16名學生的體能測試的成績82,53,70,73,103,71,69,80,54,38,87,91,62,75,65,77求其95%的置信區間。將這16個數按順序排列,得到16個順序統計量,兩兩搭配可以有120個區間,留下大于0.95的區間如下:下面選擇最優的區間,即置信度足夠大,區間足夠21下限序號上限序號區間區間長置信度11138,77390.96157836911238,80420.98934936511338,82440.99789428711438,87490.99972534211538,90520.99996948211638,103650.99998474121153,77240.96133422921253,80270.98910522521353,82290.99765014621453,87340.99948120121553,90370.99972534221653,103500.999740601下限上限區間區間長置信度11138,77390.96157822下限序號上限序號區間區間長置信度31154,77230.95950317431254,80260.9872741731354,82280.99581909231454,87230.99765014631554,90360.99789428731654,103490.99790954641162,77150.95095825241262,80180.97872924841362,82200.9872741741462,87250.98910522541562,90280.98934936541662,103410.98936462451265,80150.95095825251365,82170.95950317451465,87220.96133422951565,90250.96157836951665,103380.961593628下限上限區間區間長置信度31154,77230.95950323精確度較優的區間為

[62,77]0.950958252[65,80]0.950958252[65,82]0.959503174綜合起來看,[65,80](0.950958252)更合理。精確度較優的區間為[62,77]0.9509242.大樣本下的置信區間因為在樣本容量足夠大的場合。二項分布近似正態分布,則 置信區間為一個對稱區間,假設區間為

是第k個順序統計量。2.大樣本下的置信區間因為在樣本容量足夠25置信度為95%。置信度為95%。262.2Cox-Stuart趨勢檢驗

人們經常要看某項發展的趨勢.但是從圖表上很難看出是遞增,遞減,還是大致持平.例我國自1985年到1996年出口和進口的差額(balance)為(以億美元為單位)—149.0119.737.777.5—66.087.480.543.5122.254.0167.0122.2從這個數字,我們能否說這個差額總的趨勢是增長,還是減,還是都不明顯呢?下圖為該數據的點圖.從圖可以看出,總趨勢似乎是增長,但1993年有個低谷;這個低谷能否說明總趨勢并不是增長的呢?我們希望能進行檢驗.2.2Cox-Stuart趨勢檢驗

人們經27第二章非參數統計分析(研究)20081201課件28三種假設:

怎么進行這些檢驗呢?可以把每一個觀察值和相隔大約n/2的另一個觀察值配對比較;因此大約有n/2個對子.然后看增長的對子和減少的對子各有多少來判斷總的趨勢.具體做法為取和。這里三種假設:怎么進行這些檢驗呢?可以把每一個觀察29在這個例子中n=12,因而c=6。這6個對子為(x1,x7),(x2,x8),(x3,x9),(x4,x10),(x5,xl1),(x6,x12)在這個例子中n=12,因而c=6。這6個對子為30用每一對的兩元素差Di=xi-xi+c的符號來衡量增減。令S+為正Di=xi-xi+c的數目,而令S-為負的Di=xi-xi+c的數。顯然當正號太多時,即S+很大時(或S-很小時),有下降趨勢,反之,則有增長趨勢.在沒有趨勢的零假設下它們應服從二項分布b(6,0.5),這里n為對子的數目(不包含差為0的對子).該檢驗在某種意義上是符號檢驗的一個特例.用每一對的兩元素差Di=xi-xi+c的31類似于符號檢驗,對于上面1,2,3三種檢驗,分別取檢驗統計量K=S+,K=S-和K=min(S+,S-).在本例中,這6個數據對的符號為5負1正,所以我們不能拒絕原假設。假設統計量

P值K=min(S+,S-)P(K<k)K=min(S+,S-)P(K<k)K=min(S+,S-)2P(K<k)類似于符號檢驗,對于上面1,2,3三種檢驗,分別取32游程檢驗是樣本的隨機性檢驗,其用途很廣。例如當我們要考察生產中出現次品出現是隨機的,還是成群的,一個時間序列是平穩的還是非平穩的,模型的隨機干擾項是否是白噪聲等都可以通過游程檢驗來確定。2.3游程檢驗游程檢驗是樣本的隨機性檢驗,其用途很廣。例33從生產線上抽取產品檢驗,是否應采用頻繁抽取小樣本的方法。在一個剛剛建成的制造廠內,質檢員需要設計一種抽樣方法,以保證質量檢驗的可靠性。生產線上抽取的產品可以分成兩類,有瑕疵,無瑕疵。檢驗費用與受檢產品數量有關。一般情況下,有毛病的產品如果是成群出現的,則要頻繁抽取小樣本,進行檢驗。如果有毛病的產品是隨機產生的,則每天以間隔較長地抽取一個大樣本。現隨機抽了30件產品,按生產線抽取的順序排列:0000111111111111110001111111檢驗瑕疵的產品是隨機出現的嗎?

有瑕疵的產品是隨機出現有瑕疵的產品是成群出現從生產線上抽取產品檢驗,是否應采用頻繁抽取小樣34隨機抽取的一個樣本,其觀察值按某種順序排列,如果研究所關心的問題是:被有序排列的兩種類型符號是否隨機排列,則可以建立雙側備擇.假設組為H0:序列是隨機的

H1:序列不是隨機的(雙側檢驗)如果關心的是序列是否具有某種傾向,則應建立單側備擇,假設組為H0:序列是隨機的

H1:序列具有混合的傾向(右側檢驗)

H0:序列是隨機的H1:序列具有成群的傾向(左側檢驗)游程:連續出現的具有相同特征的樣本點為一個游程。隨機抽取的一個樣本,其觀察值按某種順序排列,如果35檢驗統計量。在H0為真的情況下,兩種類型符號出現的可能性相等,其在序列中是交互的。相對于一定的m和n,序列游程的總數應在一個范圍內。若游程的總數過少,表明某一游程的長度過長,意味著有較多的同一符號相連,序列存在成群的傾向;若游程總數過多,表明游程長度很短,意味著兩個符號頻繁交替,序列具有混合的傾向。選擇的檢驗統計量為

R=游程的總數目檢驗統計量。在H0為真的情況下,兩種類型符號出現的36游程R的分布為:可以做如下的考慮:游程R的分布為:可以做如下的考慮:37

先在m+n個抽屜里隨機選擇m個,抽出的抽屜里放入“1”,沒有的放入“0”,所有可能基本的基本事件數為:有種。

或先在m+n個抽屜里隨機選擇n個,抽出的抽屜里放入“0”,沒有的放入“1”,所有可能基本的基本事件數為:有種。先在m+n個抽屜里隨機選擇m個,抽出的抽屜里放入381、必定有k+1個由“1”構成的游程和k個由“0”構成的游程;2、或必定有k+1個由“0”構成的游程和k個由“1”構成的游程。如果游程數為奇數R=2K+1,這意味著:1、必定有k+1個由“1”構成的游程和k個由39第一種情形,這就必須在m-1個位置中插入K個“隔離元”,使有“1”有k+1個游程,可以有種,同樣可以在n-1個“0”的n-1個空位上插入K-1個“隔離元”,有種。共有有利基本事件數。第一種情形,這就必須在m-1個位置中插入K40同理,在第二種情形下,有。故:同理同理,在第二種情形下,有。41備擇假設P值序列具有混合的傾向右尾概率序列具有聚類的傾向左尾概率序列是非隨機的較小的左尾概率的兩倍備擇假設P值序列具有混合的傾向右尾概率序列具有聚類的傾向左尾42

n1是0的個數,n2是1的個數。

質量檢查人員對某車間生產的螺栓進行抽樣檢查,依次檢查了50個。以“0”代表不合格,“1”代表合格。檢查結果如下:1111110111011111111101011110111111111110111101110問不合格品的分布是否是隨機的?a=0.05。n1是0的個數,n2是1的個數。43

例如,在我國的工業和商業企業隨機抽出22家進行資產負債率行業間的差異比較。有如下資料:這兩個行業的負債水平是否相等。首先,設“1”為工業,“2”為商業,將兩個行業的數據排序,得行業編號得游程:1111121111222111222222工業647655825982707561647383商業7780806593918491848686例如,在我國的工業和商業44第二章非參數統計分析(研究)20081201課件45人工模擬的白噪聲序列的游程檢驗人工模擬的白噪聲序列的游程檢驗46人工模擬的隨機游走序列的游程檢驗人工模擬的隨機游走序列的游程檢驗47人工模擬的ar(1)序列的游程檢驗人工模擬的ar(1)序列的游程檢驗48上證指數xtLn(xt)Ln(xt-1)收益率919.446.82..899.616.806.82-.021803876.506.786.80-.026025898.176.806.78.024423896.416.806.80-.001961906.986.816.80.011723918.406.826.81.012513929.526.836.82.012035907.856.816.83-.023589916.726.826.81.009723915.016.826.82-.001867942.446.856.83.014245收益率是隨機序列上證指數xtLn(xt)Ln(xt-1)收益率919.44649第二章非參數統計分析(研究)20081201課件50第二章非參數統計分析(研究)20081201課件512.4單樣本的Wilcoxon符號秩檢驗2.4.1

Wilcoxon符號秩檢驗

前面幾種推斷的方法都只依賴于數據的符號,沒有考慮數據的大小,Wilcoxon符號秩檢驗是檢驗關于中位數對稱的總體的中位數是否等于某個特定值,檢驗的假設:2.4單樣本的Wilcoxon符號秩檢驗52檢驗的步驟:1.計算,它們代表這些樣本點到的距離;2.把上面的n個絕對值排序,并找出它們的n個秩;如果有相同的樣本點,每個點取平均秩(如1,4,4,5的秩為1,2.5,2.5,4);檢驗的步驟:1.計算534.雙邊檢驗,在零假設下,和應差不多.因而,當其中之一非常小時,應懷疑零假設;取檢驗統計量T=min(,);

關于非參數統計分析,對統計量選擇的說明:對于左側檢驗,統計量值很小時,拒絕原假設。如果左側檢驗的備擇假設被接受,W-大,而W+小,故取W+為統計量。對于右側檢驗,統計量的值很大時,拒絕原假設。如果右側檢驗的備擇假設被接受,W+大,而W-小,故取W-為統計量4.雙邊檢驗54第二章非參數統計分析(研究)20081201課件55第二章非參數統計分析(研究)20081201課件565.根據得到的T值,查Wilcoxon符號秩檢驗的分布表以得到在零假設下P值.如果n很大要用正態近似:得到一個與T有關的正態隨機變量Z的值,再查表得P值或直接用計算機得到P值。5.根據得到的T值,查Wilcoxon符57如生活花費指數例子,有n=65,W=679,如生活花費指數例子,有n=65,W=679,58Wilcoxon符號秩檢驗表假設檢驗的統計量P值

檢驗統計量Z=-2.5725Z=-2.5725P-值=0.0052=0.01檢驗的結果拒絕零假設拒絕零假設結論中位數小于99中位數不等于99Wilcoxon符號秩檢驗表假設檢驗的統計量P值

檢驗統計592.4.2Holdges-Lemmann估計量定義2.1假設X1,X2,…,Xn為簡單隨機樣本,計算任意兩個樣本點的平均數,從而得到一個樣本長度為n(n+1)/2的新的數據,這組數據稱為Walsh平均值,即2.4.2Holdges-Lemmann估計量60定理由定義2.1,Wilcoxon符號秩統計量W+可以表示為

即W+是Walsh平均值中符號為正的個數。如果中心是,則定義即W+()是檢驗的的統計量。定理由定義2.1,Wilcoxon符號秩61定義2.2假定假設X1,X2,…,Xn為F(X-)的簡單隨機樣本,如果F(X)為對稱,則定義Walsh中位數如下:

作為的Holdges-Lemmann估計量。

定義2.2假定假設X1,X2,…,X62為了了解垃圾郵件對大型公司決策層工作的影響程度,某個網站收集了19家大型公司的CEO影響每天收到的垃圾郵件件數,得到如下數據:310350370375385400415425440195325295250340295365375360385從平均的意義看,收到的垃圾郵件的數量的中間位置是否超過了320封。為了了解垃圾郵件對大型公司決策層工作的影響程度63dataa;inputx1-x19;cards;310350370375385400415425440195325295250340295365375360385;%macro

PGI;datab;seta;%doi=1%to19;%doj=&i%to19;walsh=(x&i+X&j)/2;ifwalshthenoutput;keepwalsh;%end;%end;%mend;%PGI;dataa;64proc

printdata=b;run;proc

sortdata=bout=b2;bywalsh;proc

printdata=b2;run;datab3;setb2;n+1;ifn=95thenoutput;ifn=96thenoutput;elsedelete;proc

printdata=b3;run;procprintdata=b;65

Obswalshn1355.0952357.596

66

打結的情況.在許多情況下,數據中有相同的數字,稱為結(tie).結中數字的秩為它們按升冪排列后位置的平均值.比如2.5,3.1,3.1,6.3,10.4這五個數的秩為1,2.5,2.5,4,5。也就是說,處于第二和第三位置的兩個3.1得到秩(2十3)/2=2.5.這樣的秩稱為中間秩。如果結多了,零分布的大樣本公式就不準了。因此,在公式中往往要作修正。打結的情況.在許多情況下,數據中有相67其中用τi表示第i個結的性同觀測值的個數。用g表示結的個數。觀測值2247778999910秩1.51.5355579.59.59.59.512結統計量τi2—3—4—其中用τi表示第i個結的性同觀測值的個數。用g表示682.5正態得分檢驗

(一)思想在各種各樣的秩檢驗中,檢驗的統計量為秩的函數,而秩本身在沒有結時是有限個自然數的排列,它的分布是均勻分布。人們自然會用其他分布的樣本。自然我們會想到正態分布。正態記分檢驗的基本思想就是把升冪排列的秩Ri用升冪排列的正態分位點來替代。我們在Wilcoxon符號檢驗的基礎上,建立線性符號秩統計量。2.5正態得分檢驗(一)思想69正態記分檢驗的基本思想就是:把升冪排列的秩用升冪排列的正態分位點來替代。首先將按升冪排列,記秩為正態記分檢驗的基本思想就是:把升冪排列的70例如Wilcoxon統計量為Wilcoxon記分函數1n-1n累積概率1/(n+1)(n-1)/(n+1)n/(n+1)正態記分函數例如正態記分檢驗統計量為例如Wilcoxon統計量為Wilcoxon1n-1n累積71正態積分檢驗的統計量為:正態積分檢驗的統計量為:72(二)檢驗

檢驗的假設為:(二)檢驗檢驗的假設為:73則檢驗的統計量為

則檢驗的統計量為74例、下面的數據是亞洲10個國家的新生兒死亡率(‰)33

363115964657788例、下面的數據是亞洲10個國家的新生兒死亡率(75

符號秩

平方33110.090909-1.33518-1.335181.78270136220.181818-0.90846-0.908460.82529531330.272727-0.60459-0.604590.365523151940.363636-0.34876-0.348760.12163192550.454545-0.11419-0.114190.01303862860.5454550.1141850.1141850.01303843070.6363640.3487560.3487560.121631653180.7272730.6045850.6045850.365523774390.8181820.9084580.9084580.8252958854100.9090911.3351781.3351781.782701合計6.21637633110.090909-1.33518-1.33576第二章非參數統計分析(研究)20081201課件77接受原假設。接受原假設。782.6單個總體功效函數的隨機模擬假定假設X1,X2,…,Xn為F(X-)的簡單隨機樣本,我們來討論符號檢驗,Wilcoxon符號秩檢驗和t檢驗三者的功效。我們需要檢驗前面我們已經學習了關于線性符號秩統計量,在一些條件成立下,線性符號秩統計量有計算功效的公式。2.6單個總體功效函數的隨機模擬假定假設792.6.1線性符號秩統計量一類線性符號秩統計量為假定這里是非降非負平方可積函數。2.6.1線性符號秩統計量一類線性符號秩統計量為80比如Wilcoxon線性符號秩統計量比如Wilcoxon線性符號秩統計量81符號檢驗的統計量符號檢驗的統計量82可以證明其中

F(x)是總體的分布函數,f是總體的密度函數。可以證明其中F(x)是總體的分布函數,f是總體的密度函數。83利用這個結論我們可以計算W+檢驗的功效利用這個結論我們可以計算W+檢驗的功效84第二章非參數統計分析(研究)20081201課件85第二章非參數統計分析(研究)20081201課件86類似類似872.6.2各種統計量漸近相對效率的比較2.6.2各種統計量漸近相對效率的比較88漸近相對效率的比較分布U(-1.1)N(0,1)Logisti重指數密度函數ARE(W,T)1(一樣)3/(T)3/2(W+)ARE(B,T)1/3(T)2/(T)2(B)小于1,分母的比分母比分子統計量好;大于1,分子比分母的統計量好。漸近相對效率的比較分布U(-1.1)N(0,1)Logist89例假定假設X1,X2,…,Xn來自一個污染的正態分布,該污染的正態分布的分布函數為例假定假設X1,X2,…,Xn來自90第二章非參數統計分析(研究)20081201課件91第二章非參數統計分析(研究)20081201課件92從上面的計算可知,在正態分布的假定下,t檢驗與Wilcoxon的符號秩檢驗的效率差別不大。但是如果總體是一個污染的正態分布,從=0.01開始,Wilcoxon的符號秩檢驗的效率就比t檢驗好。00.010.030.050.080.100.15ARE(W+,t)0.955(T)1.009(W+)1.108W/+1.196W+1.301W+1.373W+1.497W+從上面的計算可知,在正態分布的假定下,t93最后一節告訴我們非參數統計分析的重要性,當分布非正態時,大多數情況下,非參數估計更有效率。下面用eviews軟件做了模擬,討論不同總體分布,各種統計量的檢驗效率。

總體為均勻分布:T統計量好,B統計量差;

總體為正態分布:

T統計量比W+稍好,B統計量較差;

總體為LOGISTIC分布:三者接近,但是W+最好;總體為雙指數分布:

W+最好。最后一節告訴我們非參數統計分析的重要性,94第二章

單樣本非參數檢驗第二章

單樣本非參數檢驗952.1符號檢驗和分位數推斷2.2Cox-Stuart趨勢檢驗2.3游程檢驗2.4Wilcoxon符號秩檢驗2.5正態記分檢驗2.6相對效率比較2.1符號檢驗和分位數推斷962.1符號檢驗2.1符號檢驗97符號檢驗的統計量為符號檢驗。設隨機變量X1,…,Xn是從某個總體X中抽出的簡單隨機樣本。且分布函數F(X)在X=0是連續的。假設檢驗問題檢驗的統計量可以取符號檢驗的統計量為符號檢驗。設隨機變量X1,…,98在原假設為真的條件下,有服從參數為n和0.5的二項分布b(n,0.5)。由于原假設為真時,B應該不太大,也不太小,如果B太大或太小,應該拒絕原假設。對于顯著性,求c1和c2,有拒絕區域為:在原假設為真的條件下,有服從參數為n和0.599

精確的符號檢驗是指檢驗的p值是由精確的概率給出的。我們利用正號和負號的數目,來檢驗某假設,這是一種最簡單的非參數方法。

【例】聯合國人員在世界上66個大城市的生活花費指數(以紐約市1996年12月為100)按自小至大的次序排列如下(這里北京的指數為99)。2.1.1.精確中位數的符號檢驗精確的符號檢驗是指檢驗的p值是由精確的概率給出的。我100

667578808181828383838384858586868686878788888888888989898990909191919192939396969697

99100101102103103104104104105106109109110110110111113115116117118155192

這個總體的中間水平是多少?北京使在該水平之上還是之下?(北京為99)第二章非參數統計分析(研究)20081201課件101通常在正態總體分布的假設下,關于總體均值的假設檢驗和區間估計是用與t檢驗有關的方法進行的。然而,在本例中,總體分布是未知的。為此,首先看該數據的直方圖從圖中很難說這是什么分布。

假定用總體中位數來表示中間位置,這意味著樣本點,取大于M的的概率應該與取小于M的概率相等。所研究的問題,可以看作是只有兩種可能“成功”或“失敗”。通常在正態總體分布的假設下,關于總體均值的假設102符號檢驗的思路,記成功:X-0大于零,即大于中位數M,記為“+”;失敗:X-0小于零,即小于中位數M,記為“-”。令S+=得正符號的數目

S-=得負符號得數目可以知道S+或S—均服從二項分布B(65,0.5)。則可以用來作檢驗的統計量。其假設為:符號檢驗的思路,記103關于非參數檢驗統計量需要說明的問題在非參數檢驗中,可以得到兩個相互等價的統計量,比如在符號檢驗中,得負號與得正好的個數,就是一對等價的統計量,因為S++S-=N。那么我們在檢驗時應該用那個呢?關于非參數檢驗統計量需要說明的問題在非參104對于左側檢驗,當零假設為真的下,S+

應該不大不小。當過小,即只有少數的觀測值大于假定值,則可能假定值太大,目前總體真實中位數可能要小一些。如果,則拒絕原假設。所以我們選擇統計量對于左側檢驗,當零假設為真的下,S+應該不大不小。105對于右側檢驗,當零假設為真的下,S+應該不大不小。當過大,即有多數的觀測值大于假定值,則可能假定值太小,目前總體的真實中位數可能要大一些。如果,則拒絕原假設。我們選擇統計量對于右側檢驗,當零假設為真的下,S+應該不大106對于雙側檢驗,當零假設為真的下,S+應該不大不小。當其中之一很小,即有觀測值大于或小于假定值,假定值或太小或太大。如果,則拒絕原假設。我們選擇統計量對于雙側檢驗,當零假設為真的下,S+應該不大107

檢驗統計量S+=23S+=23P-值

=0.01242=0.0248檢驗的結果拒絕零假設拒絕零假設結論中位數小于99中位數不等于99

檢驗統計量S+=23S+=23P-值1082.1.2.大樣本的情形當樣本容量足夠大,我們可以利用二項分布的正態近似來對該問題進行檢驗。因為計數統計量在原假設為真時,服從b(n,0.5)。且其均值為0.5n,方差為0.25n。則檢驗的統計量為

當B<n/2,+0.5;當B>n/2,-0.5。這個加或減一個常數的原因是使得其估計出的p值更接近近似值。舉例如下。假設x服從b(20,0.7),用二項分布和其正態近似求x小于12的概率比較其結果。2.1.2.大樣本的情形當樣本容量足夠大,我們可109精確概率近似概率計算一:近似概率計算二:精確概率近似概率計算一:近似概率計算二:1102.1.3置信區間

1.小樣本的置信區間中位數M的點估計是樣本的中位數,因而用順序統計量來構造中位數的置信區間是很自然的。對于固定的n,前面的符號檢驗表示,大于或小于中位數M的樣本點的個數服從二項分布b(n,0.5),置信度為1-的可以滿足2.1.3置信區間1.小樣本的置信區間111注意到,我們現在關鍵是確定Xi-1和Xj+1的位置。注意到,我們現在關鍵是確定Xi-1和Xj+1的位置。112根據上面的公式,可以知道區間作為中位數M的置信區間其置信度為只要n>7,則置信度大于99%,然而這并非是最好的,區間估計中有兩個需要考慮的問題:一個是精度,另一個是置信度。這個估計雖然置信度十分高,但是精度很低。根據上面的公式,可以知道區間作為中位數M113注意到,任取i和j,注意到,任取i和j,114下面選擇最優的區間,即置信度足夠大,區間足夠小。例表是16名學生的體能測試的成績82,53,70,73,103,71,69,80,54,38,87,91,62,75,65,77求其95%的置信區間。將這16個數按順序排列,得到16個順序統計量,兩兩搭配可以有120個區間,留下大于0.95的區間如下:下面選擇最優的區間,即置信度足夠大,區間足夠115下限序號上限序號區間區間長置信度11138,77390.96157836911238,80420.98934936511338,82440.99789428711438,87490.99972534211538,90520.99996948211638,103650.99998474121153,77240.96133422921253,80270.98910522521353,82290.99765014621453,87340.99948120121553,90370.99972534221653,103500.999740601下限上限區間區間長置信度11138,77390.961578116下限序號上限序號區間區間長置信度31154,77230.95950317431254,80260.9872741731354,82280.99581909231454,87230.99765014631554,90360.99789428731654,103490.99790954641162,77150.95095825241262,80180.97872924841362,82200.9872741741462,87250.98910522541562,90280.98934936541662,103410.98936462451265,80150.95095825251365,82170.95950317451465,87220.96133422951565,90250.96157836951665,103380.961593628下限上限區間區間長置信度31154,77230.959503117精確度較優的區間為

[62,77]0.950958252[65,80]0.950958252[65,82]0.959503174綜合起來看,[65,80](0.950958252)更合理。精確度較優的區間為[62,77]0.95091182.大樣本下的置信區間因為在樣本容量足夠大的場合。二項分布近似正態分布,則 置信區間為一個對稱區間,假設區間為

是第k個順序統計量。2.大樣本下的置信區間因為在樣本容量足夠119置信度為95%。置信度為95%。1202.2Cox-Stuart趨勢檢驗

人們經常要看某項發展的趨勢.但是從圖表上很難看出是遞增,遞減,還是大致持平.例我國自1985年到1996年出口和進口的差額(balance)為(以億美元為單位)—149.0119.737.777.5—66.087.480.543.5122.254.0167.0122.2從這個數字,我們能否說這個差額總的趨勢是增長,還是減,還是都不明顯呢?下圖為該數據的點圖.從圖可以看出,總趨勢似乎是增長,但1993年有個低谷;這個低谷能否說明總趨勢并不是增長的呢?我們希望能進行檢驗.2.2Cox-Stuart趨勢檢驗

人們經121第二章非參數統計分析(研究)20081201課件122三種假設:

怎么進行這些檢驗呢?可以把每一個觀察值和相隔大約n/2的另一個觀察值配對比較;因此大約有n/2個對子.然后看增長的對子和減少的對子各有多少來判斷總的趨勢.具體做法為取和。這里三種假設:怎么進行這些檢驗呢?可以把每一個觀察123在這個例子中n=12,因而c=6。這6個對子為(x1,x7),(x2,x8),(x3,x9),(x4,x10),(x5,xl1),(x6,x12)在這個例子中n=12,因而c=6。這6個對子為124用每一對的兩元素差Di=xi-xi+c的符號來衡量增減。令S+為正Di=xi-xi+c的數目,而令S-為負的Di=xi-xi+c的數。顯然當正號太多時,即S+很大時(或S-很小時),有下降趨勢,反之,則有增長趨勢.在沒有趨勢的零假設下它們應服從二項分布b(6,0.5),這里n為對子的數目(不包含差為0的對子).該檢驗在某種意義上是符號檢驗的一個特例.用每一對的兩元素差Di=xi-xi+c的125類似于符號檢驗,對于上面1,2,3三種檢驗,分別取檢驗統計量K=S+,K=S-和K=min(S+,S-).在本例中,這6個數據對的符號為5負1正,所以我們不能拒絕原假設。假設統計量

P值K=min(S+,S-)P(K<k)K=min(S+,S-)P(K<k)K=min(S+,S-)2P(K<k)類似于符號檢驗,對于上面1,2,3三種檢驗,分別取126游程檢驗是樣本的隨機性檢驗,其用途很廣。例如當我們要考察生產中出現次品出現是隨機的,還是成群的,一個時間序列是平穩的還是非平穩的,模型的隨機干擾項是否是白噪聲等都可以通過游程檢驗來確定。2.3游程檢驗游程檢驗是樣本的隨機性檢驗,其用途很廣。例127從生產線上抽取產品檢驗,是否應采用頻繁抽取小樣本的方法。在一個剛剛建成的制造廠內,質檢員需要設計一種抽樣方法,以保證質量檢驗的可靠性。生產線上抽取的產品可以分成兩類,有瑕疵,無瑕疵。檢驗費用與受檢產品數量有關。一般情況下,有毛病的產品如果是成群出現的,則要頻繁抽取小樣本,進行檢驗。如果有毛病的產品是隨機產生的,則每天以間隔較長地抽取一個大樣本。現隨機抽了30件產品,按生產線抽取的順序排列:0000111111111111110001111111檢驗瑕疵的產品是隨機出現的嗎?

有瑕疵的產品是隨機出現有瑕疵的產品是成群出現從生產線上抽取產品檢驗,是否應采用頻繁抽取小樣128隨機抽取的一個樣本,其觀察值按某種順序排列,如果研究所關心的問題是:被有序排列的兩種類型符號是否隨機排列,則可以建立雙側備擇.假設組為H0:序列是隨機的

H1:序列不是隨機的(雙側檢驗)如果關心的是序列是否具有某種傾向,則應建立單側備擇,假設組為H0:序列是隨機的

H1:序列具有混合的傾向(右側檢驗)

H0:序列是隨機的H1:序列具有成群的傾向(左側檢驗)游程:連續出現的具有相同特征的樣本點為一個游程。隨機抽取的一個樣本,其觀察值按某種順序排列,如果129檢驗統計量。在H0為真的情況下,兩種類型符號出現的可能性相等,其在序列中是交互的。相對于一定的m和n,序列游程的總數應在一個范圍內。若游程的總數過少,表明某一游程的長度過長,意味著有較多的同一符號相連,序列存在成群的傾向;若游程總數過多,表明游程長度很短,意味著兩個符號頻繁交替,序列具有混合的傾向。選擇的檢驗統計量為

R=游程的總數目檢驗統計量。在H0為真的情況下,兩種類型符號出現的130游程R的分布為:可以做如下的考慮:游程R的分布為:可以做如下的考慮:131

先在m+n個抽屜里隨機選擇m個,抽出的抽屜里放入“1”,沒有的放入“0”,所有可能基本的基本事件數為:有種。

或先在m+n個抽屜里隨機選擇n個,抽出的抽屜里放入“0”,沒有的放入“1”,所有可能基本的基本事件數為:有種。先在m+n個抽屜里隨機選擇m個,抽出的抽屜里放入1321、必定有k+1個由“1”構成的游程和k個由“0”構成的游程;2、或必定有k+1個由“0”構成的游程和k個由“1”構成的游程。如果游程數為奇數R=2K+1,這意味著:1、必定有k+1個由“1”構成的游程和k個由133第一種情形,這就必須在m-1個位置中插入K個“隔離元”,使有“1”有k+1個游程,可以有種,同樣可以在n-1個“0”的n-1個空位上插入K-1個“隔離元”,有種。共有有利基本事件數。第一種情形,這就必須在m-1個位置中插入K134同理,在第二種情形下,有。故:同理同理,在第二種情形下,有。135備擇假設P值序列具有混合的傾向右尾概率序列具有聚類的傾向左尾概率序列是非隨機的較小的左尾概率的兩倍備擇假設P值序列具有混合的傾向右尾概率序列具有聚類的傾向左尾136

n1是0的個數,n2是1的個數。

質量檢查人員對某車間生產的螺栓進行抽樣檢查,依次檢查了50個。以“0”代表不合格,“1”代表合格。檢查結果如下:1111110111011111111101011110111111111110111101110問不合格品的分布是否是隨機的?a=0.05。n1是0的個數,n2是1的個數。137

例如,在我國的工業和商業企業隨機抽出22家進行資產負債率行業間的差異比較。有如下資料:這兩個行業的負債水平是否相等。首先,設“1”為工業,“2”為商業,將兩個行業的數據排序,得行業編號得游程:1111121111222111222222工業647655825982707561647383商業7780806593918491848686例如,在我國的工業和商業138第二章非參數統計分析(研究)20081201課件139人工模擬的白噪聲序列的游程檢驗人工模擬的白噪聲序列的游程檢驗140人工模擬的隨機游走序列的游程檢驗人工模擬的隨機游走序列的游程檢驗141人工模擬的ar(1)序列的游程檢驗人工模擬的ar(1)序列的游程檢驗142上證指數xtLn(xt)Ln(xt-1)收益率919.446.82..899.616.806.82-.021803876.506.786.80-.026025898.176.806.78.024423896.416.806.80-.001961906.986.816.80.011723918.406.826.81.012513929.526.836.82.012035907.856.816.83-.023589916.726.826.81.009723915.016.826.82-.001867942.446.856.83.014245收益率是隨機序列上證指數xtLn(xt)Ln(xt-1)收益率919.446143第二章非參數統計分析(研究)20081201課件144第二章非參數統計分析(研究)20081201課件1452.4單樣本的Wilcoxon符號秩檢驗2.4.1

Wilcoxon符號秩檢驗

前面幾種推斷的方法都只依賴于數據的符號,沒有考慮數據的大小,Wilcoxon符號秩檢驗是檢驗關于中位數對稱的總體的中位數是否等于某個特定值,檢驗的假設:2.4單樣本的Wilcoxon符號秩檢驗146檢驗的步驟:1.計算,它們代表這些樣本點到的距離;2.把上面的n個絕對值排序,并找出它們的n個秩;如果有相同的樣本點,每個點取平均秩(如1,4,4,5的秩為1,2.5,2.5,4);檢驗的步驟:1.計算1474.雙邊檢驗,在零假設下,和應差不多.因而,當其中之一非常小時,應懷疑零假設;取檢驗統計量T=min(,);

關于非參數統計分析,對統計量選擇的說明:對于左側檢驗,統計量值很小時,拒絕原假設。如果左側檢驗的備擇假設被接受,W-大,而W+小,故取W+為統計量。對于右側檢驗,統計量的值很大時,拒絕原假設。如果右側檢驗的備擇假設被接受,W+大,而W-小,故取W-為統計量4.雙邊檢驗148第二章非參數統計分析(研究)20081201課件149第二章非參數統計分析(研究)20081201課件1505.根據得到的T值,查Wilcoxon符號秩檢驗的分布表以得到在零假設下P值.如果n很大要用正態近似:得到一個與T有關的正態隨機變量Z的值,再查表得P值或直接用計算機得到P值。5.根據得到的T值,查Wilcoxon符151如生活花費指數例子,有n=65,W=679,如生活花費指數例子,有n=65,W=679,152Wilcoxon符號秩檢驗表假設檢驗的統計量P值

檢驗統計量Z=-2.5725Z=-2.5725P-值=0.0052=0.01檢驗的結果拒絕零假設拒絕零假設結論中位數小于99中位數不等于99Wilcoxon符號秩檢驗表假設檢驗的統計量P值

檢驗統計1532.4.2Holdges-Lemmann估計量定義2.1假設X1,X2,…,Xn為簡單隨機樣本,計算任意兩個樣本點的平均數,從而得到一個樣本長度為n(n+1)/2的新的數據,這組數據稱為Walsh平均值,即2.4.2Holdges-Lemmann估計量154定理由定義2.1,Wilcoxon符號秩統計量W+可以表示為

即W+是Walsh平均值中符號為正的個數。如果中心是,則定義即W+()是檢驗的的統計量。定理由定義2.1,Wilcoxon符號秩155定義2.2假定假設X1,X2,…,Xn為F(X-)的簡單隨機樣本,如果F(X)為對稱,則定義Walsh中位數如下:

作為的Holdges-Lemmann估計量。

定義2.2假定假設X1,X2,…,X156為了了解垃圾郵件對大型公司決策層工作的影響程度,某個網站收集了19家大型公司的CEO影響每天收到的垃圾郵件件數,得到如下數據:310350370375385400415425440195325295250340295365375360385從平均的意義看,收到的垃圾郵件的數量的中間位置是否超過了320封。為了了解垃圾郵件對大型公司決策層工作的影響程度157dataa;inputx1-x19;cards;310350370375385400415425440195325295250340295365375360385;%macro

PGI;datab;seta;%doi=1%to19;%doj=&i%to19;walsh=(x&i+X&j)/2;ifwalshthenoutput;keepwalsh;%end;%end;%mend;%PGI;dataa;158proc

printdata=b;run;proc

sortdata=bout=b2;bywalsh;proc

printdata=b2;run;datab3;setb2;n+1;ifn=95thenoutput;ifn=96thenoutput;elsedelete;proc

printdata=b3;run;procprintdata=b;159

Obswalshn1355.0952357.596

160

打結的情況.在許多情況下,數據中有相同的數字,稱為結(tie).結中數字的秩為它們按升冪排列后位置的平均值.比如2.5,3.1,3.1,6.3,10.4這五個數的秩為1,2.5,2.5,4,5。也就是說,處于第二和第三位置的兩個3.1得到秩(2十3)/2=2.5.這樣的秩稱為中間秩。如果結多了,零分布的大樣本公式就不準了。因此,在公式中往往要作修正。打結的情況.在許多情況下,數據中有相161其中用τi表示第i個結的性同觀測值的個數。用

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論