數據、模型與決策第四部分檢驗問題數據挖掘

大量的甚至“海量般”的觀察數據呈現在我們面前。這些數據中有著大量有用的信息。把這些有用的信息挖掘出來的工作至關重要。礦石里含有很多的雜質，剔除了雜質才能把礦提煉出來。雜亂無章的原始數據中既包含著有用的信息，也包含著無用的，甚至誤導我們的信息。識別并剔除或校正這些無用的、甚至誤導我們的信息的工作至關重要。格朗特及其《觀察》

格朗特（1620–1674）NaturalandPolitical服裝店主ObservationsMadeupon英國皇家學會會員theBillsofMortality，1662關于死亡表的自然觀察與政治觀察，簡稱觀察。格朗特的《觀察》《關于死亡表的自然觀察與政治觀察，簡稱觀察》有12章，8個表。

數據資料：自1604年起倫敦教會每周一本“死亡公報”。公報記錄了一周內死亡和出生者的名單。死者按81種死因（內含63種病因）分類。公報中男女和不同地區分開統計。

格郎特開創性地分析了3000多期公報。格朗特的開創性工作格朗特做了前人沒有想到，沒有做的事。格朗特做的這件事對學術發展有重大影響，在應用上有重大意義。

1997年當代統計學家休伯畫了一條螺旋線，表示統計的發展歷程。螺旋線的起點就是格朗特，由他開始向外擴展，按時間先后次序一一列舉了對統計發展作出貢獻的統計學家。格朗特的《觀察》關于

出生與死亡的一些結論新生兒的男女性別比為14∕13。新生男嬰的比例為0.5185，新生女嬰的比例為0.4815。出生100個女孩，平均來說出生107.108個男孩；在各年齡組男性死亡率皆高于女性；新生兒和大城市的死亡率較高；一般疾病和事故的死亡率較穩定；傳染病的死亡率波動較大；性別比

新生兒的性別比為107到108(出生100個女嬰，平均來說出生107到108個男嬰)；如果只經過為數不多的觀察，我們是得不出“新生兒的男女性別比為14∕13”這個規律的；只有經過很多次的觀察，才能看到這樣的一個規律。這就是統計學的“大數法則”。

正常情況：1)新生男嬰的比例為2)新生女嬰的比例為某城市當年有10萬個新生嬰兒，其中女嬰4.75萬，比例為0.475，低于正常比例0.4815。很可能有人說，當年生男生女沒有人為因素的干涉，新生女嬰的比例僅較正常比例小了0.0065，看來這是偶然偏低，不足為怪。當年新生女嬰的出生比例究竟是正常，還是超乎尋常的低？統計檢驗問題——“反證法”當年新生女嬰的比例究竟是正常，還是超乎尋常的低？這一類問題就是所謂的統計檢驗問題。檢驗問題的解決方法有點類似于大家熟悉的“反證法”。數學問題的反證法，是在假設條件下尋找矛盾(不可能發生的事情)，反過來說明假設不會成立。統計檢驗問題使用的反證法是在假設條件下尋找幾乎矛盾(幾乎不大可能發生的事情)，反過來懷疑假設成立。小概率事件

通常稱幾乎不大可能發生的事為小概率事件。小概率事件并不是不可能發生，只是發生的可能性比較小。必須指出的是，有的時候有些場合，尤其是長時間的實踐，應認為小概率事件還是有可能發生的，而且它一定會發生。這就是所謂的墨菲定律。會出錯的，終將出錯

工程師墨菲曾參加美國空軍1949年的一項實驗，需要將16個火箭加速度計懸空裝在受試者的上方。支架上固定火箭加速度計的有兩個位置。按實驗要求，其中的一個位置是正確的，而另一個是錯誤的。不可思議的是，竟然有人有條不紊地將16個火箭加速度計全部安裝在錯誤的位置。于是墨菲說，如果有兩種選擇，其中的一種將導致災難，則必定有人會選擇它。后來墨菲的這一句話演變為人們熟知的這樣一句話：“會出錯的，終將出錯”。墨菲定律

“會出錯的，終將出錯”。這一句話，不同的人，不同的場合，有不同的含意。對于使用電腦的人來說，重要的資料應做好備份。這是因為再好的電腦也有可能出問題。人，尤其是老年人要把重要的事情用筆記下來。記性再好的人也可能會忘事。常規的肺炎，大多是左心衰竭導致死亡

觀察到的情況：連續3位患兒都因右心衰竭而死。圖

經估算：倘若是常規的肺炎，連續3位患兒都因右心衰竭而死的可能性非常小。判斷：懷疑他們患的不是常規的肺炎，而是手足口病。劉曉琳醫生的推斷過程

劉曉琳醫生的推斷過程的改進圖

經估算：倘若是常規的肺炎，連續3位、4位和更多位患兒都因右心衰竭而死的概率非常小。判斷：懷疑他們患的不是常規的肺炎，而是手足口病。推斷原則：在連續有比較多的患兒都因右心衰竭而死時，才說他們患的不是常規的肺炎。觀察到的情況：連續3位患兒都因右心衰竭而死。新生女嬰的比例究竟是正常，還是超乎尋常的低？圖

經計算：倘若女嬰出生比例正常，等于0.4815，10萬個新生嬰兒中有4.75萬和更少個女嬰的可能性等于？？？。判斷：？？？推斷原則：新生的10萬個女嬰中女嬰很少的時候，才認為新生女嬰的比例超乎尋常的低。觀察到的情況：10萬個新生嬰兒中有4.75萬個女嬰用反證法解統計檢驗問題的關鍵

——計算概率在這一年女嬰出生的比例正常，等于公認的0.4815的時候，計算該城市這一年10萬新生嬰兒中女嬰的人數等于小于4.75萬的概率。倘若這一年女嬰出生的比例等于0.4815，那么這一年新生女嬰的人數應該是二項分布。從而使用Excel，輸入“=binomdist(47500,100000,0.4815,1)”就可算得，倘若這一年女嬰出生的比例正常，10萬個新生嬰兒中有4.75萬和更少個女嬰的可能性僅等于0.0000197。新生女嬰的比例究竟是正常，還是超乎尋常的低？圖

經計算：倘若女嬰出生比例正常，等于0.4815，10萬個新生嬰兒中有4.75萬和更少個女嬰的可能性僅等于0.0000197，低于10萬分之2。判斷：可能性如此的小，這說明在女嬰出生比例正常時，有4.75萬個女嬰出生是幾乎不可能發生的事。因而認為這一年女嬰出生比例超乎尋常的低。推斷原則：新生的10萬個女嬰中女嬰很少的時候，才認為新生女嬰的比例超乎尋常的低。觀察到的情況：10萬個新生嬰兒中有4.75萬個女嬰檢驗問題——兩個假設

檢驗患兒患的是否是常規的肺炎；檢驗女嬰出生比例是否超乎尋常的低；檢驗額定標準為每袋凈重0.5公斤的袋裝葡萄糖的平均糖重是否是0.5公斤；檢驗治療心血管病的藥是否損傷腎功能；檢驗吸煙是否危害人體健康。這些檢驗問題都有互相對立的兩個假設?！坝凶锿贫ā迸c“無罪推定”

審訊嫌疑人時有兩個假設：“嫌疑人有罪”和“嫌疑人無罪”。有罪推定將“嫌疑人有罪”作為原假設，即首先認為嫌疑人有罪，然后尋找證據證明他無罪。倘若有充分、確鑿、有效的證據證明嫌疑人無罪，則認為他無罪。反之，倘若沒有充分、確鑿、有效的證據證明嫌疑人無罪，則認為他有罪。無罪推定將“嫌疑人無罪”作為原假設，即首先認為嫌疑人無罪，然后尋找證據證明他有罪。倘若有充分、確鑿、有效的證據證明犯罪嫌疑人有罪，則認為他有罪。反之，則認為他無罪?！坝凶锿贫ā迸c“無罪推定”

有罪推定論保護(也就是不輕易否定)“嫌疑人有罪”的假設。這意味著有罪推定論不輕易說嫌疑人無罪。寧枉勿縱。無罪推定論保護(也就是不輕易否定)“嫌疑人無罪”的假設。這意味著無罪推定論不輕易說嫌疑人有罪。寧縱勿枉。檢驗問題：原假設和備擇假設原假設：不輕易否定的假設，也就是說有了充分、確鑿、有效的證據后才能拒絕的假設。原假設記為備擇假設：不輕易肯定的假設，也就是說有了充分、確鑿、有效的證據后才能接受的假設。備擇假設記為

“有罪推定”與“無罪推定”

有罪推定論：原假設：嫌疑人有罪；備擇假設：嫌疑人無罪。無罪推定論：原假設：嫌疑人無罪；備擇假設：嫌疑人有罪。原假設和備擇假設女嬰出生比例是否超乎尋常低的檢驗問題原假設：女嬰出生比例正常；備擇假設：女嬰出生比例超乎尋常的低。額定標準為每袋凈重0.5公斤的袋裝葡萄糖的平均糖重是否有0.5公斤的檢驗問題原假設：平均糖重0.5公斤；備擇假設：平均糖重不是0.5公斤。

無罪推定原假設和備擇假設檢驗治療心血管病的藥是否損傷腎功能原假設：藥損傷腎功能；備擇假設：藥沒有損傷腎功能。有罪推定吸煙是否危害人體健康的檢驗問題原假設：吸煙無害；備擇假設：吸煙有害。

無罪推定實際問題中確定

原假設與備擇假設的通常方法首先確定備擇假設。將有了充分、確鑿、有效的證據后才認為它正確的假設確定為備擇假設；然后將備擇假設的對立假設確定為原假設。檢驗法則檢驗問題：女嬰出生比例是否低了？原假設：女嬰出生比例p=0.4815；備擇假設：女嬰出生比例p<0.4815。檢驗法則：在新生女嬰比較少的時候拒絕原假設，認為新生女嬰的比例p<0.4815?！笆裁磿r候拒絕原假設”稱為是檢驗法則

確定檢驗法則是解統計檢驗問題的第一個關鍵。p值—概率(probability)值

“計算什么樣的概率”，是解統計檢驗問題的第二個關鍵。檢驗法則：在新生女嬰很少的時候認為女嬰出生比例低于0.4815觀察到的數據：當年10萬個新生嬰兒中有4.75萬個女嬰。在女嬰出生比例等于0.4815時，計算10萬個新生嬰兒中有4.75萬和更少個女嬰的的概率。p值

“計算p值”，是解統計檢驗問題的第二個關鍵。若p值比較小，這意味著在原假設成立時觀察到的這件事基本上是不大可能發生的，則就有了充分、確鑿、有效的證據拒絕原假設，從而認為備擇假設是正確的。若p值不小，則意味著還沒有找到充分、確鑿、有效的證據，因而不能拒絕原假設，只得認為原假設是正確的。檢驗的水平

若p值不比0.01大，則說p值很小。我們在水平下(高度顯著地)拒絕原假設；若p值比0.01大，但不比0.05大，則說p值比較小。我們在水平下(顯著地)拒絕原假設，但在水平下不能(高度顯著地)拒絕原假設。若p值比0.05大，則說p值不小，這說明沒有充分、確鑿、有效的證據認為備擇假設是正確的，我們在水平下不能拒絕原假設，只得認為原假設是正確的。假設檢驗問題的4個步驟1)建立原假設

和備擇假設

。2)確定檢驗法則。3)計算p值。4)①

p值

，則在水平

下高度顯著地拒絕原假設；②

p值

，則不能在水平

下高度顯著地拒絕原假設，能在水平

下顯著地拒絕原假設；③

p值

,則不能拒絕原假設。

犯第一、第二類錯誤的概率分別為

在檢驗問題中，犯“棄真”和“取偽”兩類錯誤都總是不可避免的。一個好的檢驗方法，應該是使檢驗結果犯這兩類錯誤的概率都盡量地小。但當樣本容量一定時，若減少犯某類錯誤的概率，則犯另一類錯誤的概率往往增大。若要使犯兩類錯誤的概率都減少，只能增加樣本容量。比例的檢驗問題—第1種類型

女嬰出生比例(proportion)p是否超乎尋常低的檢驗問題原假設：，女嬰出生比例正常；備擇假設：，女嬰出生比例超乎尋常的低。

檢驗法則：在新生女嬰比較少的時候拒絕原假設，認為新生女嬰的比例p超乎尋常的低。產品是否合格？

某個產品的質量標準：不合格品的比例不超過1%。隨機檢驗100個產品，倘若其中沒有發現不合格品，或僅發現1個不合格品，可想而知質量檢驗員肯定認為產品合格。倘若發現2個不合格品那應如何判斷？依據估計方法，不合格率的估計為2%，超過了所允許的不合格率的上限1%。考慮到估計有誤差，因而絕不能就此就說產品不合格。產品很可能是合格的，僅僅是由于隨機因素的影響，樣本比例偶然偏高了。產品是否合格？

某個產品的質量標準：不合格品的比例不超過1%。在隨機檢驗的100個產品中倘若發現了2個不合格品，則判斷產品是否合格的問題，顯然是下面這樣一個統計檢驗問題：：產品不合格率：

比例的檢驗問題——第2種類型

產品是否合格的檢驗問題原假設：，產品合格；備擇假設：，產品不合格。這個檢驗問題相當于

:

:

檢驗法則：不合格品比較多的時候拒絕原假設，認為產品不合格。比例的檢驗——單邊拒絕

—總體中具有某種特性的個體所占的比例(proportion)。從總體中隨機抽取個個體，假設其中有個個體具有這種特性。單邊拒絕檢驗問題的第1種類型①

：：②

：：單邊拒絕檢驗問題的第2種類型①

：：②

：：比例的檢驗——單邊拒絕(1)

單邊拒絕檢驗問題的第1種類型①

：，：②

：，：隨機抽取個個體，假設其中有個個體具有這種特性。在比較小的時候拒絕，認為。檢驗的p值(概率(probability)值)等于個個體中有和更少個個體具有這種特性的概率輸入“”比例的檢驗——單邊拒絕(2)

單邊拒絕檢驗問題的第2種類型①

：：②

：：隨機抽取個個體，假設其中有個個體具有這種特性。在比較大的時候拒絕，認為。檢驗的p值(概率(probability)值)等于個個體中有和更多個個體具有這種特性的概率。輸入“”

產品是否合格？

產品是否合格的檢驗問題原假設：，產品合格；備擇假設：

，產品不合格。在隨機檢驗的100個產品中倘若發現了2個不合格品。檢驗p

值：在時，100個產品中有2和更多個不合格品的概率。

輸入“=1-binomdist(1,100,0.01,1)”p值。判斷：產品合格。產品合格與否的檢驗問題的檢驗過程圖

經計算：在產品合格，不合格率p達到上限0.01時，100個產品中有2個和更多個不合格品的概率，也就是檢驗的p值等于26.42%。p值大于0.05，這說明在產品合格時，檢驗100個產品，有可能發現2個和更多個不合格品。因而不能認為產品不合格。故判斷產品合格。檢驗，觀察到的情況：100個產品中有2個不合格品。檢驗法則：在檢驗的100個產品中，如果發現比較多的不合格品，則認為，產品不合格。為什么判斷產品合格？

既然p值是在產品合格，時，100個產品中有2和更多個不合格品的概率，所以在隨機檢驗的100個產品中發現了2個不合格品的時候，倘若認為，判斷產品不合格，則犯錯誤的概率就等于26.42%。顯然，人們是不愿意冒這么大的風險作出“產品不合格”的判斷。p值告訴我們倘若根據現有的樣本觀察值拒絕原假設，則在原假設成立時我們承受的風險，犯錯誤的概率就如p值那么大。水平(或0.01)意味著在原假設成立時我們若拒絕原假設，則承受的風險，犯錯誤的概率不會比(或0.01)大。

新生女嬰的比例究竟是正常，還是超乎尋常的低？圖

經計算：倘若女嬰出生比例正常，等于0.4815，10萬個新生嬰兒中有4.75萬和更少個女嬰的可能性僅等于0.0000197，低于10萬分之2。可能性如此的小，這說明在女嬰出生比例正常時，有4.75萬個女嬰出生是幾乎不可能發生的事。因而認為這一年女嬰出生比例超乎尋常的低。這樣一個判斷有0.0000197的可能性出錯。人們顯然愿意冒如此小的風險，判斷這一年女嬰出生比例超乎尋常的低。推斷原則：新生的10萬個女嬰中女嬰很少的時候，才認為新生女嬰的比例超乎尋常的低。觀察到的情況：10萬個新生嬰兒中有4.75萬個女嬰比例的檢驗——第3種類型

拋擲圖釘，“釘尖朝上”的概率是否等于0.65的檢驗問題原假設：；備擇假設：。檢驗法則：在拋擲顆圖釘中，如果釘尖朝上的圖釘比較多或比較少則拒絕原假設，認為釘尖朝上出現的概率。拋擲103顆圖釘，倘若釘尖朝上63顆，則該如何判斷，“釘尖朝上”的概率是否等于0.65。比例的檢驗——雙邊拒絕

—總體中具有某種特性的個體所占的比例(proportion)。從總體中隨機抽取個個體，假設其中有個個體具有這種特性。雙邊拒絕檢驗問題

：：檢驗法則：在比較小或比較大的時候拒絕原假設，認為。

比例的檢驗——雙邊拒絕

—總體中具有某種特性的個體所占的比例。雙邊拒絕檢驗問題

：：隨機抽取個個體，假設其中有個個體具有這種特性。①若，則認為在小的一邊，檢驗的p值個個體中有和更少個個體具有這種特性的概率)輸入“”比例的檢驗——雙邊拒絕

—總體中具有某種特性的個體所占的比例。雙邊拒絕檢驗問題

：：隨機抽取個個體，假設其中有個個體具有這種特性。②

若，則認為在大的一邊，檢驗的p值個個體中有和更多個個體具有這種特性的概率)輸入“”釘尖朝上”的概率是否等于0.65？

“釘尖朝上”的概率是否等于0.65？：：，拋擲103顆圖釘，釘尖朝上63顆。倘若釘尖朝上的概率，平均來說釘尖朝上應該有顆。拋擲103顆釘尖朝上63顆。63顆應理解為在小的一邊。輸入“=binomdist(63,103,0.65,1)”,得單邊拒絕的值等于0.2365，從而有雙邊拒絕檢驗的值等于2*0.2365=0.4730。判斷：不能拒絕原假設，認為“釘尖朝上”的概率等于0.65。倘若拒絕原假設，認為“釘尖朝上”的概率不等于0.65，則有47.30%的可能性犯錯誤。大瓶咖啡容量是否低于標簽上標值質檢部門定期對某型號大瓶咖啡的容量進行檢驗，檢驗其容量是否低于標簽上標明的容量1000克。設隨機抽取的瓶咖啡樣本的觀察數值為。在樣本均值大于，或正好等于1000克時，可想而知質檢部門肯定不會因咖啡重量不足而進行投訴。而倘若樣本均值小于1000克，當然也不會立即投訴。能不能投訴需要檢驗。大瓶咖啡容量是否低于標簽上標值大瓶咖啡的容量的分布是正態分布。檢驗問題：；。瓶咖啡的隨機樣本的觀察數值為9951023984989997100610489949799891026103298998510029931007102196098398896910079749849831044991985101310089939521012992998經計算：樣本均值(克)；樣本方差(平方克)；樣本標準差(克)。大瓶咖啡容量是否低于標簽上標值由于樣本均值是總體均值的估計，所以人們很自然地想到，在比較小的時候拒絕原假設，認為大瓶咖啡的平均容量低于1000克，可因重量不足進行投訴。根據瓶咖啡樣本算得的樣本均值是不是比較??？這就需要利用反證法，在原假設成立，均值時計算小于等于997.08的概率，也就是檢驗的值。人們發現，由于樣本均值的大小與量綱(單位)有關系，這個值的計算不太方便。樣本t值計算樣本

t值：樣本t值的大小與量綱(單位)沒有關系。檢驗法則：在樣本t值：是一個比較小的負數的時候，拒絕原假設，認為備擇假設是正確的，可因重量不足進行投訴。

t檢驗是不是一個比較小的負數？看一個人長得矮不矮，就看周圍比他矮的人多不多。如果周圍比他矮的人不多，我們就說這個人比較矮。看一個數是不是比較小，就看比他小的概率大不大。如果這個概率比較小，我們就認為這個數比較小。檢驗p

值為單尾(下)概率：。如果p

值比較小，則認為是比較小的負數。

t分布的對稱性檢驗p

值為單尾(下)概率：。由于t分布是對稱分布，所以檢驗p

值也等于單尾(上)概率：。

t分布的Excel函數命令

輸入“=tdist(a,m,1)”，則得自由度為的分布單尾(上)概率的值:，其中a必須是正數。輸入“=tdist(0.8335,35,1)”，得檢驗的p

值

p值不小，我們不能投訴。倘若投訴，出錯的可能性有20.51%正態均值的t檢驗—單邊拒絕

從正態總體中隨機抽取n個個體，計算：樣本均值，樣本標準差，樣本t

值：單邊拒絕檢驗問題的第1種類型①

：：②

：：單邊拒絕檢驗問題的第2種類型①

：：②

：：正態均值的t檢驗—單邊拒絕(1)

單邊拒絕檢驗問題的第1種類型①：：②

：：從正態總體中隨機抽取n個個體，計算：樣本均值，樣本標準差，樣本值：檢驗法則：在樣本值是一個比較小的負數的時候拒絕原假設，認為

檢驗的p值為單尾(下)概率：輸入“”正態均值的t檢驗—單邊拒絕(2)

單邊拒絕檢驗問題的第1種類型①：：②

：：從正態總體中隨機抽取n個個體，計算：樣本均值，樣本標準差，樣本值：檢驗法則：在樣本值是一個比較大的正數的時候拒絕原假設，認為

檢驗的p值為單尾(上)概率：輸入“”袋裝葡萄糖糖重包裝機包裝葡萄糖，額定標準為每袋凈重0.5公斤。袋裝葡萄糖糖重是正態分布。包裝機工作是否正常的檢驗問題：原假設；備擇假設。稱重袋葡萄糖，計算樣本均值，樣本標準差和樣本值：在樣本值是一個比較小的負數或比較大的正數時拒絕原假設，認為，包裝機工作不正常。雙邊拒絕p

值=單邊拒絕p值的2倍袋裝葡萄糖糖重袋葡萄糖的稱重為

0.4970.4960.5130.5050.4980.5180.5020.4770.4890.482經計算：，樣本值，故輸入“”。檢驗的值等于。因而不拒絕原假設，認為，包裝機工作正常。倘若認為包裝機工作不正常，出錯的可能性高達63.79%正態均值的t檢驗—雙邊拒絕

雙邊拒絕檢驗問題

：，：。從總體中隨機抽取n個個體，計算樣本均值，樣本標準差與樣本t

值

檢驗法則：在是一個比較小的負數或比較大的正數的時候拒絕原假設，認為。計算p

值：①在時，輸入“”②在時，輸入“”城市公共汽車公司城市公共汽車公司在某個汽車站測量公共汽車延誤時間(到達時間與應到達時間的差)?，F有輛公共汽車的測量值(單位：分)：1.8，–1.6，–1.2，–0.5，–0.3，–1.0，2.9，1.1，0.0，–1.1。經計算樣本均值；樣本方差；樣本標準差。公共汽車是否準點到達？假設延誤時間有正態分布

首先檢驗均值是否等于0，也就是公共汽車是否準點到達。檢驗。

表4-1一個正態總體均值的假設檢驗(顯著性水平為α)

延誤時間的波動幅度是否過大？假設延誤時間有正態分布公司要求公共汽車的延誤時間的波動幅度不能太大，規定其標準差小于或等于1分鐘。標準差的檢驗問題原假設，備擇假設。通常將關于標準差的檢驗問題改寫成方差的形式：原假設，備擇假設。方差的檢驗—單邊拒絕假設總體有正態分布。方差的下面兩個檢驗問題的處理方法相同：①，備擇假設②，備擇假設計算樣本值:

在值比較大的時候拒絕原假設，認為方差。注意：離差平方和延誤時間的波動幅度是否過大？延誤時間有正態分布。原假設，備擇假設。輛公共汽車的樣本方差。樣本值，

是不是一個比較大的數？檢驗的p

值等于自由度為樣本容量的分布(記為)大于等于19.4094的概率，它是分布的上尾概率。

卡方檢驗是不是一個比較大的數？看一個人長得高不高，就看周圍比他高的人多不多。如果周圍比他高的人不多，我們就說這個人比較高?？匆粋€數是不是比較大，就看比他大的概率大不大。如果這個概率比較小，我們就認為這個數比較大。

p

值等于分布的上尾概率。如果