1、 第五章第五章 大數定律和中心極限定理大數定律和中心極限定理 大數定律和中心極限定理是概率論的重要基本理大數定律和中心極限定理是概率論的重要基本理論，它們揭示了隨機現象的重要統計規律，在概率論，它們揭示了隨機現象的重要統計規律，在概率論與數理統計的理論研究和實際應用中都具有重要論與數理統計的理論研究和實際應用中都具有重要的意義。本章將介紹這方面的主要內容。的意義。本章將介紹這方面的主要內容。5.1 大數定律大數定律 迄今為止迄今為止,人們已發現很多人們已發現很多大數定律大數定律(laws of large numbers)所謂大數定律，簡單地說，就是大量數目的隨機變量所呈現所謂大數定律，簡單地

2、說，就是大量數目的隨機變量所呈現出的規律，這種規律一般用隨機變量序列的某種收斂性來刻出的規律，這種規律一般用隨機變量序列的某種收斂性來刻畫。本章僅介紹幾個最基本的大數定律。下面，先介紹一個畫。本章僅介紹幾個最基本的大數定律。下面，先介紹一個重要的不等式。重要的不等式。 一、切比雪夫（一、切比雪夫（chebyshev）不等式）不等式 對于任一隨機變量對于任一隨機變量x ,若若ex與與dx均存在均存在,則對任意則對任意0,恒有恒有 . (5-1) 2 | dxexxp 證明證明 我們僅給出我們僅給出x為連續型隨機變量情形下的證明。設為連續型隨機變量情形下的證明。設為連續型隨機變量為連續型隨機變量x

3、的密度函數，則有的密度函數，則有 （5-1）式的等價形式為）式的等價形式為 . (5-2) )(xf | exxp d)(exxxxf 22d)(|exxxxfexx 22d)(| xxfexxdx21 | exxp21dx 切比雪夫不等式說明，切比雪夫不等式說明，dx越小，則越小，則 越小，越小， 越大，越大， 也就是說，隨機變量也就是說，隨機變量x取值取值基本上集中在基本上集中在ex附近，這進一步說明了方差的意義。附近，這進一步說明了方差的意義。同時當同時當ex和和dx已知時，切比雪夫不等式給出了概率已知時，切比雪夫不等式給出了概率 的一個上界，該上界并不涉及隨機變的一個上界，該上界并不涉

4、及隨機變x的具體概率分布，而只與其方差的具體概率分布，而只與其方差dx和和有關，因此，有關，因此，切比雪夫不等式在理論和實際中都有相當廣泛的應切比雪夫不等式在理論和實際中都有相當廣泛的應用。需要指出的是，雖然切比雪夫不等式應用廣泛，用。需要指出的是，雖然切比雪夫不等式應用廣泛，但在一個具體問題中，由它給出的概率上界通常比較但在一個具體問題中，由它給出的概率上界通常比較保守。保守。 | exxp | exxp | exxp 二、大數定律二、大數定律 在敘述大數定律之前，首先介紹兩個基本概念。在敘述大數定律之前，首先介紹兩個基本概念。 定義定義5.1 設設 為一個隨機變量序列，記為為一個隨機變量序

5、列，記為 ，若對任何，若對任何n2，隨機變量，隨機變量 都相互獨立都相互獨立，則稱，則稱 是是相互獨立的隨機變量序列相互獨立的隨機變量序列。 定義定義5.2 設設 為一隨機變量序列，為一隨機變量序列，x為一隨機變量為一隨機變量或常數，若對任意或常數，若對任意0，有，有則稱則稱 依概率收斂于依概率收斂于x,記為記為 或或 ， . 下面是一個帶普遍性結果的大數定律。下面是一個帶普遍性結果的大數定律。 ,21nxxxnxnxxx,21nxnx1limxxpnnnxxxpn0pnxxn 定理定理5.1 （切比雪夫大數定律）設（切比雪夫大數定律）設 是相互獨立的隨機變是相互獨立的隨機變量序列，并且量序列

6、，并且 和和 均存在，均存在， ,同時，存在常數同時，存在常數c，使，使則對任意的則對任意的0，有，有 （5-3）即，即， . 證明證明 因因 為獨立隨機變量序列，故為獨立隨機變量序列，故 .根據切比雪夫不等式可得根據切比雪夫不等式可得 ,nxiexidx, 2 , 1i, 2 , 1 ,icdxi111lim11niniiinexnxnp)( 01111nexnxnpniiniinxncdxnxndniinii12111niniiininiiixnexnpexnxnp11111111所以所以 利用計算極限的夾逼準則可知，（利用計算極限的夾逼準則可知，（5-3）式成立。）式成立。 本結果由俄國

7、數學家切比雪夫于本結果由俄國數學家切比雪夫于1866年證明，是關于大數年證明，是關于大數定律的普遍結果，許多大數定律的古典結果都是它的特例。定律的普遍結果，許多大數定律的古典結果都是它的特例。 推論推論1 設設 是獨立同分布的隨機變量序列，且是獨立同分布的隨機變量序列，且則對任意則對任意0，有，有 . （5-4）221111ncxndnii1111112niniiiexnxnpncnx , 2 , 1,2idxexii11lim1niinxnp 證明證明 只需將只需將 代入（代入（5-3）即證（）即證（5-4）. 推論推論1使我們關于算術平均值的法則有了理論上的依據。如使我們關于算術平均值的法

8、則有了理論上的依據。如我們要測量某段距離，在相同條件下重復進行我們要測量某段距離，在相同條件下重復進行n次，得次，得n個測個測量值量值 ，它們可以看成是，它們可以看成是n個相互獨立的隨機變量個相互獨立的隨機變量,具有相同的分布、相同的數學期望具有相同的分布、相同的數學期望和方差和方差 ，由推論，由推論1的大的大數定律知，只要數定律知，只要n充分大，則以接近于充分大，則以接近于1的概率保證的概率保證這便是在這便是在n較大情況下反映出的客觀規律較大情況下反映出的客觀規律,故稱為故稱為“大數大數”定律。定律。 比推論比推論1條件更寬的一個大數定律是條件更寬的一個大數定律是辛欽辛欽（khintchin

9、e）大大數定律數定律,它不需要推論它不需要推論1條件中條件中“方差方差 存在存在”的限制，而在的限制，而在其它條件不變的情況下，仍有（其它條件不變的情況下，仍有（5-4）式的結論。）式的結論。niniinexn1111nxxx,212niixn11idx 推論推論2（貝努利大數定律）設事件（貝努利大數定律）設事件a發生的概率為發生的概率為p，在，在n重重貝努利試驗中貝努利試驗中a發生的頻率為發生的頻率為 ，則對任意的，則對任意的0，有，有 , （5-5）即，即， . 證明證明 首先引入一隨機變量序列首先引入一隨機變量序列 ，對每個，對每個xi取值如下：取值如下： 則則 ， . 從而，從而， ，

10、 , .將將 一并代入（一并代入（5-4）式便得（）式便得（5-5）式）式. 這是歷史上最早的大數定律，是貝努利在這是歷史上最早的大數定律，是貝努利在1713年建立的。年建立的。概率論的研究到現在約有概率論的研究到現在約有300多年的歷史，最終以事件的頻率多年的歷史，最終以事件的頻率穩定值來定義其概率。作為概率這門學科的基礎，其穩定值來定義其概率。作為概率這門學科的基礎，其“定義定義”nf1 |limpfpnnnpfpn ,nx 10發生次試驗中第不發生次試驗中第aiaixini, 2 , 1), 1 (pbxini, 2 , 1pexi)1 (ppdxini, 2 , 1nniifxn11

11、的合理性這一懸而未決的帶根本性的問題的合理性這一懸而未決的帶根本性的問題,由貝努利于由貝努利于1713年發年發表的這個表的這個“大數定律大數定律”給予了解決，被稱為概率論的第一篇論給予了解決，被稱為概率論的第一篇論文文,為概率論的公理化體系奠定了理論基礎。之所以被成為為概率論的公理化體系奠定了理論基礎。之所以被成為“定定律律”,是這一規律表述了一種全人類多年的集體經驗因此是這一規律表述了一種全人類多年的集體經驗因此 ，對爾后的，對爾后的類似定理統稱為大數類似定理統稱為大數“定律定律”。 在大數定律中，由在大數定律中，由 可知，對充分大的可知，對充分大的n，有，有 ， 或或 ，根據實際，根據實際推斷原理推斷原理,概率論中把這兩類特別的隨機事件實際上當作非隨機概率論中把這兩類特別的隨機事件實際上當作非隨機事件來處理的事件來處理的,也就不能引起人們的重視也就不能引起人們的重視.但貝努利正是通過對這但貝努利正是通過對這種所謂種所謂“非隨機事件非隨機事件”的研究的研究,以嚴