隨機數學

第三章馬氏過程教師:陳萍prob123@13.1Markov鏈

一、馬氏鏈的概念及轉移矩陣定義3.1.1若隨機序列{Xn,nN},狀態空間E={1,2,…}.對任意n1,任意i0,i1,···,inE,都有則稱{Xn,nN},為是一個可數狀態的Markov鏈，簡稱馬氏鏈。注式(3.1.1)所反映這種性質稱為Markov性或無后效性，它與第一章論述的Markov性是等價的.2馬氏鏈的等價描述：1)(3.1.2）僅證:事實上:32)證:2)(3.1.1)取則反之,由定義,于是,43)4)課外練習5定義3.1.2Markov鏈X={Xn,nN},E={1,2,…}.1)--n步轉移概率；2)若與m無關--齊次（或時齊）Markov鏈，此時特別,以下僅限于討論齊次馬氏鏈.3)--n步轉移概率矩陣.6隨機矩陣若馬氏鏈的狀態空間E={1，2，···，N}，則稱此馬氏鏈是有限馬氏鏈。此時，其k步轉移矩陣是一個N階方陣顯然7定理3.1.3C-K方程.或記--n時刻Xn的概率分布向量.--Markov鏈的絕對分布;--Markov鏈的初始分布.可證,一個Markov鏈的特性完全由它的一步轉移概率矩陣P及初始分布向量決定…8定理3.1.4EX

設系統有三種可能狀態E={1,2,3}.“1”表示系統運行良好，“2”表示運行不正常，“3”表示系統失效.以Xn表示系統在時刻n的狀態,并設{Xn,n≥0}是一Markov鏈.沒有維修及更換條件下，其自然轉移概率矩陣為P,初始分布為π,試求系統在時刻1,2及n∞時出現各種狀態的概率.9二若干實例例3.1.1獨立隨機變量和的序列設{ξn,n≥0}為獨立同分布隨機變量序列，分布律為P{ξn=k}=qk,k=0,1,…，令,則{Xn,n≥0}是一Markov鏈，且

10例3.1.2直線上的隨機游動(1)無限制的隨機游動設有一質點在數軸上隨機游動，每隔一單位時間Δt(設Δt=1)移動一次，每次只能向左或向右移動Δx單位(設Δx=1)，或原地不動.設質點在0時刻的位置為a，它向右移動的概率為p≥0，向左移動的概率為q≥0，原地不動的概率為r≥0(p+q+r=1)，且各次移動相互獨立，以Xn表示質點經n次移動后所處的位置，則{Xn,n≥0}是一Markov鏈，且pi,i+1=p,pi,i-1=q,pii=r，其余pij=0.11(2)帶吸收壁的隨機游動設(1)中的隨機游動限制在E={0,1,2,…,b}內，當質點移動到狀態0或b后就永遠停留在該位置，即p00=1，pbb=1，其余pij(1≤i,j≤b-1)同(1).這時序列{Xn,n≥0}稱為帶兩個吸收壁0和b的隨機游動，是一有限狀態Markov鏈.(3)帶反射壁的隨機游動如(2)中的質點到達0或b后，下次移動必返回到1或b-1，即其余同(1)，稱為帶反射壁0和b的隨機游動，且為Markov鏈。12例3.1.3M/G/1排隊系統假設顧客依參數為λ的Poisson過程來到只有一個服務員的服務站，若服務員空閑來客就立刻得到服務，否則排隊等待直至輪到他。設每名顧客接受服務的時間獨立同分布，分布函數為G(x)，且與顧客到達過程相互獨立。這個系統稱為M/G/1排隊系統.(M--到達的時間間隔服從指數分布,G--服務時間的分布，1--單個服務員)。令Xn--第n個顧客服務完畢時等待接受服務的顧客數，Un--第n個顧客接受服務的時間內來到服務機構的顧客數，則其中可證{Xn,n=0,1,2,…}是齊次Markov鏈,其一步轉移概率為13例3.1.4分枝過程分枝過程是Markov過程的重要特例。常用來描述細胞分裂，種群繁衍，粒子裂變等現象，在隨機過程的理論和應用中占有非常重要的地位。下面介紹的模型是英國博物學家Galton,Watson在研究家族譜系關系時引入的，因此也稱為Galton-Watson分枝過程（簡稱G-W過程）。考慮一個能產生同類后代的個體組成的群體。每個個體以概率產生m個新后代，與別的個體產生的后代個數相互獨立。初始的個體個數為X0，其后代構成第一代，總數記為X1。以此類推，以Xn表示第n代的總數，記表示第n代的第i個個體的后代個數，那么就為一個齊次Markov鏈，稱之為時間離散的分枝過程.pij=…14數學模型為設獨立同分布取非負整數，其公共分布為。X0任意取正整數的隨機變量則是一個離散時間的分枝過程，或分枝鏈。可證:為齊次Markov鏈.且15EX設{Xi,i=1,2,…}是相互獨立的隨機變量，且使得P{Xi=j}=aj，j=0,1,…,如果其中就稱在時刻n產生了一個記錄.若在時刻n產生了一個記錄，就稱Xn為記錄值，以Rn表示第n個記錄值.證明，是Markov鏈，并求其轉移概率；16證明：根據題意有：滿足故故是一個馬爾可夫鏈且17§3.2Markov鏈的狀態分類與判別例3.2.1設系統有三種可能狀態E={1,2,3}.“1”表示系統運行良好，“2”表示運行不正常，“3”表示系統失效.以Xn表示系統在時刻n的狀態,并設{Xn,n≥0}是一Markov鏈.其一步轉移概率矩陣為P用有向圖表示為：18定義3.2.1稱狀態iE為吸收態，若pii=1.定義3.2.2對i,j

E，若存在n

N，使，則稱自狀態i出發可達狀態j，記為i

j.如果ij且ji，則稱i,j相通，記為ij.定理3.2.1相通是一種等價關系,即滿足自返性ii;對稱性ij,則ji;傳遞性ij,jk則ik.19定義3.2.3若一Markov鏈的任意兩個狀態都相通，則稱為不可約鏈。定義3.2.4令Tij=min{n:X0=i,Xn=j,n1}，稱為系統在0時刻從狀態i出發，首次到達狀態j的時間，簡稱為首達時.且規定,若右邊為空集，則Tij=∞.EX設{Xn}是無限制的隨機游動,且p,q,r都大于0.證明{Xn}是不可約鏈.20

定義3.2.5令表示0時刻從狀態i出發，經n步轉移后首次到達狀態j的概率，稱為n步首達概率；由i出發，經過有限步首次到達狀態j的概率為21

定義3.2.6若fii=1，則稱狀態i為常返態;若fii<1，則稱狀態i為瞬時態（非常返態）。定義3.2.7如果fij=1,記則表示從i出發到達j的平均轉移時間.特別，稱為從狀態i出發，返回狀態i的平均返回時間.若<∞，稱i為正常返態；若=∞，稱i為零常返狀態.例3.2.1（續1）求系統由1出發，經過有限步首次到達狀態2的概率.并求fii,i=1,2,322例3.2.2

設馬爾可夫鏈的狀態空間E={1,2,3,4}，轉移概率矩陣為試判斷各狀態的常返性。23引理

對任意i,jE及n1，有

注：由式(3.2.1)可得遞推公式:上式也稱為M.C從狀態i首次到達狀態j的分解式，簡稱首達分解式。推論定理3.2.224i為瞬時態定理3.2.3推論有限狀態馬氏鏈的狀態空間至少有一個常返態。定理3.2.4常返態全體構成一個閉集。定義3.2.8設CE，若對任意的iC，和任意的jC,及任意的nT，pij(n)=0，則稱C為E的閉集。i為常返態25

定理3.2.6設馬氏鏈的狀態空間為E，(1)對任意i,jE，若ij，則它們同為常返態或瞬時態；而且當i,j是常返態時，i,j同為正常返態或同為零常返態；(2)不可約的有限齊次馬氏鏈的狀態都是正常返的。定義3.2.7如果集合{n:n≥1,>0}≠φ，稱該數集的最大公約數d(i)為狀態i的周期.若d(i)>1，稱i為周期的，若d(i)=1，稱i為非周期的.定義3.2.8若狀態i為正常返態的且非周期的，則稱i為遍歷狀態.定義3.2.9稱Markov鏈是遍歷的,如果所有狀態都是遍歷態.26小結相通、閉集、不可約狀態常返瞬時正常返、零常返周期、非周期遍歷定理3.2.7設馬氏鏈的狀態空間為E，i,jE，（1）若iE是一個周期態，且ij，則j也是周期態，且di=dj；（2）若此鏈不可約，且對iE有pii>0，則此鏈是非周期鏈。273.3狀態空間分解定理任意Markov鏈的狀態空間E可唯一分解為有限或可列個互不相交的子集之和其中N由全體瞬時態組成;每個或是零常返或正常返態組成的不可約閉集;(3)每個或中的狀態同類.它們有相同的周期,且28EX設齊次馬爾可夫鏈的矩陣一步轉移概率矩陣為試對其狀態空間進行分解.29例3.4.1

設Markov鏈的轉移矩陣為(1)試求狀態1,2的n步首達概率并求(2)求Pn并考慮當的情況.3.4極限定理及平穩分布解(1)30同理例3.4.1

設Markov鏈的轉移矩陣為(1)試求狀態1,2的n步首達概率.31例3.4.1

設Markov鏈的轉移矩陣為(2)求Pn并考慮當的情況.取從而32表明33定理3.4.1若狀態j是周期為d的常返態,則推論3.4.1若狀態j是常返態,則j是0常返態極限定理定理3.4.2

若j是瞬時態或零常返態,則對任意iS,34定理3.4.3

若j是正常返態且周期為d,則對任意i及,有推論設{Xn}是不可約遍歷鏈,則i,j∈E35定義3.4.1對于馬氏鏈{Xn，n0},概率分布稱為是平穩的,若平穩分布與極限分布定理3.4.4不可約Markov鏈是遍歷鏈對任意i,jS，存在僅依賴于j的常數j，使得j稱為Markov鏈的極限分布.且有36例3.3.2設有6個車站,車站中間的公路連接情況如圖.汽車每天可以從一個站駛向與之直接相鄰的車站,并在夜晚到達車站留宿,次日凌晨重復相同的活動.設每天凌晨汽車開往臨近的任一車站都是等可能的,試說明很長時間后,各站每晚留宿的汽車比例趨于穩定.求出這個比例以便正確地設置各站的服務規模.125364P10037>>P100=P^100P100=0.12500.18750.12500.18750.12500.25000.12500