1、引例引例 考慮只有考慮只有0,1兩個狀態的齊次馬氏鏈，其轉移概兩個狀態的齊次馬氏鏈，其轉移概率矩陣為：率矩陣為：11P01對狀態對狀態0,T0有分布有分布(1)(2)00001,ff ( )00001nnETnf( )200,(1),nnf(3)00(1),f另一方面另一方面1(1)nnPlimnnP( )( )0101lim,limnniinnpp記為，記為，例例1：設齊次馬爾科夫鏈：設齊次馬爾科夫鏈X=Xn, n0的狀態空間的狀態空間S=1,2,3,4，一步轉移概率矩陣為，一步轉移概率矩陣為123311144210000100=000P討論極限討論極限 是否存在，若存是否存在，若存在是否與

2、初始狀態在是否與初始狀態i有關有關. ( )1lim( =1,2,3,4)ninpi4 轉移概率的極限與穩態性能轉移概率的極限與穩態性能問題問題 馬爾可夫鏈是否具有統計意義下的穩態性馬爾可夫鏈是否具有統計意義下的穩態性,即要即要回答以下問題回答以下問題?,( ),1i jS當n 時, 轉移概率數列( )nijp是否收斂?,( ),2i jS若( )limnijnp存在,此極限是否與初始狀態i無關? (3)在怎樣的條件才能保證( )limnijnp存在且與初始狀態i無關?( )limijnjnp而此時， 是否為一概率分布？1. 轉移概率的極限轉移概率的極限由已有知識可知由已有知識可知(1)ji若

3、 為或時,返零常返對非常有lim0nijnp（ ）ji是正常返且 是總假定非正常返ji和 屬于同或者一個正常返類但但! 又由已有知識可知又由已有知識可知(2)j當 為正常返周期狀態時limnjjnp（ ）不存在limnijnp（ ）就這樣討論極限將無意義.那么那么,如何討論如何討論 ? ? ?由周期鏈的性質得到啟由周期鏈的性質得到啟發發我們討論我們討論()jndrijnp 當時的極限問題1,2,jrd()0( ),1,2,jndrijijjnfrfi jSrd記( )ijjfrinmdr表示系統從狀態出發，在某時刻首次到達狀態j的概率.()110( )()jjjddndrijijrrnfrf

4、且()01()jjdndrijnrf ()1mijmfijf定理定理1 設設j是正常返狀態，則是正常返狀態，則()lim( ),1,2,jndrjijijjnjjdpfriS rd其中jj是j的平均轉回時間.證明證明( )0njjjdnp不能整除 時，01jldrnvl僅當時， ， ,()0jndjvrjp ()()( )1jjjijndrndrndr vvijjjvpfp ()()0jjijnldrn l djjlfp()()()0jjjijnndrldrn l dijjjlpfp即1Nn 對()()()()(1)()00jjjjjjijijijldrn l dndrldrnNl dlNnN

5、drjjijjjlllfppfpfNn 固定 ，讓得()()()0limlimjjjijldrndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN 再讓得()lim( )jndrjijijnjjdpfr,1,2,jiS rd結論結論設012,SDCCC其中D為非常返狀態集，0C為零常返狀態集，(1,2,)mCm為正常返狀態閉集，則0( )00,lim0,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍歷，有周期，一般不存在，有周期，定義定義 設,0,1,2,nXn 是一個馬爾可夫鏈，如果,i jS( )lim,0,1,n

6、ijjjjnj Cp且,jjS則則構成一概率分布，稱為馬爾可夫鏈,0,1,2,nXn 的極限分布極限分布. 是什么呢是什么呢？j如果馬氏鏈是不可約遍歷鏈如果馬氏鏈是不可約遍歷鏈，則對任意的則對任意的i, j有=1ijf，故故：( )1lim=nijnjjp從而不可約遍歷鏈轉移概率的極限存在，且與初始從而不可約遍歷鏈轉移概率的極限存在，且與初始狀態無關狀態無關.進一步有以下定理，給出不可約遍歷鏈的轉移概率進一步有以下定理，給出不可約遍歷鏈的轉移概率的極限與極限分布的關系的極限與極限分布的關系.且此極限值是線性方程組且此極限值是線性方程組 滿足條件滿足條件定理定理6.4.2 設齊次馬爾可夫鏈設齊次

7、馬爾可夫鏈,0,1,2,nXn 是不可約的遍歷鏈，則是不可約的遍歷鏈，則( )1lim=nijjnjjpjS，0,1jjj Sxx的唯一解的唯一解。=jiiji Sxx p證明證明( )1lim=nijjnjjpnijj SSp（ ）由 是閉集limliatoumff由F引理(與lim交換,且)得1=1jj Sj Sjj對任意的j S ,由（6.30）式得m又對 自然數 ，由-方程()( )()n mnmijikkjk CpppFatoun 令取極限，并應用引理()(*)mjkkjk Sp(,*.)( )jSm 反證法證明對自然數只能是等號成立00 0()11mkjk Cj jkkjp若使得(

8、*)jS對式關于求和()()mkkjk Sjj Sj Sp()(mkjkjk SSpkk S()矛盾()mjkkjk Spm 令，并應用控制收斂定理1jj Sm=1時，自然有時，自然有jkkjk Sp例例 1 設狀態空間為設狀態空間為S=0,1,2,的馬爾可夫鏈的馬爾可夫鏈, 其一步其一步 轉移概率矩陣為轉移概率矩陣為0.50.40.10.30.40.30.20.30.5P驏= 桫試求它的極限分布試求它的極限分布解解 易知此鏈為不可約遍歷鏈易知此鏈為不可約遍歷鏈. 故極限分布故極限分布0121 02162p=12362p=21862p=00limlimnnijijnnpp（ ）（ ）研究一個不

9、可約的馬爾可夫鏈是否為遍歷，可通過對極限的討論，由于計算困難平穩，可分以通過對布的討論結論結論 不可約馬爾可夫鏈是遍歷鏈的充要條件不可約馬爾可夫鏈是遍歷鏈的充要條件 是極限分布存在且唯一是極限分布存在且唯一.2 平穩分布平穩分布定義定義 稱概率分布,iiS是轉移概率矩陣為()ijpP的馬爾可夫鏈的一個平穩分布平穩分布.如果,jiiji SpjS（ ）說明說明 若齊次馬爾可夫鏈有一個平穩分布若齊次馬爾可夫鏈有一個平穩分布:,iiS( ),1,2,ijnjii SjS np則也有定理定理6.4.3 設,iiS是齊次馬爾可夫鏈,0,1,2,nXn 的一個平穩分布，如果取,iiS為,0,1,2,nXn

10、 的初始分布初始分布，即0(),iP XiiS(1) 則對任意的正整數則對任意的正整數n，都有，都有(),niP XiiS(2)并且對任意的正整數并且對任意的正整數n，m,以及以及1120, ,nntti iiS 和有和有12121212(,)(,)nntmtmtmntttnP Xi XiXiP Xi XiXi證明證明00(1)()() ()nnk SP XiP Xk P Xi Xk( )nkkik SpiiS1212(2)(,)ntmtmtmnP Xi XiXi1212(,)ntttnP Xi XiXi0121002(,)ntmtmtniSmPXi XiXXii1201002(,),ntmt

11、mtmniSPXi XiXiXi100 112011 21()()()nnnntttttmii iiiiiiSppp121111 2()()nnnnitttti iiipp12111211()(nntttntntP Xi XiP Xi XiP Xi說明了說明了 若鏈有平穩分布若鏈有平穩分布,且以它作為初始分布且以它作為初始分布,則其絕對則其絕對分布是確定的分布是確定的,保持不變保持不變.且該鏈是嚴平穩的序列且該鏈是嚴平穩的序列.對一個齊次的馬爾可夫鏈是否存在平穩分布對一個齊次的馬爾可夫鏈是否存在平穩分布?一個重要的問題一個重要的問題:如果存在如果存在,是否唯一是否唯一?如何計算如何計算?在特殊

12、情況下在特殊情況下,回答上述問題回答上述問題,即定理即定理(5.4.)6定理定理6.4.4 設,0,1,2, 是齊次馬爾可夫鏈不可約nXn其狀態空間 中的每個狀正常態都是返狀態.S1,0,1,2,.njjjXnjS則有唯一的平穩分布特別的，特別的，若S 中的每個狀態都是遍歷狀態遍歷狀態，則1,0,1,2,. 有唯一的平穩分布njjjXnjS且此時的平穩分布就是極限分布且此時的平穩分布就是極限分布.,jkkjk Skk SpjS平穩分布通過平穩分布通過求解右方程組求解右方程組其次其次 對一般的馬爾可夫鏈對一般的馬爾可夫鏈,如果不是不可約如果不是不可約,則極限則極限分布一定不存在分布一定不存在.平

13、穩分布可能存在平穩分布可能存在,也可能不存在也可能不存在.若存在若存在,可能不唯一可能不唯一(有無窮多個有無窮多個)有定理有定理(6.4.5)定理定理6.4.5 設012,HCCCQSD其中D是非常返狀態集，C0是零常返狀態集，(1,2,)mCm是正常返狀態的不可約閉集，0,QDCHC 0,如果jjj SjS為齊次馬爾可夫鏈的平穩分布的，使得11(2)0,(3),（ ）jjjjjQjC,則jjS充要條件是存在非負數列推論推論 對于齊次馬爾可夫鏈對于齊次馬爾可夫鏈(1) 其其平穩分布存在的充要條件平穩分布存在的充要條件是是存在正常返狀態的存在正常返狀態的 不可約閉集不可約閉集.等價地等價地,不存

14、在平穩分布的充要條件是不存在平穩分布的充要條件是 H= (2) 存在存在唯一的平穩分布唯一的平穩分布的充要條件是的充要條件是恰有一個正常恰有一個正常 返狀態的不可約閉集返狀態的不可約閉集.(3) 存在存在無窮多個平穩分布無窮多個平穩分布的充要條件是的充要條件是至少有兩個至少有兩個 不同的正常返狀態的不可約閉集不同的正常返狀態的不可約閉集.(4) 不可約鏈存在唯一的平穩分布的充要條件是不可約鏈存在唯一的平穩分布的充要條件是 所有所有 狀態都是正常返狀態狀態都是正常返狀態.例例2 設齊次馬爾可夫鏈的狀態空間設齊次馬爾可夫鏈的狀態空間S=0,1,2,3,4,其其一步轉移概率矩陣為一步轉移概率矩陣為1

15、2000331200033120003312000331200033P求它的平穩分布求它的平穩分布解解 易知是不可約鏈易知是不可約鏈,且為遍歷鏈且為遍歷鏈. 故其平穩分布存在且唯一故其平穩分布存在且唯一.012341 0131p=1231p=2431p=3831p=41631p=平穩分布為平穩分布為8161243131 313131=，例例3 設有狀態空間設有狀態空間S=0,1,2,3,4,5,6的齊次馬爾可夫鏈的齊次馬爾可夫鏈 其一步轉移概率矩陣為其一步轉移概率矩陣為0.50.50000002/ 31/ 300001/ 302/ 300000000.50.5000000.50.5000000

16、01011111117777777P(1)試對試對S進行分類，并說明各狀態類型進行分類，并說明各狀態類型(2) 求平穩分布，其平穩分布是否唯一？為什么？求平穩分布，其平穩分布是否唯一？為什么？(3) 求求22(10),(20)nnnnP XXP XX121713121712122312501634132312(1) 123SDCCC+=UUU60,1,23,45=UUU(2) 由由(1)知知,該鏈有三個不同的正常返不可約閉集該鏈有三個不同的正常返不可約閉集所以平穩分布不唯一所以平穩分布不唯一三個閉集對應的轉移概率矩陣分別為三個閉集對應的轉移概率矩陣分別為1122213311233000P驏=

17、桫112221122P驏=桫()31P =解方程組解方程組(1)(1)1(1)(1)(1)1231(2)(2)2(2)(2)121(3)(3)3(3)11(1)332888 , , =(2)1122 , =(3)1=11122223388238,0,llllll=平穩分布為平穩分布為12312310llllll+=， ， ，(2)201(10(3)nnP XXp(2)202(20)nnP XXp11127222312=+=111236=例例2 設齊次馬爾可夫鏈的狀態空間設齊次馬爾可夫鏈的狀態空間S=0,1,2,3,4,5,6,其一步轉移概率矩陣為其一步轉移概率矩陣為0000100001/31/

18、3001/3001/2001/2000010001/20001/200003/4001/4001/2001/200P試求（試求（1）周期）周期d0（2）遲早概率）遲早概率f11（3）平均返回時間）平均返回時間660000100001/31/3001/3001/2001/2000010001/20001/200003/4001/4001/2001/200P0461325116611,63f例例5 甲乙兩人進行某種比賽，設每局比賽中甲勝的概甲乙兩人進行某種比賽，設每局比賽中甲勝的概率為率為 , 乙勝的概率為為乙勝的概率為為 , 平局的概率為平局的概率為 , 其中，其中， 設每局比賽后，勝者的設每局比賽后，勝者的1分，負分，負者的者的-1分，平局不計分，當兩人中有一人得分，平局不計分，當兩人中有一人得2分時比分時比賽結束，以賽結束，以 表示比賽至第表示比賽至第 局時甲獲得的分數，則局時甲獲得的分數，則是一齊次馬氏鏈是一齊次馬氏鏈（1）寫出狀態空間；寫出狀態空間；（2）寫出一步轉移概率矩陣；寫出一步轉移概率矩陣；（3）求在甲獲得求在甲獲得1分的情況下，再賽分的情況下，再賽2局甲勝的概率局甲勝的概率0,nXn; 1, 0,rqprqppqrn1000000000000001qrpqrpqrpP2222222210000202220200001qrprpqprpqr