三常返性的判若i是非常返狀態,1p(n1三常返性的判若i是非常返狀態,1p(n11)i是非常返狀級定理p(n收斂2)i是常返狀態(n p1lim(n定理3是非周期正常返狀i2)i是周期1lim(n定理3是非周期正常返狀i2)i是周期為d的正常返狀dlimp(ndi是零常返狀態lim(n4)若j是零常返或非常返狀態,則都有limp(n 推論如i是常返狀態,則i是零常返狀limp(n 通狀態的性1互通狀態的共定通狀態的性1互通狀態的共定理1若ij,則ij有下列共性返態,則同為正常返或同為常返狀i,j有相同的周期ij,mn使證明0,(np(mlN,p(mlnppp(m(l(nss1122sEs12lN,p(mlnppp(m(l(nss1122sEs12p(m)p(l)p(np(lp(mln(lp(n和 (n所以ij同為常返或同為非常返狀態 p(mlnln(l((lplimpn)與limpn)若其一為零，另一個必所以ij若為常返態,ij,Ai所以ij若為常返態,ij,Ai與Aj設didj分別為Ai,Aj的所有因素的最大約數0lA,則p(l 0,1)知p(mln(lj|mldi||mp(mn)又由l的任意性知di|dj同理可證dj|di. ddi2互通狀態的判定理 設j2互通狀態的判定理 設j是常返的且ji,則ij且 推論所有常返狀態構成一閉集定理在常返閉集中互通關系是等價關系若ij，則一定有 嗎若i,jE,有ij，則一定有 嗎當ij時，可由簡單狀態的性質獲知例無限制隨機游動問已知馬鏈的E 例無限制隨機游動問已知馬鏈的E p,pi0p,q1,pq試討論各狀態的常返性解:由條件知，i,jE都有i所有狀態具有相同的常返性。性0Cpppq(n(2mmm2ppCm1(m14 2( (C2ppCm1(m14 2( (C2pq時，級當(np為非常返態1當pq時，該判別法失效2受Stirling公式的啟發,考察級(pq)mCmCm(1)m4mm1與的斂散性的關1m2mC 41(2m)!m2m4m(m!)而幾何級1根據級數收斂1當p1m2mC 41(2m)!m2m4m(m!)而幾何級1根據級數收斂1當pq時2級p(n發散，即為常返態1(2mlim又0為零常返態第四狀態空間的分解、有第四狀態空間的分解、有限Markov一狀態空間的分可唯一的分解為下列不相交的子集之ENC1C2)都是不可分閉集,它們兩兩互不相通,又為基本常返閉集證明采用構造法(略定理每一周期為d的基定理每一周期為d的基本常返閉Ch Ch(0)Ch(1)Ch(d這些Ch(i)(id1后,則自(k)中任一狀態出發,下一步到達Ch(k1),如kd1,則Ch(k1)為Ch000130210000000013000010000013021000000001300001000010P例已01012分解此鏈求各狀態的周期二有限Markov二有限Markov證明 i,jC,則i常返或同為非常返狀態i,jC,都有limpnp(n1)0p(n1)0p(n(lim(n.所以C為正常返狀態有限齊次馬鏈的E,常返狀態有限齊次馬鏈的E中必有正常返狀態對有限齊次馬鏈,由一切非常返狀定理定理構成的集合N一定不是閉集作業33,48第五極限分布和平穩分說明：本第五極限分布和平穩分說明：本節均討論齊次馬鏈一1兩分布的定極限分定義 若馬鏈Xn的絕對分布{pj(n),j當npjjE}無關的分布{qj,jE}(qj則稱{qj,jE}為Xn的極限分布平穩分2定義若馬鏈Xn的一步轉移概率矩iip(jEjip(jEji則稱{,iE}為X的平穩分布in若馬鏈Xn的初始分布是其平穩分布{,iE則Xin推論若馬鏈X存在平穩分布{,iE},ni(jEp(niji若馬鏈X的P1求兩分布01n34,求兩分布若馬鏈X的P1求兩分布01n34,求兩分布若馬鏈X的解n211Pn10n144 4 1111121044()n 141111212141432241121044()n 141111212141432241143311212433P(n)(p(n),p(n))(p,p)P01011213 ,3(p,pn013321二遍歷定義 若對于一切i,jE二遍歷定義 若對于一切i,jE,極limp(n)0j存在，且qj 則稱此鏈為遍歷Xn存在極限分布定理Xn是遍歷鏈事實上，若不可分馬Xn的所有狀態都遍歷態,則Xn為遍歷鏈推非周期、有限不可分鏈是遍歷鏈定理設P是有限齊次馬鏈Xn整數m使得PmP(m)的所有元素均為正數n定理設P是有限齊次馬鏈Xn整數m使得PmP(m)的所有元素均為正數ni,jE,(m證明即Xn為不可分鏈E為有限集Xn為正常返鏈p(m(m), sE, p(m)而有 s0注意到p 至少存在一pp(p(ms0j為非周期狀態，故Xn為遍歷鏈三兩種分布的關定理不可三兩種分布的關定理不可分非周期馬鏈Xn要條件是它存在平穩分布定理若馬鏈Xn的兩分布均存在，則{1,j者必為同一分布，且j遍歷鏈X的遍歷鏈X的兩分布都唯一存在，且均{1,j j不可分非周期有限馬鏈必存在兩分布若存在mN,使得P(m)的所有元素均正數，則Xn的兩分布均存在非常返狀態的分第六一非常返狀態的分第六一ENC1C2iN,P的條件下討論從i1)進入Ck的概率P(Ck /2)C的平均時間(Ci二計算P(Ck定理1若iN,P(Ck/i)pisP(Ck/s)P(Ck/i)pisP(Ck/證明P(Ck/i)pisP(Ck/證明pisP(Ck/s)/s)pkpisP(Ck/s)推論1設jCk,iN,推論 設j為馬鏈的吸收態,則iN都收壁,左、右移一格的概率分別為161停留在原處的概率為12，求質點從狀態出發，分別被吸收于狀態和狀態由題意解收壁,左、右移一格的概率分別為161停留在原處的概率為12，求質點從狀態出發，分別被吸收于狀態和狀態由題意解01216000131216000131200016P00131根據推論2得16fff即1213ffff161213ffff1612根據推論2得16fff即1213ffff161213ffff1612,,.解(2)(3)得1571所以從吸收的概率為7.同理可求從三計算(C)(注書中記為E(Ti定理 設從i(iN出發,三計算(C)(注書中記為E(Ti定理 設從i(iN出發,(C)表示進iC的平均時間,,(C)1pij由全概率公式得證明(C)PX(1)jX(0)i{從i先ijC吸收的時間}p(1jp(1(C))p(1jpp(C)1pjj定理 對于不可分常返馬鏈,若表示i出發首次到達j的平均時間,1pk定理 對于不可分常返馬鏈,若表示i出發首次到達j的平均時間,1pk已知P0.543答案121121413014