1、§ 3.5連續時間泰數的hferkov鏈狀態離散，時間燦連蛭的Wrkov鏈稱為連蛭奏數確rkov鏈定義與例子定義設過程(X,d()是概率空間(QJ ,P)上的隨機過 程，狀態空間為E列12L ,若對于一切的$八°,以及i,jwE, 有P(X怙嚴 jX嚴i,X. =/,0<w<s) = P(XM = /1X, = 0 (3« 5. 2 ) 成立，則稱X,J>0)是狀態空間為ERI2L 上的連續泰數 hferkov 鏈.類似于參數離散的hferkov鏈理論中的轉移輒率，引入連續參敦Kferkov 體的轉移概率.定義U")為 Lhrkov 鏈

2、，當 P(x,“>o時，令禰($j)A P(X, = JIX, =Z),V/>50(3. 5. 3 )稱幾($丿)為過程l4>0|在時刻叩的轉移概率.稱P($j)A ggNi.jwE)為過程XJ20在時刻"的轉移概 率矩陣.在不引起混淆的林提下，本節簡稱連續棗數lrkov鏈為Lfarkov鏈， 只討論齊次的情形，即幾只依檢于I,而與s的具體取值無關.下面給出連續農數hferkov璉的例子.例對于泰數為幾的泊松過程（N（/）eo）,由于滿足平穩 獨立增量性，進而可驗證滿足Wrkov性，于是imo為齊 次的連續泰數Wrkov鏈，其轉移概率為：V/.JeE, P” =尸（

3、N“ =/lN,=/） = r（/V, =0） = ；=f +11N, =/)= P(Nt = 1) = Ate h ； 莎八 J>w； pM = 0Jvi；既然泊松過程是齊次d勺連續耒數Wrkov俊，由定理到達時間 間隔序列hU是相互技立同分布的，服從冬數為人的指數分布， 于是自然會問.泊松過程的這一性質是否可以推廣到齊次的連續泰數 hrkov餞，即后者的到達時間間隔是否也服從指敦分布？下面的定理對此 給出了肯定的回簽.定理設ixr./>o）為連續參數Wrkov鏈，且X。®, 令耳表示在離開i前在狀態，逗留的時間，則匸服從指數分布.上面的定理提供了一個構逍連續時間Wrk

4、ov體的方法，它是具有T面兩條 性質的隨機過程：1）過程在狀態留的時間服從多數為入的指數分布；2）過程離開狀態，將以概率幾到達狀態J,且 W產例（生物群體繁殖過程的模型Yul e過程）設群體中 各個生物的繁殖是相互獨立，強度為久的泊松過程，并且群體 中沒有死亡，記X,表示在t時刻生物體的總數，令x°i,記耳 表示由狀態，增加到狀態訂1所需要的時間.當群體數目為/ 時，這i個個體是以相互獨立的泊松過程產生后代的.由泊松 過程的可加性，這相當于強度為加的泊松過程，由泊松過程 的獨立增童性，X與狀態的轉移是獨立的（宀1）,并且"» 是相互獨立的服從多數為兒的指數隨機變量

5、序列，這表明 ixjno是一個連續時間的hferkov鏈.由數學歸納法，可證注意到于是pj) = P(X( »IX。= 1)= P(X,>jlX0 = l)-P(Xrj + IIX0 = l)此為均值是的幾何分布，而幾相當于一個總量從，個個 體開始的過程的群體在/時間內增加到j的概率，所以稱過程Xjno為Yule過程，它是后面提到的生滅過程的一 個特例.3. 5. 2轉移概率與Koi rrogorov方程下面的定理是連續時間參數的Kferkov俊的C-K方程，運用全槪率公式和 Wrkov性容易證捋.定理 3. 5. 2 Vt jg E ,耳(/ + $) = £久&q

6、uot;)幾($),即IcLP(f + s) = P(f)P($).(3,5.4)直觀上，在很短的時間內發生狀態轉移的可能性很小，用公式表達出來 就是hferkovM的連續性條件.定理下面三個條件等價：Pi、jwE1) 舸禰二爲=：；/；2) !卵必“；3) Ve>0,Vr0.limP(lX,-Xre|X0定理中的條件也稱為正則條件.以下總假定 怕rkov鏈是正則的.下而 兩個定理是關于轉移概率連續性的.定理 有I 卩沁 + 心“ IS 2(1- Pil(h),即轉移概率滿足一致連續性.定理 gjwE, Vr>0,則1) 幾>0；2) 當i*j,若引。使得以。)>0,則

7、©5,有P” >。在離散時間奏數的Wrkov鏈理論中，由一步轉移矩陣p可 以確定任意步的轉移矩陣嚴，在前面的討論中，也可以看到， 對連續時間春數的Whrkov鏈而言，由GK方程也可得到P(t) = | P(h)n P(r)Ji >0j = M + r,0£r<h于是，轉移矩陣P()也可由它在任意小區間/e0./d內的值完全 確定，或P在“ 0點附近的值”完全確定.由此及其函數的 Tayl or展開，有必要考查p在0點的導數是否存在，若存在, 能否唯一確定尸.下面的定理回答了這個問題，不加證明給 出它們.定理 Vi；6E, v/>o,有1）幾在0點的右

8、導數存在，且o“”A I緲上嚴2）當心丿時，仇在0點的右導數存在，且°-A <4<x>3）0 0記矩陣Q = （qJ, q嚴如 由上面的定理可以看出，$反映 了在較短的時間內從狀態i轉移到狀態./的概率的大小，故稱 %為狀態，轉移到狀態j的轉移強度，稱Q"）為轉移強度矩 陣，又由于無論多小（接近0）,它反映了 P在心0,川的 性態，所以也稱Q為無窮小矩陣若矩陣元素滿足“d勺， 即Q的每一行元素之和都為0,則稱Q是保守的；若y都有限， 則稱。是有限的與轉移矩陣P類似，Q也可以用一個有向圖 表示，稱之為轉移強度圖另外，還可以通過下面的審實（多 見文獻21）來理

9、解紐7的含義：X(O)-rJ,表示首次離開狀態f的時卻, 或在狀態f遺留的時間.若則鬥仆+«M 嚴 D"；(3.5. 12)嘰汶IX廠門之"，(3,5.13 )特別地*著務",則幾7g。,表明狀態F為狹收態； 此外，冋 lim 兀=jlX“=<£ c+«) =魚工 Jf 3 5 14 'PD H F-XC A N GE PD H F-XC A N GE N O W ! y N O W ! bu to k lie C m C lie w k to bu y w .d o e u-tr a e k .e w o .d o e u-tr a e k .e i j qij qi . Markov . o m w w w E qi pij (t ' (t =刀 qik ?j E , ?t > 0 pij E lim h 0 Q = qkj ? k E Kolmogorov ' (t = 刀?)iik (t qkj ? t > 0 pij k(t = QP (t P ' (t