1、馬爾可夫過程及其應用馬爾可夫過程的簡介馬爾科夫過程(MarKov Process)是一個典型的隨機過程。設X(t)是一隨機過程，當過程 在時刻t0所處的狀態為已知時，時刻t(tt0)所處的狀態與過程在t0時刻之前的狀態無關， 這個特性成為無后效性。無后效的隨機過程稱為馬爾科夫過程。馬爾科夫過程中的時同和狀 態既可以是連續的，又可以是離散的。我們稱時間離散、狀態離散的馬爾科夫過程為馬爾科 夫鏈。馬爾科夫鏈中，各個時刻的狀態的轉變由一個狀態轉移的概率矩陣控制。馬爾可夫過程的一般概念2.1定義設有一隨機過程 X(t), tT,若在 t1,t1, tn-1,tn(t1t2tnTtnT)時刻對 X(t)

2、觀測得到相應的觀測值x1,x2,xn-1,xn滿足條件:或則稱此類過程為具有馬爾科夫性質的過程或馬爾科夫過程，簡稱馬氏過程。其中F (x ; t I x , x , , x , x ; t , t , , t , t )X n n n-1 n - 22 1 n-1 n - 22 1代表在X(tn-1)=xn-1,X(t2)=x2；X(t1)=x1,的條件下;時刻X(tn)取xn值的條件分布函數。若把tn-1看做“現在，因為t1t2tn-1tn則tn就可以看成“將來”，t1,t2,，tn-2 就當做“過去”。因此上述定義可表述為在現在狀態X(tn-1)取值為xn-1的條件下，將來狀 態X(tn)

3、與過去狀態X(tn-2)X(tn-3), ,X(t1)是無關的。2.2轉移概率分布定義馬氏過程的轉移概率分布為F (x ;t I x ;t )= P(x (t ) x I X (t ) = x X n nn-1 n-1n nn-1n-1F (x;11 x ;t )= P(X (t) tX0 000(轉移概率分布是條件概率分布，對X而言，它是一個分布函數，有以下性質:1)FX(x;t|x0;t0)=02)FX(8；t|x0;t0)=13)FX(-8；t|x0;t0)=04)5)滿足切普曼-科爾莫哥洛夫方程FX(x;t|x0;t0)是關于x的單調非降、右連續的函數。x ; t ) = 1(x x

4、)此時，無后效性可表示為f (x ; t I x ; x , x , x ; tX n n n1 n 221】=f (x ;t I x ;t .).X n nn 1 n 1馬氏過程的轉移概率密度也滿足切普曼-科爾莫哥洛夫方程f (x ;t I x ;t )= J 8 f (x ;t I x ;t )f (x ;t I xX n n k kX n n r r X r r k8n-1 n 212, t1 );t )dx , t t tk r n r kF G; 11 工;t )=技 F G; 11 工;t )dF G ; t I 工;t )X0 0_8 X1 1 X 11 0 0dF (工;t I

5、 工;t )= f G ;t I 工;t )dx ,t t tX 10 0 X 1 10 01 01應用全概率公式,可以證明上式成立。2.3轉移概率密度如果FX(x;t|x0;t0)關于x的導數存在,則:f (x;11 x ;t )=gF (x;11 x ;t ) TOC o 1-5 h z X0 0Qx X0 0稱之為馬爾科夫過程的轉移概率密度。反之，可得Jx f (u;11 x ;t )= Jx dF (u;11 x ;t )= F (x;11 x ;t )8 X0 08 X0 0 X0 0并且還有J 8 f (x; 11 x ; t )dx = F (3; 118 X0 0Xf (x;

6、t I x ; t )5馬爾可夫過程的統計特性及性質由前面的內容可知，隨機過程的統計特性可由有限維聯合概率分布來近似的描述。對于馬爾科夫過程來說，其維概率密度可以表示為f (x , x , , x ; t , t , , t ),x ; t , t , , t )n -1 1 2 n -1:;t I x ; t )f (x ; t )2 21 1 X 1 1X12 n 12 nf(x; tI x , x , , x ; t, t ,I x ; t ) f (xX n n 1 2. n-1 1 2-f (x ; t I x ; t ) f (x ; t* *X n n n-1 n-1 Xn-1

7、n-1-f (x ; QH 1 f (x ; t 1 x ; Dt t trts則在已知Xr(過程在t時刻的條件下)，隨機變量Xn和Xs是獨立的，滿足f (x ,x ;t ,t I x ;t )= f (x ;t I x ;t )f (x ;t I x ;t )X n s n s r r X n n r r X s s r r若對每個t=t1t2, X(t2)-X(t1)與 X(t)皆是獨立的，則過程X(t)是馬氏過程。由轉移概率密度的無后效性可推出E X (t ) I X (t 1), , X (t-E _ X (t ) I X (t馬爾可夫過程的應用4.1馬爾可夫應用概述馬爾可夫隨機過程的

8、發展史說明了理論與實際之間的密切關系。許多研究方向的提出， 歸根到底是有其實際背景的。反過來，當這些方向被深入研究后，又可指導實踐，進一步擴 大和深化應用范圍。下面簡略介紹一下馬爾可夫隨機過程本身在各方面的應用情況。在物理學方面，高能電子或核子穿過吸收體時，產生級聯(或倍增)現果在研究電了- 光子級聯過程的起伏問題時，要用到隨機過程，常以泊松過程、弗瑞過程或波伊亞過程作為 實際級聯的近似，有時還要用到更新過程(見點過程)的概念。當核子穿到吸收體的某一深 度時，則可用擴散方程來計算核子的概率分布。物理學中的放射性衰變，粒子計數器，原子 核照相乳膠中的徑跡理論和原子核反應堆中的問題等的研究，都要用

9、到泊松過程和更新理論。 湍流理論以及天文學中的星云密度起伏、輻射傳遞等研究要用到隨機場的理論。探討太陽黑 子的規律及其預測時，時間序列方法非常有用。化學反應動力學中，研究化學反應的時變率及影響這些時變率的因素問題,自動催化反 應，單分子反應,雙分子反應及一些連鎖反應的動力學模型等，都要以生滅過程（見馬爾可 夫過程）來描述。隨機過程理論所提供的方法對于生物數學具有很大的重要性，許多研究工作者以此來構 造生物現象的模型。研究群體的增長問題時，提出了生滅型隨機模型，兩性增長模型，群體 間競爭與生剋模型，群體遷移模型，增長過程的擴散模型等等。有些生物現象還可以利用時 間序列模型來進行預報。傳染病流行問

10、題要用到具有有限個狀態的多變量非線性生滅過程。 在遺傳問題中，著重研究群體經過多少代遺傳后，進入某一固定類和首次進入此固定類的時 間，以及最大基因頻率的分布等。許多服務系統，如電話通信，船舶裝卸，機器損修，病人候診，紅綠燈交換，存貨控制， 水庫調度，購貨排隊，等等，都可用一類概率模型來描述。這類概率模型涉及的過程叫排隊 過程，它是點過程的特例。排隊過程一般不是馬爾可夫型的。當把顧客到達和服務所需時間 的統計規律研究清楚后，就可以合理安排服務點。在通信、雷達探測、地震探測等領域中，都有傳遞信號與接收信號的問題。傳遞信號時 會受到噪聲的干擾，為了準確地傳遞和接收信號，就要把干擾的性質分析清楚，然后

11、采取辦 法消除干擾。這是信息論的主要目的。噪聲本身是隨機的，所以概率論是信息論研究中必不 可少的工具。信息論中的濾波問題就是研究在接收信號時如何最大限度地消除噪聲的干擾， 而編碼問題則是研究采取什么樣的手段發射信號，能最大限度地抵抗干擾。在空間科學和工 業生產的自動化技術中需要用到信息論和控制理論，而研究帶隨機干擾的控制問題，也要用 到馬爾可夫隨機過程。4.2馬爾可夫應用舉例假定西安電子科技大學有1萬學生，每人每月用1支牙膏，并且只使用“中華”牙膏 與“黑妹”牙膏兩者之一。根據本月（12月）調查，有3000人使用黑妹牙膏，7000人使 用中華牙膏。又據調查，使用黑妹牙膏的3000人中，有60%

12、的人下月將繼續使用黑妹牙膏， 40%的人將改用中華牙膏；使用中華牙膏的7000人中，有70%的人下月將繼續使用中華牙 膏，30%的人將改用黑妹牙膏。據此，可以得到如表一1所示的統計表。表一1兩種牙膏之間的轉移概率擬用黑妹牙膏中華牙膏現用黑妹牙膏60%40%中華牙膏30%70%上表中的4個概率就稱為狀態的轉移概率，而這四個轉移概率組成的矩陣60% 如”30% 70%稱為轉移概率矩陣。可以看出，轉移概率矩陣的一個特點是其各行元素之和為1。在本例中， 其經濟意義是：現在使用某種牙膏的人中，將來使用各種品牌牙膏的人數百分比之和為1。2.用轉移概率矩陣預測市場占有率的變化有了轉移概率矩陣，就可以預測，到

13、下個月（1月份）使用黑妹牙膏和中華牙膏的人數，計算過程如下:(30007000)60% 40%30% 70%=(3900,6100)即：1月份使用黑妹牙膏的人數將為3900，而使用中華牙膏的人數將為6100。假定轉移概率矩陣不變，還可以繼續預測到2月份的情況為:這里(3900,6100)=(3000,7000)(3000,7000)60%30%40%70%60%30%60%30%00%30%40%70%40% 60% 40%70% 30% 70%40%7。=(4170,5830)稱為二步轉移矩陣，也即由12月份的情況通過2步轉移到2月份的情況。二步轉移概率矩陣正好是一步轉移概率矩陣的平方。一般

14、地，k步轉移概率矩陣正好是一步轉移概率矩陣的k次方。可以證明，k步轉移概率矩陣中,各行元素之和也都為1。轉移概率矩陣案例分析 案例一：用轉移概率矩陣預測市場占有率的變化1有了轉移概率矩陣，就可以預測，到下個月（1月份）使用黑妹牙膏和中華牙膏的人數，計算過程如下:(3000,7000)60% 40%30% 70%=(3900,81。)即：1月份使用黑妹牙膏的人數將為3900，而使用中華牙膏的人數將為6100。假定轉移概率矩陣不變，還可以繼續預測到2月份的情況為:(3900,0100)60%30%40%70%(3000,7000)60%30%40%70%60% 40%30% 70%(3000,7000)60%30%40%70%=(4170,5830)這里160% 40% 30% 70%稱為二步轉移矩陣，也即由12月份的情況通過2步轉移到2月份的情況。二步轉移概率矩 陣正