第一節馬爾可夫過程及其概率分布一、馬爾可夫過程的概念二、馬爾可夫過程的概率分布三、小結一、馬爾可夫過程的概念

1.馬爾可夫性(無后效性)

馬爾可夫性或無后效性.

即:過程“將來”的情況與“過去”的情況是無關的.馬爾可夫資料2.馬爾可夫過程的定義具有馬爾可夫性的隨機過程稱為馬爾可夫過程.用分布函數表述馬爾可夫性：或寫成并稱此過程為馬爾可夫過程.例1證明說明:

泊松過程是時間連續狀態離散的馬氏過程;維納過程是時間狀態都連續的馬氏過程.

3.馬爾可夫鏈的定義

時間和狀態都是離散的馬爾可夫過程稱為馬爾

可夫鏈,研究時間和狀態都是離散的隨機序列

二、馬爾可夫過程的概率分布1.用分布律描述馬爾可夫性有稱條件概率

2.轉移概率由轉移概率組成的矩陣稱為馬氏鏈的轉移概率矩陣.它是隨機矩陣.說明:

轉移概率具有特點

此矩陣的每一行元素之和等于1.3.平穩性稱轉移概率具有平穩性.同時也稱此鏈是齊次的或時齊的.

稱為馬氏鏈的n步轉移概率一步轉移概率

一步轉移概率矩陣的狀態記為P.設一個單位時間傳輸一級,如圖:分析:例2所以它是一個馬氏鏈,一步轉移概率一步轉移概率矩陣且是齊次的.例3一維隨機游動游動的概率規則1和5這兩點稱為反射壁.上面這種游動稱為帶有兩個反射壁的隨機游動.模擬方法:產生均勻分布的隨機數序,

其中1表示左移;2表示不動;3表示右移.單擊圖形播放/暫停ESC鍵退出一維隨機游動的演示理論分析:所以它是一個馬氏鏈,且是齊次的.

一步轉移概率說明:改變游動的概率規則,隨機游動和相應的馬氏鏈.一步轉移概率矩陣就可得到不同方式的(排隊模型)

設服務系統由一個服務員和只可服務規則：假定一個需要服務的顧客到達系統時發現系統先到先服務,內已有3個顧客(一個正在接受服務,兩個在等候室排隊),隨機到達者

系統

等候室

服務臺

離去者

例4可以容納兩個人的等候室組成:后來者需在等候室依次排隊.則該顧客立即離去.

假設:

有一原來被服務的顧客離開系統(即服務完畢)的進入或離開系統實際上是不可能的.3.再設有無顧客來到與服務是否完畢是相互獨立的.

分析現用馬氏鏈來描述這個服務系統.可知它是一個齊次馬氏鏈.在系統內沒有顧客的條件下,在系統內沒有顧客的條件下,系統內恰有一顧客的條件下,他因服務完畢而離去顧客進入系統或者而另一正在接受服務的顧客將繼續要求服務,

且無人進系統內恰有一顧客正在接受服務的條件下,入系統的概率.正在接受服務的顧客繼續要求服務,個顧客進入系統的概率.且另一正在接受服務的顧客繼續要求服務,間隔內有兩個顧客進入系統的概率,類似地，由假設,后者實際上是不可能發生的.或者一人將離去且另一人將進入系統,或者無人離開系統的概率.

該馬氏鏈的一步轉移概率為1110010011111110011110111111001111111110001101101例5111011011010111101110111101111110011011111100111某計算機房的一臺計算機經常出故障，研究者每隔15分鐘觀察一次計算機運行狀態，收集了24小時的數據(共作97次觀察).用1表示正常狀態,用0表示不正常狀態,所得的數據序列如下:96次狀態轉移的情況:因此,一步轉移概率可用頻率近似地表示為:例6（續例5）已知計算機在某一時段（15分鐘）的狀態為0，問在此條件下從此段起計算機能連續正常工作3刻鐘（三個時段）的條件概率為多少?解

由題意，某一時段的狀態為0就是初始狀態為0，由乘法公式、馬氏性和齊次性得，所求條件概率為補充例題以下研究齊次馬氏鏈的有限維分布.稱它為馬氏鏈的初始分布.特點:用行向量表示為一維分布由初始分布和轉移概率矩陣決定有限維分布仍由初始分布和轉移概率矩陣決定有限維分布仍由初始分布和轉移概率矩陣決定.由此可知：轉移概率決定了馬氏鏈的運動的統計規律.

由以上討論知：因此,馬氏鏈理論中的重要問題之一.三、小結齊次馬氏鏈、平穩性的概念.一步轉移概率矩陣的計算.一步轉移概率

一步轉移概率矩陣