1、一、用法，用來干什么，什么時候用二、步驟，前因后果，算法的步驟，公式三、程序四、舉例五、前面國賽用到此算法的備注一下馬氏鏈模型用來干什么馬爾可夫預測法是應用概率論中馬爾可夫鏈（Markov chain）的理論和方法來研究分析時間序列的變化規律，并由此預測其未來變化趨勢的一種預測技術。什么時候用應用馬爾可夫鏈的計算方法進行馬爾可夫分析， 主要目的是根據某些變量現在的情況及其變動趨向，來預測它在未來某特定區間可能產生的變動，作為提供某種決策的依據。馬爾可夫鏈的基本原理我們知道，要描述某種特定時期的隨機現象如某種藥品在未來某時期的銷售情況，比如說第n季度是暢銷還是滯銷，用一個隨機變量Xn便可以了，但

2、要描述未來所有時期的情況，則需要一系列的隨機變量 X1，X2，Xn，稱 Xt，tT ，T是參數集為隨機過程， Xt 的取值集合稱為狀態空間若隨機過程 Xn 的參數為非負整數， Xn 為離散隨機變量，且 Xn 具有無后效性（或稱馬爾可夫性），則稱這一隨機過程為馬爾可夫鏈（簡稱馬氏鏈）所謂無后效性，直觀地說，就是如果把 Xn 的參數n看作時間的話，那么它在將來取什么值只與它現在的取值有關，而與過去取什么值無關對具有N個狀態的馬氏鏈，描述它的概率性質，最重要的是它在n時刻處于狀態i下一時刻轉移到狀態j的一步轉移概率：若假定上式與n無關，即，則可記為（此時，稱過程是平穩的），并記 （1）稱為轉移概率矩

3、陣轉移概率矩陣具有下述性質：（1）即每個元素非負（2）即矩陣每行的元素和等于1如果我們考慮狀態多次轉移的情況，則有過程在n時刻處于狀態i，n+k時刻轉移到狀態j的k步轉移概率：同樣由平穩性，上式概率與n無關，可寫成記 （2）稱為k步轉移概率矩陣其中具有性質：； 一般地有，若為一步轉移矩陣，則k步轉移矩陣 （3）（2）狀態轉移概率的估算在馬爾可夫預測方法中，系統狀態的轉移概率的估算非常重要估算的方法通常有兩種：一是主觀概率法，它是根據人們長期積累的經驗以及對預測事件的了解，對事件發生的可能性大小的一種主觀估計，這種方法一般是在缺乏歷史統計資料或資料不全的情況下使用二是統計估算法，現通過實例介紹如

4、下例3 記錄了某抗病毒藥的6年24個季度的銷售情況，得到表1試求其銷售狀態的轉移概率矩陣表1 某抗病毒藥24個季度的銷售情況季度銷售狀態季度銷售狀態季度銷售狀態季度銷售狀態11 (暢銷)71(暢銷)131(暢銷)192(滯銷)21(暢銷)81(暢銷)141(暢銷)201(暢銷)32(滯銷)91(暢銷)152(滯銷)212(滯銷)41(暢銷)102(滯銷)162(滯銷)221(暢銷)52(滯銷)111(暢銷)171(暢銷)231(暢銷)62(滯銷)122(滯銷)181(暢銷)241(暢銷)分析表中的數據，其中有15個季度暢銷，9個季度滯銷，連續出現暢銷和由暢銷轉入滯銷以及由滯銷轉入暢銷的次數均為

5、7，連續滯銷的次數為2由此，可得到下面的市場狀態轉移情況表（表2）表2 市場狀態轉移情況表 市場狀態次 數市 場 狀 態下季度藥品所處的市場狀態1（暢銷）2（滯銷）本季度藥品所1（暢銷）77處的市場狀態2（滯銷）72現計算轉移概率以頻率代替概率，可得連續暢銷的概率：分母中的數為15減1是因為第24季度是暢銷，無后續記錄，需減1同樣得由暢銷轉入滯銷的概率：滯銷轉入暢銷的概率：連續滯銷的概率：綜上，得銷售狀態轉移概率矩陣為：從上面的計算過程知，所求轉移概率矩陣P的元素其實可以直接通過表2中的數字計算而得到，即將表中數分別除以該數所在行的數字和便可：Matlab程序：format ratclca=

6、1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1;for i=1:2for j=1:2f(i,j)=length(findstr(i j,a);endendfni=(sum(f')'for i=1:2p(i,:)=f(i,:)/ni(i);endp由此，推廣到一般情況，我們得到估計轉移概率的方法：假定系統有m種狀態S1，S2，Sm，根據系統的狀態轉移的歷史記錄，得到表3的統計表格，以表示系統從狀態i轉移到狀態j的轉移概率估計值，則由表3的數據計算估計值的公式如下：表3 系統狀態轉移情況表狀態次 數 狀 態系統下步所處狀態S1S2Sm

7、系統S1n11n12n1m本步S2n21n22n2m所處狀態Smn m1n m2n mm（3）帶利潤的馬氏鏈在馬氏鏈模型中，隨著時間的推移，系統的狀態可能發生轉移，這種轉移常常會引起某種經濟指標的變化如抗病毒藥的銷售狀態有暢銷和滯銷兩種，在時間變化過程中，有時呈連續暢銷或連續滯銷，有時由暢銷轉為滯銷或由滯銷轉為暢銷，每次轉移不是盈利就是虧本假定連續暢銷時盈r11元，連續滯銷時虧本r22元，由暢銷轉為滯銷盈利r12元，由滯銷轉為暢銷盈利r21元，這種隨著系統的狀態轉移，賦予一定利潤的馬氏鏈，稱為有利潤的馬氏鏈對于一般的具有轉移矩陣的馬氏鏈，當系統由i轉移到j時，賦予利潤rij（i，j=1，2，N

8、），則稱 （5）為系統的利潤矩陣，rij 0稱為盈利，rij 0稱為虧本，rij = 0稱為不虧不盈隨著時間的變化，系統的狀態不斷地轉移，從而可得到一系列利潤，由于狀態的轉移是隨機的，因而一系列的利潤是隨機變量，其概率關系由馬氏鏈的轉移概率決定例如從抗病毒藥的銷售狀態的轉移矩陣，得到一步利潤隨機變量、的概率分布分別為： r11r12r21r22概 率p11p12概 率p21p22其中 p11+ p12 = 1 ，p21+ p22 = 1如果藥品處于暢銷階段，即銷售狀態為i =1，我們想知道，經過n個季度以后，期望獲得的利潤是多少？為此，引入一些計算公式首先，定義為抗病毒藥現在處于，經過步轉移之

9、后的總期望利潤，則一步轉移的期望利潤為：其中是隨機變量的數學期望二步轉移的期望利潤為：其中隨機變量（稱為二步利潤隨機變量）的分布為：例如，若， 則抗病毒藥銷售的一步利潤隨機變量：933-7概 率0.50.5概 率0.40.6抗病毒藥暢銷和滯銷時的一步轉移的期望利潤分別為：二步利潤隨機變量為：9+63-33+6-7-3概 率0.50.5概 率0.40.6抗病毒藥暢銷和滯銷時的二步轉移的期望利潤分別為：一般地定義k步轉移利潤隨機變量的分布為：則系統處于狀態i經過k步轉移后所得的期望利潤的遞推計算式為： （6）當k=1時，規定邊界條件稱一步轉移的期望利潤為即時的期望利潤，并記可能的應用題型題型一、市

10、場占有率預測例題1在購買該藥的總共1000家對象（購買力相當的醫院、藥店等）中，買A、B、C三藥廠的各有400家、300家、300家，預測A、B、C三個廠家生產的某種抗病毒藥在未來的市場占有情況。顧客訂貨情況如下表5：表5 顧客訂貨情況表 下季度訂貨情況合計來自ABCA160120120400B1809030300C1803090300合計5202402401000模型建立與求解一、問題分析目前的市場占有情況為：在購買該藥的總共1000家對象（購買力相當的醫院、藥店等）中，買A、B、C三藥廠的各有400家、300家、300家，那么A、B、C三藥廠目前的市場占有份額分別為：40%、30%、30%

11、稱（0.4，0.3，0.3）為目前市場的占有分布或稱初始分布此外，我們需要查清使用對象的流動情況。流動情況的調查可通過發放信息調查表來了解顧客以往的資料或將來的購買意向，也可從下一時期的訂貨單得出。由題已知顧客訂貨情況如下表5表5 顧客訂貨情況表 下季度訂貨情況合計來自ABCA160120120400B1809030300C1803090300合計52024024010002、 模型的建立2.1模型構建假定在未來的時期內，顧客相同間隔時間的流動情況不因時期的不同而發生變化，以1、2、3分別表示顧客買A、B、C三廠家的藥這三個狀態，以季度為模型的步長（即轉移一步所需的時間），那么根據表5，我們可

12、以得模型的轉移概率矩陣：矩陣中的第一行（0.4，0.3，0.3）表示目前是A廠的顧客下季度有40%仍買A廠的藥，轉為買B廠和C廠的各有30%同樣，第二行、第三行分別表示目前是B廠和C廠的顧客下季度的流向由P我們可以計算任意的k步轉移矩陣，如三步轉移矩陣：從這個矩陣的各行可知三個季度以后各廠家顧客的流動情況如從第二行（0.504，0.252，0.244）知，B廠的顧客三個季度后有50.4%轉向買A廠的藥，25.2%仍買B廠的，24.4%轉向買C廠的藥設表示預測對象k季度以后的市場占有率，初始分布則為，市場占有率的預測模型為 （7）已知，由此，我們可預測任意時期A、B、C三廠家的市場占有率例如，三

13、個季度以后的預測值為： 大致上，A 廠占有一半的市場，B廠、C廠各占四分之一模型（7）可推廣到N個狀態的情形：（8）如果我們按公式（7）繼續逐步求A、B、C三家的市場占有率，會發現，當k大到一定的程度，S (k) 將不會有多少改變，即有穩定的市場占有率，設其穩定值為，滿足事實上，如果市場的顧客流動趨向長期穩定下去，則經過一段時期以后的市場占有率將會出現穩定的平衡狀態，即顧客的流動，不會影響市場的占有率，而且這種占有率與初始分布無關如何求出這種穩定的市場占有率呢？2.2模型求解以A、B、C三家的情況為例，當市場出現平衡狀態時，從公式（7）可得方程S = S P，即由此得經整理，并加上條件，得0.

14、4 0.3 0.3，0.6 0.3 0.1,0.6 0.1 0.3上方程組是三個變量四個方程的方程組，在前三個方程中只有二個是獨立的，任意刪去一個，從剩下的三個方程中，可求出唯一解：， ， 這就是A、B、C三家的最終市場占有率一般N個狀態的穩定市場占有率（穩態概率）可通過解方程組 （9）求得，而（9）的前N個方程中只有N-1個是獨立的，可任意刪去一個。MATLAB程序：format ratp=0.4 0.3 0.3，0.6 0.3 0.1,0.6 0.1 0.3;a=p'-eye(3);ones(1,3);b=zeros(3,1);1;p_limit=ab題型二、期望利潤預測企業追逐市

15、場占有率的真正目的是使利潤增加，因此，競爭各方無論是為了奪回市場份額，還是為了保住或者提高市場份額，在制訂對策時都必須對期望利潤進行預測預測主要分兩步進行：市場統計調查首先調查銷路的變化情況，即查清由暢銷到滯銷或由滯銷到暢銷，連續暢銷或連續滯銷的可能性是多少其次統計出由于銷路的變化，獲得的利潤和虧損情況建立數學模型，列出預測公式進行預測例如，通過市場調查，我們得到如下的銷路轉移表（表6）和利潤變化表（表7）由此，我們來建立數學模型表6 銷路轉移表狀態j可 能 性 狀 態 i暢銷滯銷121暢銷0.50.52滯銷0.40.6銷路轉移表說明連續暢銷的可能性為50%，由暢銷轉入滯銷的可能性也是50%，由滯銷到暢銷為40%，連續滯銷的可能性為60%利潤表說明的是連續暢銷獲利900萬元，由暢銷到滯銷或由滯銷到暢銷均獲利300萬元，連續滯銷則虧損700萬元從而得到銷售狀態的轉移矩陣P和利潤矩陣R分別為：表7 利潤變化表（單位：百萬元）狀態j利 潤 狀 態 i暢銷滯銷121暢銷932滯銷