1、精選文檔第一章 隨機過程的基本概念與基本類型一隨機變量及其分布1隨機變量， 分布函數離散型隨機變量的概率分布用分布列 分布函數連續型隨機變量的概率分布用概率密度 分布函數2n維隨機變量其聯合分布函數離散型 聯合分布列 連續型 聯合概率密度隨機變量的數字特征數學期望：離散型隨機變量連續型隨機變量方差：反映隨機變量取值的離散程度協方差（兩個隨機變量）：相關系數（兩個隨機變量）：若，則稱不相關。獨立不相關特征函數離散連續重要性質：，常見隨機變量的分布列或概率密度、期望、方差分布二項分布泊松分布均勻分布略正態分布指數分布維正態隨機變量的聯合概率密度，正定協方差陣二隨機過程的基本概念隨機過程的一般定義設

2、是概率空間，是給定的參數集，若對每個，都有一個隨機變量與之對應，則稱隨機變量族是上的隨機過程。簡記為。含義：隨機過程是隨機現象的變化過程，用一族隨機變量才能刻畫出這種隨機現象的全部統計規律性。另一方面，它是某種隨機實驗的結果，而實驗出現的樣本函數是隨機的。當固定時，是隨機變量。當固定時，時普通函數，稱為隨機過程的一個樣本函數或軌道。分類：根據參數集和狀態空間是否可列，分四類。也可以根據之間的概率關系分類，如獨立增量過程，馬爾可夫過程，平穩過程等。隨機過程的分布律和數字特征用有限維分布函數族來刻劃隨機過程的統計規律性。隨機過程的一維分布，二維分布，維分布的全體稱為有限維分布函數族。隨機過程的有限

3、維分布函數族是隨機過程概率特征的完整描述。在實際中，要知道隨機過程的全部有限維分布函數族是不可能的，因此用某些統計特征來取代。（）均值函數表示隨機過程在時刻的平均值。（）方差函數表示隨機過程在時刻對均值的偏離程度。（）協方差函數且有（）相關函數(3)和(4)表示隨機過程在時刻，時的線性相關程度。（）互相關函數：，是兩個二階距過程，則下式稱為它們的互協方差函數。，那么，稱為互相關函數。若，則稱兩個隨機過程不相關。復隨機過程均值函數方差函數協方差函數相關函數常用的隨機過程（）二階距過程：實（或復）隨機過程，若對每一個，都有（二階距存在），則稱該隨機過程為二階距過程。（2）正交增量過程：設是零均值的

4、二階距過程，對任意的，有，則稱該隨機過程為正交增量過程。 其協方差函數（3）獨立增量過程：隨機過程，若對任意正整數，以及任意的，隨機變量是相互獨立的，則稱是獨立增量過程。 進一步，如是獨立增量過程，對任意，隨機變量的分布僅依賴于，則稱是平穩獨立增量過程。（4）馬爾可夫過程：如果隨機過程具有馬爾可夫性，即對任意正整數及，都有，則則稱是馬爾可夫過程。（5）正態過程：隨機過程，若對任意正整數及，（）是n維正態隨機變量，其聯合分布函數是n維正態分布函數，則稱是正態過程或高斯過程。（6）維納過程：是正態過程的一種特殊情形。設為實隨機過程，如果，；是平穩獨立增量過程；對任意增量服從正態分布，即。則稱為維納

5、過程，或布朗運動過程。另外：它是一個Markov過程。因此該過程的當前值就是做出其未來預測中所需的全部信息。 維納過程具有獨立增量。該過程在任一時間區間上變化的概率分布獨立于其在任一的其他時間區間上變化的概率。它在任何有限時間上的變化服從正態分布，其方差隨時間區間的長度呈線性增加。（7）平穩過程：嚴（狹義）平穩過程：，如果對任意常數和正整數及，（）與（）有相同的聯合分布，則稱是嚴（狹義）平穩過程。廣義平穩過程：隨機過程，如果是二階距過程；對任意的， ；對任意，或僅與時間差有關。則滿足這三個條件的隨機過程就稱為廣義平穩過程，或寬平穩過程，簡稱平穩過程。第二章 泊松過程一泊松過程的定義（兩種定義方

6、法），設隨機計數過程，其狀態僅取非負整數值，若滿足以下三個條件，則稱：是具有參數的泊松過程。；獨立增量過程，對任意正整數，以及任意的相互獨立，即不同時間間隔的計數相互獨立；在任一長度為的區間中，事件發生的次數服從參數的的泊松分布，即對任意，有，表示單位時間內時間發生的平均個數，也稱速率或強度。，設隨機計數過程，其狀態僅取非負整數值，若滿足以下三個條件，則稱：是具有參數的泊松過程。；獨立、平穩增量過程；。第三個條件說明，在充分小的時間間隔內，最多有一個事件發生，而不可能有兩個或兩個以上事件同時發生，也稱為單跳性。二基本性質，數字特征推導過程要非常熟悉，表示第事件發生到第次事件發生的時間間隔，是時

7、間序列，隨機變量服從參數為的指數分布。概率密度為，分布函數均值為證明過程也要很熟悉到達時間的分布略三非齊次泊松過程到達強度是的函數；獨立增量過程；。不具有平穩增量性。均值函數定理：是具有均值為的非齊次泊松過程，則有四復合泊松過程設是強度為的泊松過程，是一列獨立同分布的隨機變量，且與獨立，令則稱為復合泊松過程。重要結論：是獨立增量過程；若，則，第五章馬爾可夫鏈泊松過程是時間連續狀態離散的馬氏過程，維納過程是時間狀態都連續的馬氏過程。時間和狀態都離散的馬爾可夫過程稱為馬爾可夫鏈。馬爾可夫過程的特性：馬爾可夫性或無后效性。即：在過程時刻所處的狀態為已知的條件下，過程在時刻所處狀態的條件分布與過程在時

8、刻之前所處的狀態無關。也就是說，將來只與現在有關，而與過去無關。表示為 一馬爾可夫鏈的概念及轉移概率1定義：設隨機過程，對任意的整數和任意的，條件概率滿足，則稱為馬爾可夫鏈。馬爾可夫鏈的統計特性完全由條件概率所決定。2轉移概率 相當于隨機游動的質點在時刻處于狀態的條件下，下一步轉移到的概率。記為。則稱為馬爾可夫鏈在時刻的一步轉移概率。若齊次馬爾可夫鏈，則與無關，記為。 稱為系統的一步轉移矩陣。性質：每個元素，每行的和為1。3步轉移概率= ；稱為步轉移矩陣。重要性質： 稱為方程，證明中用到條件概率的乘法公式、馬爾可夫性、齊次性。掌握證明方法： 說明步轉移概率矩陣是一步轉移概率矩陣的次乘方。4是馬

9、爾可夫鏈，稱為初始概率，即0時刻狀態為的概率；稱為絕對概率，即時刻狀態為的概率。為初始概率向量，為絕對概率向量。定理：矩陣形式： 定理： 說明馬氏鏈的有限維分布完全由它的初始概率和一步轉移概率所決定。二馬爾可夫鏈的狀態分類1周期：自某狀態出發，再返回某狀態的所有可能步數最大公約數，即。若，則稱該狀態是周期的；若，則稱該狀態是非周期的。2首中概率：表示由出發經步首次到達的概率。3表示由出發經終于（遲早要）到達的概率。4如果，則狀態是常返態；如果，狀態是非常返（滑過）態。5表示由出發再返回到的平均返回時間。若，則稱是正常返態；若，則稱是零常返態。非周期的正常返態是遍歷狀態。6狀態是常返充要條件是；

10、狀態是非常返充要條件是。7稱狀態與互通，。如果，則他們同為常返態或非常返態，；若，同為常返態，則他們同為正常返態或零常返態，且，有相同的周期。8狀態是遍歷狀態的充要條件是。一個不可約的、非周期的、有限狀態的馬爾可夫鏈是遍歷的。9要求：熟悉定義定理，能由一步轉移概率矩陣畫出狀態轉移圖，從而識別各狀態。三狀態空間的分解1設是狀態空間的一個閉集，如果對任意的狀態，狀態，都有（即從出發經一步轉移不能到達），則稱為閉集。如果的狀態互通，則稱是不可約的。如果狀態空間不可約，則馬爾可夫鏈不可約?；蛘哒f除了之外沒有其他閉集，則稱馬爾可夫鏈不可約。2為閉集的充要條件是：對任意的狀態，狀態，都有。所以閉集的意思是

11、自的內部不能到達的外部。意味著一旦質點進入閉集中，它將永遠留在中運動。 如果，則狀態為吸收的。等價于單點為閉集。3馬爾可夫鏈的分解定理：任一馬爾可夫鏈的狀態空間，必可唯一地分解成有限個互不相交的子集的和，每一個都是常返態組成的不可約閉集；中的狀態同類，或全是正常返態，或全是零常返態，有相同的周期，且。是由全體非常返態組成。 分解定理說明：狀態空間的狀態可按常返與非常返分為兩類，非常返態組成集合，常返態組成一個閉集。閉集又可按互通關系分為若干個互不相交的基本常返閉集。 含義：一個馬爾可夫鏈如果從中某個非常返態出發，它或者一直停留在中，或某一時刻進入某個基本常返閉集，一旦進入就永不離開。一個馬爾可

12、夫鏈如果從某一常返態出發，必屬于某個基本常返閉集，永遠在該閉集中運動。4有限馬爾可夫鏈：一個馬爾可夫鏈的狀態空間是一個有限集合。性質：所有非常返態組成的集合不是閉集；沒有零常返態；必有正常返態；狀態空間，是非常返集合，是正常返集合。不可約有限馬爾可夫鏈只有正常返態。四的漸近性質與平穩分布1為什么要研究轉移概率的遍歷性？ 研究當時的極限性質，即的極限分布，包含兩個問題：一是是否存在；二是如果存在，是否與初始狀態有關。這一類問題稱作遍歷性定理。如果對，存在不依賴于的極限，則稱馬爾可夫鏈具有遍歷性。 一個不可約的馬爾可夫鏈，如果它的狀態是非周期的正常返態，則它就是一個遍歷鏈。 具有遍歷性的馬爾可夫鏈

13、，無論系統從哪個狀態出發，當轉移步數充分大時，轉移到狀態的概率都近似等于，這時可以用作為的近似值。2研究平穩分布有什么意義？判別一個不可約的、非周期的、常返態的馬爾可夫鏈是否為遍歷的，可以通過討論來解決，但求極限時困難的。所以，我們通過研究平穩分布是否存在來判別齊次馬爾可夫鏈是否為遍歷鏈。一個不可約非周期常返態的馬爾可夫鏈是遍歷的充要條件是存在平穩分布，且平穩分布即極限分布=。3是齊次馬爾可夫鏈，狀態空間為，一步轉移概率為，概率分布稱為馬爾可夫鏈的平穩分布，滿足4定理：不可約非周期馬爾可夫鏈是正常返的充要條件是存在平穩分布，且此平穩分布就是極限分布。 推論：有限狀態的不可約非周期馬爾可夫鏈必存

14、在平穩分布。5在工程技術中，當馬爾可夫鏈極限分布存在，它的遍歷性表示一個系統經過相當長時間后達到平衡狀態，此時系統各狀態的概率分布不隨時間而變，也不依賴于初始狀態。6對有限馬爾可夫鏈，如果存在正整數，使，即k步轉移矩陣中沒有零元素，則該鏈是遍歷的。第六章 平穩隨機過程一定義（第一章）嚴平穩過程：有限維分布函數沿時間軸平移時不發生變化。寬平穩過程：滿足三個條件：二階矩過程；均值為常數常數；相關函數只與時間差有關，即。寬平穩過程不一定是嚴平穩過程，而嚴平穩過程一定是寬平穩過程。二聯合平穩過程及相關函數的性質1定義：設和是兩個平穩過程，若它們的互相關函數及僅與時間差有關，而與起點無關，則稱和是聯合平

15、穩隨機過程。 即， 當然，當兩個平穩過程聯合平穩時，其和也是平穩過程。相關函數的性質：；，對于實平穩過程，是偶函數。非負定。若是周期的，則相關函數也是周期的，且周期相同。如果是不含周期分量的非周期過程，與相互獨立，則。聯合平穩過程和的互相關函數，；。和是實聯合平穩過程時，則，。三隨機分析略四平穩過程的各態歷經性時間均值時間相關函數如果以概率成立，則稱均方連續的平穩過程的均值有各態歷經性。如果以概率成立，則稱均方連續的平穩過程的相關函數有各態歷經性。如果均方連續的平穩過程的均值和相關函數都有各態歷經性，則稱該平穩過程是各態歷經的或遍歷的。一方面表明各態歷經過程各樣本函數的時間平均實際上可以認為是

16、相同的；另一方面也表明與必定與無關，即各態歷經過程必是平穩過程。討論平穩過程的歷經性，就是討論能否在較寬松的條件下，用一個樣本函數去近似計算平穩過程的均值、協方差函數等數字特征，即用時間平均代替統計平均。只在一定條件下的平穩過程，才具有各態歷經性。均值各態歷經性定理：均方連續的平穩過程的均值具有各態歷經的充要條件是相關函數各態歷經性定理：均方連續的平穩過程的相關函數具有各態歷經的充要條件是第七章平穩過程的譜分析一平穩過程的譜密度推導過程：隨機過程為均方連續過程，作截尾處理，由于均方可積，所以存在FT，得，利用paserval定理及IFT定義得該式兩邊都是隨機變量，取平均值，這時不僅要對時間區間

17、取，還要取概率意義下的統計平均，即定義為平均功率。為功率譜密度，簡稱譜密度?？梢酝瞥霎斒蔷竭B續平穩過程時，有說明平穩過程的平均功率等于過程的均方值，或等于譜密度在頻域上的積分。平穩過程的譜密度和相關函數構成FT對。若平穩隨機序列，則其譜密度和相關函數構成FT對二譜密度的性質是的FT。如果是均方連續的實平穩過程，有，是也實的非負偶函數，則是的有理分式，分母無實根。譜密度的物理含義，是一個頻率函數，從頻率域來描繪統計規律的數字特征，而是各種頻率簡諧波的疊加，就反映了各種頻率成分所具有的能量大小。計算可以按照定義計算，也可以利用常用的變換對等三窄帶過程及白噪聲過程的功率譜密度窄帶隨機過程：隨機過程

18、的譜密度限制在很窄的一段頻率范圍內。白噪聲過程：設為實值平穩過程，若它的均值為零，且譜密度在所有的頻率范圍內為非零的常數，即，則稱為白噪聲過程。是平穩過程。其相關函數為。表明在任意兩個時刻和，和不相關，即白噪聲隨時間的變換起伏極快，而過程的功率譜極寬，對不同輸入頻率的信號都有可能產生干擾。四聯合平穩過程的互譜密度互譜密度沒有明確的物理意義，引入它主要是為了能在頻率域上描述兩個平穩過程的相關性。互譜密度與互相關函數成對關系性質的實部是的偶函數，虛部是的奇函數，也是。；若和相互正交，有，則。五平穩過程通過線性系統系統的頻率響應函數（也可以寫成）一般是一個復值函數，是系統單位脈沖響應的FT。系統輸入

19、為實平穩隨機過程，則輸出也是實平穩隨機過程。即輸出過程的均值為常數，相關函數是時間差的函數。且有說明輸出過程的相關函數可以通過兩次卷積產生。的應用：給系統一個白噪聲過程，可以從實測的互相關資料估計線性系統的未知脈沖響應。因為，從而輸入輸出譜密度之間的關系稱為系統的頻率增益因子或頻率傳輸函數。有時，采用時域卷積的方法計算輸出的相關函數比較煩瑣，可以先計算輸出過程的譜密度，然后反FT計算出相關函數。另外，所以，補充：排隊輪 平均間隔時間=總時間/到達顧客總數 平均服務時間=服務時間總和/顧客總數 平均到達率=到達顧客總數/總時間 平均服務率=顧客總數/服務時間總和一當顧客到達符合泊松過程時，顧客相繼到達的間隔時間必服從負指數分布。對于泊松分布，表示單位時間平均到達的顧客數，所以表示顧客相繼到達的平均間隔時間。服務時間符合負指數分布時，設它的概率密度函數和分布函數分別為 其中表示單位時間能夠服務完的顧客數，為服務率；而表示一個顧客的平均服務時間。二排隊模型的求解把系統中的顧客數稱為系統的狀態。若系統中有個顧客，則稱系統的狀態是。瞬態和穩態：考慮在t時刻系統的狀態為的概率，它是隨時刻t而變化的，用表示，稱為系統的瞬態。