復習1、信息的定義：

信息是指各個事物運動的狀態及狀態變化的形式。

是事物運動狀態或存在方式的不確定性的描述。

2、信息論的定義

關于信息的本質和傳輸規律的科學理論，是研究信息的度量、發送、傳遞、交換、接收和儲存的一門新興學科。它為各種具體的信息技術提供理論依據，而信息技術則以此為根據去研究如何實現、怎樣實現的問題。3、信息、消息和信號的關系：消息是含有信息的語言,文字和圖像等,是具體的,它承載信息.信號是消息的物理體現，是信息的載體。14、數字通信系統的模型信源編碼器信道干擾源信宿解碼器編碼器：把消息變成適合信道傳輸的信號。

信源編碼：對信源輸出的消息（符號）進行變換和處理，提高信息傳輸效率。

信道編碼：對信源編碼器的輸出進行檢錯和糾錯處理，提高信息傳輸的可靠性信源：離散信源、連續信源。

核心問題是信息的度量。信道：傳遞信息的通道。信道的核心問題是信道容量的大小通信系統的中心問題是在噪聲下如何有效而可靠地傳送信息,實現這一目標的主要方法是編碼。---香農2第二章信源及信源熵第一節信源的描述和分類第二節離散信源熵和互信息第三節連續信源的熵和互信息第四節離散序列信源的熵第五節

冗余度3第一節信源的描述和分類一、消息的統計特征

香農信息論運用概率論和隨機過程的理論來研究信息。有必要首先了解消息的統計特征。

信源發出的消息，表現形式是符號或符號序列。符號的出現是隨機的，事先無法確定的，因而符號的出現（即信源發出某一消息）才提供一定的信息。否則，若符號的出現是預先能確知的，就不能提供任何信息。舉例1：隨機取球試驗袋子里有100個球，其中80個紅球，2個白球。每次取一個球，記錄顏色，放回。試驗即信源，發出兩種消息：紅球，白球。顯然，兩種消息出現的概率分別是0.8和0.2。4舉例2：擲骰子試驗試驗即信源，發出六種消息：“朝上的面是n點”,n=1,2…6。顯然，每種消息出現的概率都是1/6。舉例3：隨機取球試驗袋子里有100個球，全是紅球。隨機取球，記錄顏色，放回。幾種消息？概率？提供多少信息？初步理解為什么香農從隨機不確定性的角度研究信息二、用概率空間來描述信源（信源的數學模型）信源發出的消息具有隨機性，因而可以用一個隨機變量X來描述消息。每個消息都有其統計概率，因而可以用所有消息的概率（構成概率空間）來描述信源。

如：例2的隨機取球試驗.6種消息分別用符號a1,a2…a6表示。隨機變量X的樣本空間為符號集A={a1,a2,a3,a4,a5,a6}.各符號的先驗概率：P(X=ai)=P(ai)=1/6,i=1,2…6.該信源可以描述為：5三、信源的分類1、按照信源發出的消息在幅度上的分布情況分類：{信源離散信源連續信源6（1）離散信源

離散信源是指發出在幅度上離散分布的消息的信源，如文字、數字、數據等符號都是離散消息?；颍合盗坑邢薜男旁?。

或：可以用離散型隨機變量及其概率空間來描述的信源

舉例：擲骰子試驗。隨機變量X為離散型隨機變量。

若把消息變換成信號，用六種幅度的電脈沖表示6種符號，輸出幅度上離散的信號。（2）連續信源

連續信源是指發出在幅度上連續分布的消息的信源，如語言、圖像、圖形等都是連續消息?；颍合盗繜o限的信源。

或：可以用連續型隨機變量及其概率空間來描述的信源

舉例：隨機取電池試驗（測量電壓值）。該如何描述此信源？

72、按照信源發出的符號之間的關系分類：

任意連續信源的數學模型為{信源無記憶信源有記憶信源（1）單符號信源和符號序列信源前述各離散或連續信源都是單符號信源----信源（試驗）每次發出一個符號（消息的長度為1）。更多信源輸出的消息需要用多個符號（即符號序列）來表示，如：隨機取球試驗，一次取兩個球。多少種消息？83種消息：“紅紅”、“白白”、“紅白或白紅”；用符號序列表示個消息。這種信源稱為符號序列信源。（2）符號序列信源用多維隨機變量（隨機矢量或隨機序列）及其概率空間來描述。如上面的離散符號序列信源：

9

離散無記憶信源所發出的各個符號是相互獨立的，發出的符號序列中的各個符號之間沒有統計關聯。

離散有記憶信源所發出的各個符號的概率是有關聯的。

（3）符號序列信源分為無記憶信源和有記憶信源自己舉例：？如：隨機取球自己分析英語信源的記憶性3、連續信源的進一步討論

（1）時間連續、幅度連續信源（隨機波形信源）

人就是一種隨機波形信源。語音是時間和幅度都連續的消息。由換能器（如：話筒）轉換成模擬電信號，稱為語音信號。它是隨機信號（隨機過程）。因而隨機波形信源用隨機過程來描述。

10補充內容：隨機過程定義：

設隨機試驗E的可能結果為，試驗的樣本空間S為{x1(t),x2(t),…xi(t),…}，i為正整數。xi(t)是第i個樣本函數（又稱為第i個實現），每次試驗之后，隨機地取樣本空間S中的某一個樣本函數，于是稱為隨機函數。當t為時間變量時，稱為隨機過程。注意：與隨機變量的區別。隨機過程舉例：通信機輸出的噪聲。11平穩隨機過程過程的統計特性不隨時間的推移而變化。

X(t)的聯合概率密度函數：

則稱該隨機過程為嚴(格)平穩隨機過程。

寬（廣義）平穩隨機過程：統計均值=時間均值，統計自相關=時間自相關*（補充完畢）（2）時間離散、幅度連續信源

時間離散、幅度連續信號。

抽樣器對后面的電路而言，就是時間離散、幅度連續信源。12一、消息的統計特征二、用概率空間來描述信源（信源的數學模型）三、信源的分類補充內容：隨機過程13（1）一種離散有記憶信源

輸出符號序列，符號之間有統計依賴性。但依賴性是有限的。某時刻輸出的符號只與前面的m個符號有關，而與更前面的那些符號無關，此時稱信源的記憶長度為m+1,這樣的信源叫做m階馬爾可夫信源?？梢杂眯旁窗l出符號序列內各個符號之間的條件概率來反映記憶特征。符號序列中各符號的聯合概率為：

4、馬爾可夫信源14m=1，1階的馬爾可夫信源：某時刻輸出的符號只與前面的1個符號有關，而與更前面的那些符號無關。（2）馬爾可夫信源用馬爾可夫鏈描述

其實，馬爾可夫信源輸出的符號序列就是數學上的馬爾可夫鏈。馬爾可夫鏈是一種馬爾可夫過程。

15（3）馬爾可夫信源的狀態轉移概率狀態：m階的馬爾可夫信源在某時刻輸出的符號取決于之前輸出的m個符號。就定義這m個符號為此時刻的狀態。16信源在某時刻的輸出符號與此時刻所處的狀態有關：狀態轉移概率：17齊次馬爾可夫信源的狀態轉移概率：齊次：狀態轉移概率與時間無關（4）馬爾可夫信源的狀態轉移矩陣：轉移概率構成的矩陣18（5）C-K方程（Chapman-Kormotopob,切普曼-柯爾莫郭洛夫)轉移概率之間的關系：證明：（略）參考書1理解：全概率公式對于齊次鏈，方程為：證明：用C-K方程證明。思路：（6）無條件概率

：除了狀態轉移概率（條件概率），還關心某時刻處于各狀態的概率。與初始狀態有關（遍歷的馬氏鏈則無關）19（7）遍歷的馬爾可夫鏈及其穩態分布：遍歷的馬爾可夫鏈：理解：無論從哪個狀態開始，經過多次（m次）轉移，到達任意另一個狀態的概率都不為0，即隨著馬氏信源的不斷輸出，一定經歷過所有狀態。遍歷的馬爾可夫鏈，其具有漸近性：20結論：k趨于無窮大時，矩陣的每一行趨于相等。無論從哪個狀態開始，經過若干步轉移，到達任意另一個狀態的概率都相等.即存在極限值。此時，馬爾可夫鏈處于某種狀態的概率不再隨時間而變化，稱它達到平穩，呈穩態分布。21遍馬氏鏈的穩態概率分布：22（8）馬爾可夫鏈遍歷性的判斷定理：一個不可約、非周期的有限狀態的馬爾可夫鏈一定是遍歷的（9）馬爾可夫鏈的狀態轉移圖：不可約性：在《隨機過程》中，用子集來分析設C是狀態空間的一個子集，如果從C內任意狀態i不能到達C外的任意狀態，則稱C為閉集。如：下圖中(S2,S3)構成一個閉集。整個狀態空間也是一個閉集（S1,S2,S3)。23如：右圖中(S2,S3)構成一個閉集。整個狀態空間也是一個閉集（S1,S2,S3)如果除了整個狀態空間外，沒有別的閉集。則稱這個馬氏鏈是不可約的。24周期性：定義：如果有正整數d,d>1。只有當n=d,2d,3d,…時，或者說：當n不能被d整除時，

。則稱i狀態是具有周期性的狀態，該馬氏鏈為周期性的馬氏鏈。非周期性：25（10）馬爾可夫鏈信源舉例：例2-1相對編碼器輸出序列是不是馬爾可夫鏈？1階的馬爾可夫鏈r=2時考察各時刻的狀態轉移矩陣

：1階，兩個狀態（0和1）26齊次的馬爾可夫鏈？狀態轉移圖：遍歷？穩態分布：27經過長時間轉移，馬爾可夫信源進入平穩狀態，各狀態的概率不再隨時間而改變，都為1/2。例2-22階的馬爾可夫鏈。X∈{0,1},即：二進制馬氏信源。已知條件概率P(aj|Si)，求狀態轉移概率。判斷遍歷性。若是遍歷的，求穩態分布，并求穩態時各個符號出現的概率。解：起始狀態符號01000110111/21/31/41/51/22/33/44/5某狀態下某符號出現的概率，矩陣表示如下：由此求出狀態轉移概率28方法：狀態為S0=00時，若輸出符號1，到達狀態S1=01,此概率為1/2狀態轉移圖：29穩態分布：解得：w0=3/35w1=6/35w2=6/35w3=4/7穩態時，符號0和符號1出現的概率30復習：馬爾可夫信源（2）馬爾可夫信源用馬爾可夫鏈描述（1）馬爾可夫性（3）馬爾可夫信源的狀態轉移概率31（4）馬爾可夫信源的狀態轉移矩陣（5）C-K方程

（轉移概率之間的關系）對于齊次鏈，（6）無條件概率

：某時刻處于各狀態的概率（7）遍歷的馬爾可夫鏈用狀態轉移圖判斷：一個不可約、非周期的有限狀態的馬爾可夫鏈一定是遍歷的32遍歷的馬爾可夫鏈，其具有漸近性，穩態分布概率：（8）馬爾可夫鏈信源舉例：例2-1相對編碼器例2-22階的馬爾可夫鏈。X∈{0,1},即：二進制馬氏信源。已知條件概率P(aj|Si)，求狀態轉移概率。判斷遍歷性。若是遍歷的，求穩態分布，并求穩態時各個符號出現的概率。33第二節離散信源熵和互信息主要內容：單符號離散信源的信息度量。包括：每個符號的自信息量，平均信息量（熵），互信息。自信息量定義：一個隨機事件的自信息量定義為其出現概率對數的負值（或對概率的倒數取對數）。即:34單位：若以2為對數底，-lbP(xi)單位為比特（bit）；若取自然對數，-lnP(xi)單位為奈特（nat）；若以10為對數底，單位為笛特（det）。三個信息量單位之間的轉換關系如下：

1nat＝log2e=l.433bit，ldet＝log210=3.322bit35舉例2：一個以等概率出現的二進制碼元（0，1）兩符號的自信息量為：I（0）=I（1）=-log2（1/2）=lb2=1bit

例題2-3：英文字母中“e”出現的概率為0.105，I（e）=-log20.105=3.25bit自信息量I(xi)的性質：條件自信息量：36自信息量和不確定度2、離散信源的熵定義：隨機事件的自信息量在數量上等于它的不確定度。兩者的單位相同，但含義卻不相同。具有某種概率分布的隨機事件不管發生與否，都存在不確定度，不確定度表征了該事件的隨機特性。自信息量是在該事件發生后給予觀察者的信息量。所以：I(xi)表示符號發出前的不確定度；又表示符號發出后所攜帶的信息量。37所以：H(X)表示信源（輸出前的）不確定度；又表示輸出后符號的平均信息量。單位：以2為底時，單位為bit/符號38物理含義：信源輸出前的平均不確定度為1.5/符號；信源輸出后平均每個消息提供的信息量為1.5bit/符號；表明和區分信源中的每個符號需要用1.5bit。例題2-6：電視屏上約有

500×600=3×105個格點，按每點有

10個不同的灰度等級考慮，則共能組成n=103x10個不同的畫面。按等概率1/103x10計算，平均每個畫面可提供的信息量為：39例題2-7該信源X輸出符號只有兩個，設為0和1。輸出符號發生的概率分別為p和q，p＋q=l。即信源的概率空間為：

則二元信源熵為：

H（X）=-plogp-qlogq

=-plogp-(1-p)log(1-p)=H(p)

從圖中看出，如果二元信源的輸出符號是確定的，即p=1或q=1，則該信源不提供任何信息。極值點為p=1/2,當符號0和1以等概率發生時，信源熵達到極大值，lb2=1（bit/符號）。

結論推廣：n個符號組成的離散信源,最大熵為lbn(bit/符號）40例題2-4一個布袋內放100個球，其中80個球是紅色的，20個球是白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。解:信源模型為

1）如果摸出的是紅球，則獲得的信息量是

I（x1）=-lbp(x1)=-lb0.8bit2)如果摸出的是白球，則獲得的信息量是

I（x2）=-lbp(x2)=-lb0.2bit3)

如果每次摸出一個球后又放回袋中，再進行下一次摸取。則如此摸取n次，紅球出現的次數為np(x1)次，白球出現的次數為np(x2)次。隨機摸取n次后總共所獲得的信息量為

np(x1)I(x1)+np(x2)I(x2)41條件熵：H(X|Y)I(x|y)兩個信源X，Y。符號集分別為X={x1,x2…xi..xn}和Y={y1,y2…yj..yn}。兩個信源發出符號時并不相互獨立。在符號yj出現的條件下，符號xi出現的概率為P(xi|yj)。條件自信息量為：I(xi|yj)=-logP(xi|yj)①在給定符號yj的條件下，信源X的條件熵H(X|yj)為:42②在給定信源Y(即各符號yj

)的條件下，信源X的條件熵為:結論：條件熵H(X|Y)是條件自信息量I(xi|yj)在聯合符號集(X,Y)上的聯合概率加權統計平均值③在給定信源X(即各符號xi)的條件下，信源Y的條件熵為:聯合熵：H(X,Y)聯合熵是聯合符號集(X,Y)上的每對符號(xi,yj)的聯合自信息量I(xi,yj)的聯合概率加權統計平均值。43

H(XY)＝H(X)＋H(Y|X)H(XY)＝H(Y)＋H(X|Y)

聯合熵H(X,Y)與熵H(X)及條件熵H(X|Y)之間的關系

理解和記憶：從信息的可加性角度來理解。兩個信源的聯合熵H(X,Y)一定大于其中一個信源的熵。它等于一個信源的熵再加上給定該信源后另一個信源的熵。當二者相互獨立時，H(Y|X)=H(Y)，聯合熵就等于它們熵的和，H(XY)＝H(X)＋H(Y)4445例題2.8二元信源X,

經過離散無記憶信道后，輸出（構成一個信源）用Y表示。符號轉移矩陣為：試求:H(X),H(Y|X),H(X,Y),H(Y),H(Y|X)

解：（1）據定義：（2）已知P(yj|xi),只要求出P(xi,yj)，即可求得H(Y|X)46（3）H(Y,X)=H(X)+H(Y|X)=0.92+0.88=1.8(bit/符號）（4）已知P(xi,yj),可求出P(yj)，從而求得H(Y)47（5）H(X|Y)=？代關系式：H(X|Y)=H(Y,X)-H(Y)=1.8-1.47=0.33(bit/符號)也可以先求出P(xi|yj),然后由定義計算H(X|Y).48例題2.9二進制通信系統使用符號0和1。由于存在失真，傳輸時會產生誤碼。用符號表示一下事件：u0=1個0發出，u1=1個1發出;v0=1個0收到，v1=1個1收到。且給定下列概率P(u0)=1/2,P(v0|u0)=3/4,P(v0|u1)=1/2①已知發出1個0，求收到符號后得到的信息量。②已知發出的符號，求收到符號后得到的信息量。③已知發出和收到的符號，求能得到的信息量。④已知收到的符號，求被告知發出的符號得到的信息量。49解：可以理解為兩個信源之間的關系。發送端為信源U,接收端為信源V.發送0，接收到的符號可能為0也可能為1。所以第1問求給定u0條件，信源V的平均信息量H(V|u0)。50513、互信息回顧：消息發出前，不確定度為I(xi);

消息發出后，提供的信息量為I(xi);同理：在例2.8中，信源不確定度為H(X)=0.92bit/符號；條件熵H(X|Y)=0.33bit/符號。接收端收到消息后,不確定度沒有被完全消除，仍存在的不確定度(又叫疑義度)為H(X|Y)=0.33bit/符號如果消息被受信者完全接收，不確定性被完全消除。獲得了全部的信息量I(xi);如果由于信道的干擾，不確定性沒有被完全消除，仍存在不確定度。那么接收者只獲得了部分信息量（小于I(xi)).消除的不確定度為H(X)-H(X|Y)=0.59bit/符號。或者說接收者獲得的信息量為0.59bit/符號。這就是（平均）互信息。52后驗概率與先驗概率比值的對數:（2）平均互信息：互信息量I(xi;yj)在（X,Y)上的統計平均值（1）互信息的定義

（3）互信息的物理意義討論：什么情況下，I(X;Y)=0?;何時I(X;Y)=H(X)?53若干擾足夠大，X與Y相互獨立，H(X|Y)=H(X),則I(X;Y)=0就收不到任何關于X的信息.全損離散信道若沒有干擾，Y是X的確知一一對應函數，疑義度H(X|Y)=0,，完全收到了X的信息H(X)。無擾離散信道

(4)證明，I(X;Y)＝H(X)-H(X|Y)54互信息I(X;Y)就是信道中傳輸的信息量。

(5)從信道的角度理解互信息：由于信道中的干擾，傳輸過程中會丟失信息；收到消息后仍存在對信源X的不確定性?？梢哉J為，丟失的信息量為H(X|Y)，那么收到的信息就是H(X)-H(X|Y)=I(X;Y)。

H(Y|X)又叫噪聲熵。假設信道中的噪聲為n，發送符號為x,則接收符號為y=x+n。已知發送符號x,要確定接收符號y，就需要知道噪聲的大小。確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區分X中的每個符號所需要的平均信息量就是信源的熵H(X).（6）收、發兩端的熵關系55例題2-10加深對互信息的理解序列信源，發送其中的011序列。接收時，符號一個個地被接收①接收到第1個符號0時，消除了部分不確定性，獲得了部分關于序列011的信息:②接收到第2個符號1時，又消除了部分不確定性，獲得的關于序列011的信息量為:③接收到第3個符號1時，又消除了部分不確定性，獲得的關于序列011的信息量為，56（7）I(X;Y)是關于P(xi)和P(yj|xi)的凸函數57584、數據處理中信息的變化（互信息應用）首先了解三變量情況下的互信息及平均互信息59意義:聯合事件(yj,zk)出現后所提供的關于xi的信息量I(xi;yjzk)等于zk事件出現后提供的關于xi的信息量I(xi;zk),加上在給定zk條件下再出現yj事件后所提供的有關xi的信息量I(xi;yj|zk)606162經過兩級處理，信息的變化：假設條件:給定Y條件下，X與Z是相互獨立的，I(X;Z|Y)=0.

假設是合理的。因為，給定Y時，Z不必關心X的取值(如圖形處理）63645、熵的性質（1）非負性：（2）對稱性：熵函數對于所有變元可以互換，而不影響函數值的大小（3）確定性：某一個符號的概率為1（必然事件），不存在不確定性。（4）香農輔助定理：（香農不等式）65（5）最大熵定理：離散無記憶信源輸出M個不同的符號，當且僅當各個符號出現的概率相等(Pi=1/M)時，信源的熵最大，logM.

此時各個符號的不確定性最大。（6）條件熵小于無條件熵；兩個條件下的熵小于1個條件下的熵H(Y|X)≤H(Y)∵I(X;Y)=H(Y)-H(Y|X)≥0H(Z|X,Y)≤H(Z|Y)H(X,Y)≤H(X)+H(Y)自己能證明嗎？何時取等號？66H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)

互信息量與熵之間的關系圖（總結）H(X,Y)=H(X)＋H(Y/X)=H(Y)＋H(X|Y)H(X)≥H(X|Y)，H(Y)≥H(Y|X)I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)＋H(Y)-H(XY)H(XY)≤H(X)＋H(Y)如果X與Y互相獨立，則I(X:Y)＝0

此時：H(XY)＝H(X)+H(Y)H(X)＝H(X|Y)H(Y)＝H(Y|X)67第三節離散序列信源的熵回顧：離散序列信源(單符號信源的L次擴展）設單符號信源X,X∈{x1,x2,…xn},經過L次擴展后輸出的隨機序列為：序列信源可以描述為：其中：各符號序列的概率為：68定義：符號序列信源的序列熵為69一、離散無記憶信源的序列熵H(X)為擴展前單符號信源的熵二、離散有記憶信源的序列熵70

l=2(二維)時，有：H(X1,X2)=H(X1)+H(X2|X1)71例題2-11已知:離散有記憶信源中各符號的概率為:現信源發出二重符號序列消息（ai,aj），這兩個符號的概率關聯性用條件概率p(aj/ai)表示，并由下表給出。求離散信源的序列熵和平均每個符號熵?ai

aja0a1a2a09/112/90a11/83/41/8a202/97/972序列熵:H(X1,X2)=H(X1)+H(X2|X1)=1.543+0.872=2.415比特/符號平均符號熵

:H2(X)=H(X2)/2=1.21比特/符號解：比較：H2（X）<H1（X），即二重序列的符號熵值較單符號熵變小了，也就是不確定度減小了?；蛘哒f，信源2次擴展后，平均每個符號攜帶的信息量，比擴展前減少了。這是由于符號之間存在相關性造成的。733、離散有記憶平穩信源的幾個結論平穩：統計特性時間推移不變。條件熵H(XL/XL-1)是L的單調遞減函數

H(XL|X1X2…XL-1)≤H(XL-1|X1X2…XL-2)≤H(XL-2|X1X2…XL-3)

≤……證明:H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1)(熵的性質：條件較多的熵小于或等于減少一些條件的熵)=H(XL-1/X1X2…XL-2)（平穩性）≤H(XL-1/X2X3…XL-2)=H(XL-2/X1X2…XL-3)…≤H(X2/X1)74(2)

HL(X)≥H(XL/XL-1)（單符號信源，無條件熵大于條件熵）證明:(公式編輯器下可以加矢量箭頭符號，這里X為矢量）HL(X)=H(X1，X2，…,XL)/L=[H(X1)+H(X2|X1)+…+H(XL|X1X2…XL-1)]/L≥[LH(XL|X1X2…XL-1)]/L根據：結論(1)=H(XL/XL-1)

(3)

HL(X)是L的單調遞減函數證明:LHL(X)=H(X1，X2，…,XL)=H(X1X2…XL-1)+H(XL|X1X2…XL-1)=(L-1)HL-1(X)+H(XL/XL-1)≤(L-1)HL-1(X)+HL(X)

所以

HL(X)≤HL-1(X)同理,有H∞(X)≤…≤HL+1(X)≤HL(X)≤HL-1(X)≤…≤H0(X)

H0(X)為等概率單符號信源的熵,H1(X)為一般單符號信源信源的熵,H2(X)為2次擴展的序列信源的平均符號熵，依次類推。75(4)

H∞(X)

HL(X)=H(XL/X1X2…XL-1)H∞(X)叫極限熵或極限信息量。證明：

HL+k(X)=[H(X1X2…XL-1)+H(XL/X1X2…XL-1)+…+H(XL+k/X1X2…XL+k-1)]≤[H(X1X2…XL-1)+H(XL/X1X2…XL-1)+…+H(XL/X1X2…XL-1)]=H(X1X2…XL-1)+H(XL/X1X2…XL-1)76當固定L，取K∞時，上式第1項為0，有

HL+k(X)≤H(XL|X1X2…XL-1)=H(XL|XL-1)又因為

H(XL|XL-1)≤HL(X)(條件熵H(XL|XL-1)在HL(X)和HL+k(X)之間）所以，當

L∞

時，若HL+k(X)的極限存在，則HL(X)=HL+k(X)得：HL(X)=H(XL|X1X2…XL-1)證畢。說明:(i)

計算極限熵是一個十分困難的問題.(ii)

在實際應用中常取有限L下的條件熵H(XL/XL-1)作為H∞(X)的近似值。

77(5)平穩的馬爾可夫信源的極限熵H∞(X)

H∞(X)=

H(XL|X1X2…XL-1)

=

H(XN+m+1|X1X2…XN+m)

=

H(Xm+1|X1X2…Xm)（平穩）齊次、遍歷的馬爾可夫信源的極限熵H∞(X)78證明：對于齊次、遍歷的馬爾可夫鏈，其狀態由唯一確定因此有：對上式兩邊同取對數,并以取統計平均，然后取負,得到：798081復習自信息量自信息量I(xi)的性質：條件自信息量自信息量和不確定度：數量相等、單位相同，但含義不同。I(xi)表示符號發出前的不確定度；又表示符號發出后所攜帶的信息量。2、離散信源的熵82物理含義：信源輸出前的平均不確定度；信源輸出后平均每個消息提供的信息量；表明和區分信源中的每個符號需要的信息量。條件熵：條件自信息量I(xi|yj)在聯合符號集(X,Y)上的聯合概率加權統計平均值。聯合熵：聯合符號集(X,Y)上的每對符號(xi,yj)的聯合自信息量I(xi,yj)的聯合概率加權統計平均值。

H(X,Y)＝H(X)＋H(Y|X);H(X,Y)＝H(Y)＋H(X|Y)

H(X,Y)與H(X)及H(X|Y)的關系（理解、證明和計算）

833、互信息平均互信息：互信息量I(xi;yj)在（X,Y)上的統計平均值物理意義：

條件熵H(X|Y)：接收端收到消息后,仍存在的不確定度(疑義度)消除的不確定度或接收者獲得的信息量為：H(X)-H(X|Y)。即互信息I(X;Y)=H(X)-H(X|Y)信道的角度互信息I(X;Y)就是信道中傳輸的信息量。由于信道中的干擾，仍存在對信源X的不確定性，丟失的信息量H(X|Y)，收到的信息就是H(X)-H(X|Y)=I(X;Y)。84噪聲熵H(Y|X)：假設信道中的噪聲為n，發送符號為x,則接收符號為y=x+n。已知發送符號x,要確定接收符號y，就需要知道噪聲的大小。確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區分X中的每個符號所需要的平均信息量就是信源的熵H(X).854、數據處理中信息的變化（互信息應用）5、熵的性質非負性，對稱性，確定性，香農輔助定理，最大熵定理條件熵小于無條件熵；兩個條件下的熵小于1個條件下的熵H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)6、互信息量與熵之間的關系86序列熵的定義第三節離散序列信源的熵一、離散無記憶信源的序列熵復習與作業講評

87二、離散有記憶信源的序列熵例題結論：H2（X）<H1（X），即二重序列的符號熵值較單符號熵變小了，也就是不確定度減小了?；蛘哒f，信源2次擴展后，平均每個符號攜帶的信息量，比擴展前減少了。這是由于符號之間存在相關性造成的。三、離散有記憶平穩信源的幾個結論條件熵H(XL/XL-1)是L的單調遞減函數

H(XL|X1X2…XL-1)≤H(XL-1|X1X2…XL-2)≤H(XL-2|X1X2…XL-3)

≤……88(2)HL(X)≥H(XL/XL-1)

（單符號信源，無條件熵大于條件熵）(3)HL(X)是L的單調遞減函數H∞(X)≤…≤HL+1(X)≤HL(X)≤HL-1(X)≤…≤H0(X)

(4)H∞(X)HL(X)=H(XL/X1X2…XL-1)(5)平穩的馬爾可夫信源的極限熵H∞(X)

H∞(X)=

H(XL|X1X2…XL-1)=

H(Xm+1|X1X2…Xm)（平穩）89齊次、遍歷的馬爾可夫信源的極限熵H∞(X)90連續信源回顧：

時間離散、幅度連續的信源，如隨機取電池的試驗，用一維或多維的連續型隨機變量及其概率密度空間來描述。第四節連續信源的熵和互信息

時間和幅度都連續的信源，即隨機波形信源，如人、電視。用隨機過程來描述。隨機過程一般用n維概率密度函數族來表示其統計特性，它一次輸出的不是單個符號或符號序列，而是一個以時間為變量的函數（樣本函數）。91一、單符號連續信源的熵1、討論方法：用離散變量來逼近連續變量。將連續型信源離散化成離散信源，對離散信源的熵求極限，即得連續信源的熵。

設連續型隨機信源為X，px(x)為連續變量X的概率密度函數X∈［a,b］。對取值范圍離散化，令△x

＝(b-a)／n，即n等分

那么X處于第i個區間的概率為922、連續信源的熵當

n∞

即Δx

0

時，得連續信源的熵：因此連續信源X被離散化成離散信源Xn，n取值越大，誤差越小.求出離散信源Xn的熵Hn(X)，令n∞,即是連續信源的熵。93上式中的第二項為無窮大，丟掉該項，將第一項定義為連續信源熵:

(2)連續信源的熵Hc(X)是相對熵（差熵）在實際問題中，常遇到問題涉及的熵之間的差，如互信息量。只要兩者逼近時所取的△x一致，上式中第二項無窮大量可以抵消的。

3、討論：連續信源熵與離散信源熵具有相同的形式，但其意義不同。

(1)連續信源的不確定度應為無窮大，這是因為連續信源輸出符號的可能取值是無窮個（或某一符號出現的概率為0），因而它的絕對熵為無窮大。94例2-13

已知信源概率密度，求連續熵？95信號放大后，信息量不會增加。計算結果是相對熵，相對熵增加了1bit,而無窮大項減少了1bit.絕對熵不變。信號放大后，信息量增加？

964、連續信源的聯合熵、條件熵、互信息量I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)97二、波形信源的熵1、討論方法：一個消息就是一個樣本函數，根據時域抽樣定理，只要抽樣速率fs

≥2fm，則樣本函數被抽樣點所確定（可由抽樣點無失真恢復）。或者說，該消息的自信息量沒有變化。同理：對波形信源輸出的隨機信號進行抽樣，變換成時間離散而幅度連續的隨機序列；波形信源變成了多維的連續信源(連續的序列信源),只要抽樣速率fs

≥2fm，波形信源的熵就等于序列信源的熵，無信息丟失。9899復習：第四節連續信源的熵和互信息一、單符號連續信源的熵相對熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)100二、波形信源的熵理解討論方法即可三、連續信源最大熵定理

1、峰值功率受限的最大熵定理對于定義域為有限的隨機變量X，當它是均勻分布時，其熵最大。2、限平均功率最大熵定理服從正態分布時具有最大相熵。101三、連續信源最大熵定理

離散信源最大熵定理回顧對于連續信源，概率密度函數滿足什么條件才能使連續信源的熵最大？1、峰值功率受限的最大熵定理對于定義域為有限的隨機變量X，當它是均勻分布時，其熵最大。(注:定義域為有限即幅度有限即最大功率有限)102限平均功率最大熵定理

平均功率限定為P，概率密度函數為對于相關矩陣一定的隨機矢量X，當它是正態分布時具有最大相對熵。(注：相關矩陣一定即平均功率一定）103第五節冗余度

一、冗余度的概念（多余度、剩余度）表示給定信源在實際發出消息時所包含的多余信息。例如電報:母親病愈。修改為：母病愈。二者表達了相同的意思。哪封電報的自信息量大？第1封。有多余信息如果一個消息所包含的符號比表達這個消息所需要的必要符號多，那么這樣的消息就存在冗余度。二、冗余度產生的原因一是信源符號間的相關性，二是信源符號分布的不均勻性1041、符號間的相關性

上例中第一封電報的自信息量大于第二封，但平均每個符號的信息量小于第二封（因為HL(X)是L的非增函數

）。顯然平均每個符號的信息量越大，冗余就越小。正是符號間的相關性，使得平均每個符號的信息量減少。相關性越強，記憶長度越大，平均每個符號的信息量就越小，冗余就越大。2、符號分布的不均勻性由上分析知道，平均符號熵越小，冗余越大；平均符號熵越大，冗余越??；如果平均符號熵達到最大值（是什么？），那么就沒有冗余。由于符號分布的不均勻性也會使得平均符號熵達不到最大值，而產生冗余。105三、冗余的定義相關性越強，各維條件熵就越小，極限熵就越小，熵的相對率就越小，冗余度就越大。反之，冗余度就越小。106四、冗余的壓縮信源輸出存在著冗余信息，可以想法去除冗余，減少表達消息所使用的符號數（往往是用其它的符號來重新表示信源輸出的符號，即信源編碼），達到壓縮目的。如果用于存儲，節省存儲空間；如果用于通信，提高傳輸效率。107作業：21242533108第二章復習與討論第一節信源的描述和分類第二節離散信源熵和互信息第四節連續信源的熵和互信息第三節離散序列信源的熵第五節

冗余度109一、消息的統計特征第一節信源的描述和分類香農信息論運用概率論和隨機過程的理論來研究信息信源發出的消息（符號或符號序列）是隨機的，事先無法確定的，所以才提供一定的信息。隨機試驗即信源：隨機取球、擲骰子、隨機取電池（思考：放回試驗和不放回的區別）二、用概率空間來描述信源（信源的數學模型）用隨機變量X來描述消息；用所有消息的概率構成的概率空間來描述信源,簡稱信源X。舉例—單符號離散信源110三、信源的分類{信源離散信源連續信源任意連續信源的數學模型為111{信源無記憶信源有記憶信源符號序列信源(單符號信源的L次擴展無記憶信源所發出的各個符號是相互獨立的。如何理解？

1123、連續信源的進一步討論

隨機波形信源--時間連續、幅度連續；隨機波形信源用隨機過程來描述。

補充內容：隨機過程的定義、舉例、平穩性平穩性：過程的統計特性不隨時間的推移而變化。4、馬爾可夫信源（難點）（1）一種離散有記憶信源，但是符號之間的統計依賴性有限的；m階馬爾可夫信源某時刻輸出的符號只與前面的m個符號“有關”