信息論基礎教程

實踐性教學內容、要求及學時分配實驗一：信道容量的迭代算法2學時實驗二：Huffman編碼2學時實驗三：通信系統仿真4學時（備選題目：LZW壓縮編碼）國外參考教材T.M.Cover,FundamentalofInformationTheory

最為流行的英文教材，為Stanford、MIT等學校的研究生課程選用

數學推導適中，強調概念，作為參考教材R.G.Gallager,InformationTheoryandReliableCommunication

數學推導較為艱深

作為提高教材第一章：緒論一、什么是信息二、通信系統模型三、信息論的研究內容四、信息論的形成和發展第一章：緒論一、什么是信息二、通信系統模型三、信息論的研究內容四、信息論的形成和發展1.概述2.信息的通俗概念3.信息的狹義概念（香農信息）4.信息的廣義概念組成客觀世界的三大基本要素：物質能量信息沒有物質什么都不存在，沒有能量什么都不會發生，沒有信息什么都沒有意義。

——美國學者歐廷格研究內容形成和發展什么是信息通信系統模型第一章：緒論1.概述2.信息的通俗概念

信息的通俗概念：消息就是信息。用文字、符號、數據、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質運動和主觀思維活動的狀態表達出來，就稱為消息。研究內容形成和發展什么是信息通信系統模型第一章：緒論消息中包含信息，消息是信息的載體。2.信息的通俗概念（續1）信號是表示消息的物理量，包括電信號、光信號等。信號中攜帶著消息，信號是消息的載體。信息信號消息研究內容形成和發展什么是信息通信系統模型第一章：緒論3.信息的狹義概念（香農信息）第一章：緒論研究內容形成和發展什么是信息通信系統模型香農信息：信息是對事物運動狀態或存在方式的不確定性的描述。通信的基本問題是在一點(信宿）精確或近似恢復另一點（信源）所選擇的消息。————

香農通信的過程就是消除不確定性的過程。3.信息的狹義概念（香農信息）（續1）第一章：緒論例1：甲袋紅、白球各50個，乙袋紅、白、藍、黑球各25個。比較從甲袋中取出一個球是紅球的事件和從乙袋中取出一個球是紅球的事件發生的難易程度，也就是事件發生的不確定性。研究內容形成和發展什么是信息通信系統模型3.信息的狹義概念（香農信息）（續2）第一章：緒論例2：北京地區十月份可能出現的天氣包括：晴、陰、雨、雪。比較天氣預報為“晴”和天氣預報為“雪”，給人們帶來的信息量。研究內容形成和發展什么是信息通信系統模型結論：不確定性的大小與事件發生的概率有關。3.信息的狹義概念（香農信息）（續3）第一章：緒論研究內容形成和發展什么是信息通信系統模型不確定性的大小與事件發生的概率有關因此，信息量可以表示為概率的函數。不確定性是概率的函數3.信息的狹義概念（香農信息）（續4）信息與概率的關系：事件發生的概率越大，該事件包含的信息量越小；如果一個事件發生的概率為1，那么它包含的信息量為0；兩個相互獨立事件所提供的信息量應等于它們各自提供的信息量之和。第一章：緒論研究內容形成和發展什么是信息通信系統模型3.信息的狹義概念（香農信息）（續5）某個消息的不確定性（含有的信息量）可以表示為：第一章：緒論研究內容形成和發展什么是信息通信系統模型信源的平均不確定性：3.信息的狹義概念（香農信息）（續6）第一章：緒論香農信息的優點：有明確的數學表達式，定量化與人們直觀理解的信息含義一致不考慮收信者主觀感受的不同，認為同一消息對任何收信者，所得信息量相同。研究內容形成和發展什么是信息通信系統模型3.信息的狹義概念（香農信息）（續7）第一章：緒論香農信息的局限：沒有考慮收信者的主觀特性和主觀意義研究內容形成和發展什么是信息通信系統模型4.信息的廣義概念研究內容形成和發展什么是信息通信系統模型信息是認識主體（人、生物、機器）所感受的和表達的事物運動的狀態和運動狀態變化的方式。語法信息語義信息語用信息第一章：緒論第一章：緒論一、什么是信息二、通信系統模型三、信息論的研究內容四、信息論的形成和發展1.通信系統模型2.提高通信系統的性能指標的措施1.通信系統模型研究內容形成和發展什么是信息通信系統模型第一章：緒論圖1通信系統模型1.通信系統模型（續1）信源編碼器信道譯碼器信宿第一章：緒論研究內容形成和發展什么是信息通信系統模型1）信源研究內容：信源發出的消息的統計特性離散信源、連續信源、波形信源有記憶信源和無記憶信源平穩信源和非平穩信源信源產生信息的速率熵率第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續2）2）編碼器編碼器的功能：將消息變成適合信道傳輸的信號編碼器包括：信源編碼器信道編碼器調制器第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續3）第一章：緒論圖2編碼器的組成研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續4）信源編碼器：去除信源消息中的冗余度，提高傳輸的有效性。第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續5）信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸的可靠性。第一章：緒論研究內容形成和發展什么是信息通信系統模型圖3信道編碼示例1.通信系統模型（續6）第一章：緒論研究內容形成和發展什么是信息通信系統模型思考題：

信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？1.通信系統模型（續7）調制器：功能：將信道編碼后的符號變成適合信道傳輸的信號目的：提高傳輸效率第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續8）3）信道狹義信道廣義信道第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續9）研究內容：信道的統計特性無噪聲信道、有噪聲信道離散信道、連續信道、波形信道有記憶信道和無記憶信道恒參信道（平穩信道）和隨參信道（非平穩信道）單用戶信道和多用戶信道信道傳輸信息的最高速率

信道容量1.通信系統模型（續10）第一章：緒論研究內容形成和發展什么是信息通信系統模型4）譯碼器譯碼器的功能：從接收到的信號中恢復消息。包括：解調器信道譯碼器信源譯碼器第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續11）第一章：緒論圖4譯碼器的組成研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續12）5）信宿信宿是消息傳送的對象（人或機器）。香農信息論不研究信宿。第一章：緒論研究內容形成和發展什么是信息通信系統模型1.通信系統模型（續13）第一章：緒論提高有效性：（數據壓縮）信源編碼：無失真信源編碼和限失真信源編碼提高可靠性：（可靠傳輸）信道編碼2.提高通信系統性能指標的措施研究內容形成和發展什么是信息通信系統模型第一章：緒論一、什么是信息二、通信系統模型三、信息論的研究內容四、信息論的形成和發展1.信息論研究的主要問題2.什么是信息論3.信息論的應用1.信息論研究的主要問題第一章：緒論通信系統模型形成和發展什么是信息研究內容

狹義信息論：又稱香農信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問題（續1）1）什么是信息？如何度量信息？第一章：緒論通信系統模型形成和發展什么是信息研究內容2）怎樣確定信源輸出信息的速率？3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問題（續2）4）無失真信源編碼，所需要的最少碼符號數是多少？第一章：緒論

香農第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。通信系統模型形成和發展什么是信息研究內容1.信息論研究的主要問題（續3）5）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信息？第一章：緒論

香農第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當編碼序列足夠長時傳輸差錯任意小；否則，不存在使差錯任意小的信道編碼方式。通信系統模型形成和發展什么是信息研究內容1.信息論研究的主要問題（續4）6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數又是多少？第一章：緒論

香農第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。通信系統模型形成和發展什么是信息研究內容

信息論是通信的數學基礎，它以概率論為主要數學工具，詳細研究了通信中的各個關鍵環節，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術提供了理論上的指導。

信息論創立的標志:香農于1948年發表的論文：

——AMathematicalTheoryofCommunication（通信的數學理論）2.什么是信息論通信系統模型形成和發展什么是信息研究內容第一章：緒論2.什么是信息論（續1）以概率論、隨機過程為基本研究工具。第一章：緒論通信系統模型形成和發展什么是信息研究內容研究的是通信系統的整個過程，而不是單個環節，并以編、譯碼器為重點。關心的是最優系統的性能和怎樣達到這個性能（并不具體設計系統）。要求信源為隨機過程，不研究信宿。信息論的特點信息論幫助通信工程師從全局的觀點觀察和設計通信系統。信息論是從事信息通信系統研究和開發的必備的知識。香農信息論的目標是研究通信系統的信息傳遞，而不是幫助人們理解信息含義。香農信息論有它的局限性。2.信息論的應用第一章：緒論通信系統模型形成和發展什么是信息研究內容2.信息論的應用（續1）

通信的基本問題是在一點精確地或近似地恢復另一點（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關，而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息。

————

香農第一章：緒論通信系統模型形成和發展什么是信息研究內容2.信息論的應用（續2）信息論的應用舉例語音信號壓縮（G.711,GSM,Vocoder…）計算機文件壓縮模擬話路中數據傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）第一章：緒論通信系統模型形成和發展什么是信息研究內容第一章：緒論一、什么是信息二、通信系統模型三、信息論的研究內容四、信息論的形成和發展1.技術背景2.理論背景3.香農的主要工作1.技術背景當時通信理論與技術已有較大的發展，存在的通信技術包括：

電報（Morse，1838）、電話（Bell，1876）、無線電報(Marconi,1887)、調幅廣播（1900’s早期）、單邊帶調制（Carson，1922）、電視（1925-1927）、調頻廣播（Armstrong，1936）、脈沖編碼調制（Reeves，1937-1939）、聲碼器（Dudley，1939）、擴頻通信（1940’s）等。第一章：緒論通信系統模型研究內容什么是信息形成和發展2.理論背景1948年以前，Nyquist、Hartley、Wiener做了許多有影響的工作。第一章：緒論通信系統模型研究內容什么是信息形成和發展3.香農的主要工作1948年，發表《通信的數學理論》。第一章：緒論1949年，發表《噪聲下的通信》。1959年，發表《在保真度準則下的離散信源編碼定理》。1961年，發表《雙路通信系統》。通信系統模型研究內容什么是信息形成和發展1956年，發表《噪聲信道的零差錯容量》。大寫字母等表示隨機變量小寫字母等表示隨機變量的具體取值大寫黑體字母等表示多維隨機變量，也就是隨機矢量小寫黑體字母等表示隨機矢量的具體取值本課程約定的符號表示第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）公理性條件：

(1)如果p(x1)<p(x2)，則I(x1)>I(x2)，I(xi

)是p(xi)的單調遞減函數；

(2)如果p(xi)=0，則I(xi

)→∞;如果p(xi)=1，則I(xi

)=0;(3)由兩個相對獨立的事件所提供的信息量，應等于它們分別提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續1）

隨機事件的自信息定義為該事件發生概率的對數的負值：關于對數底的選取：以2為底，單位為比特(bit)以e為底，單位為奈特(nat)以10為底，單位為哈特萊

(Hartley)

一般都采用以2為底的對數，為了書寫簡潔，有時把底數2略去不寫。1.自信息（量）（續2）平均自信息平均互信息自信息和互信息第二章：信息的度量

單位之間的換算關系：

1奈特=log2

e比特=1.443比特

1哈特萊=log210比特=3.322比特

1r進制單位=log2r比特自信息可以從兩個方面來理解：自信息是事件發生前，事件發生的不確定性。自信息表示事件發生后，事件所包含的信息量。試問四進制、八進制的每一波形所含的信息量是二進制每一波形所含的信息量的多少倍？

1.自信息（量）（續3）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續4）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:設在甲袋中放入n個不同阻值的電阻，隨意取出一個，求當被告知“取出的電阻阻值為i”時所獲得的信息量。解：比特由于是隨意取出一個電阻,所以取出任意阻值的電阻的概率相等:例2:在乙袋中放入個電阻，其中阻值為1的1個，2的2個，…，n

的n個，隨意取出一個，求被告知“取出的電阻阻值為1

”和“取出的電阻阻值為n”時分別獲得的信息量。解：1.自信息（量）（續5）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續6）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（續7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：設在A袋放入n個不同阻值的電阻，隨意取出一個，求當被告知“取出的電阻阻值為i”時所獲得的信息量。在B袋中放入m種不同功率的電阻，任意取出一個，求被告知“取出的電阻功率為j”時獲得的信息量。在C袋中放入n種不同阻值，而每種阻值又有m種不同功率的電阻，即共有nm個電阻，隨意選取一個，被告知“取出的電阻阻值為i，功率為j”時獲得的信息量。

1.自信息（量）（續8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：對應A,B,C三袋，隨意取出一個電阻事件的概率分別為：因此1.自信息（量）（續9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：設在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意的放在棋盤中的某方格且讓乙猜測棋子所在位置。（1）

將方格按順序編號，令乙猜測棋子所在的順序號。問猜測的難易程度。（2）將方格按行和列編號，甲將棋子所在方格的列編號告訴乙之后，再令乙猜測棋子所在行的位置。問猜測的難易程度。解：p(xi

yj)=1/64i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

1.自信息（量）（續10）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量設X為信源發出的離散消息集合；Y為信宿收到的離散消息集合；信源發出的消息，經過有噪聲的信道傳遞到信宿；信宿信道信源

圖1通信系統的簡化模型噪聲XY2.互信息（量）（續1）平均自信息平均互信息自信息和互信息第二章：信息的度量信宿信道信源噪聲XYxixi無噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)–

I(xi|yj)

先驗概率：信源發出消息的概率。后驗概率：信宿收到消息

后推測信源發出

的概率，即條件概率。2.互信息（量）（續2）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息定義為：互信息有兩方面的含義：表示事件出現前后關于事件的不確定性減少的量；事件出現以后信宿獲得的關于事件的信息量。2.互信息（量）（續3）平均自信息平均互信息自信息和互信息第二章：信息的度量討論：(3)p(xi|yj)=1(2)若p(xi)<p(xi|yj)則I(xi;yj)>0(1)統計獨立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)

I(xi;yj)=0

若p(xi)>p(xi|yj)則I(xi;yj)<0I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2.互信息（量）（續4）平均自信息平均互信息自信息和互信息第二章：信息的度量例5：某地二月份天氣構成的信源為

某一天有人告訴你：“今天不是晴天”，把這句話作為收到的消息y1,求當收到y1后,y1與各種天氣的互信息量。

解：2.互信息（量）（續5）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續6）平均自信息平均互信息自信息和互信息第二章：信息的度量xiyj觀察者站在輸出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：對yj一無所知的情況下xi存在的不確定度；：收到yj

后xi

仍然存在的不確定度；互信息：收到yj

前和收到yj后不確定度被消除的部分。2.互信息（量）（續7）平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在輸入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

觀察者得知輸入端發出xi前、后對輸出端出現yj的不確定度的差。xiyjI(yj;

xi)=I(xi;yj)?平均自信息平均互信息自信息和互信息第二章：信息的度量觀察者站在通信系統總體立場上互信息等于通信前后不確定度的差值

通信前：X和Y之間沒有任何關系，即X、Y統計獨立，p(xiyj)=p(xi)p(yj)，先驗不確定度為通信后：p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后驗不確定度2.互信息（量）（續8）2.互信息（量）（續9）平均自信息平均互信息自信息和互信息第二章：信息的度量1)互信息的對稱性2)互信息可為正值、負值，或為03)任何兩個事件之間的互信息不可能大于其中任一事件的自信息互信息量的性質2.互信息（量）（續10）平均自信息平均互信息自信息和互信息第二章：信息的度量用公式表示為：

互信息的對稱性表明：從yj得到的關于xi的信息量

與從xi

得到的關于yj的信息量

是一樣的，只是觀察的角度不同而已。1)互信息的對稱性2.互信息（量）（續11）平均自信息平均互信息自信息和互信息第二章：信息的度量當后驗概率大于先驗概率時，互信息為正。

說明事件yj的出現有助于消除事件xi的不確定度。當后驗概率小于先驗概率時，互信息為負。

說明收信者未收到yj以前，對消息xi是否出現的猜測難度較小，但接收到消息yj后對xi是否出現的猜測的難度增加了，也就是收信者接收到消息yj后對xi出現的不確定性反而增加，所以獲得的信息量為負值。當后驗概率與先驗概率相等時，互信息為零。

這就是兩個隨機事件相互獨立的情況。表明xi和yj之間不存在統計約束關系，從yj得不到關于xi的任何信息，反之亦然。2)互信息可正可負，可為零3)任何兩個事件之間的互信息不可能大于其中任一事件的自信息2.互信息（量）（續12）平均自信息平均互信息自信息和互信息第二章：信息的度量例6：居住某地區的女孩中有25%是大學生，在女大學生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數一半。假如我們得知“身高1.6m以上的某女孩是大學生”的消息，問獲得多少信息量？2.互信息（量）（續13）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（續14）平均自信息平均互信息自信息和互信息第二章：信息的度量解：x=某女孩是大學生；y=某女孩身高1米6以上。則有“身高1米6以上的某女孩是女大學生”為事件2.互信息（量）（續15）平均自信息平均互信息自信息和互信息第二章：信息的度量例7：已知信源發出和兩種消息，且。此消息在二進制對稱信道上傳輸，信道傳輸特性為。求互信息量和。

2.互信息（量）（續16）平均自信息平均互信息自信息和互信息第二章：信息的度量解：由已知可得2.互信息（量）（續17）平均自信息平均互信息自信息和互信息第二章：信息的度量第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均自信息的概念2.熵函數的性質3.聯合熵與條件熵1.平均自信息的概念自信息和互信息平均互信息平均自信息第二章：信息的度量平均自信息（信息熵/信源熵/香農熵/無條件熵/熵函數/熵）：自信息是一個隨機變量：

自信息是指信源發出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。自信息和互信息平均互信息平均自信息第二章：信息的統計度量信息熵的單位，取決于對數選取的底：以2為底，單位為比特/符號以e為底，單位為奈特/符號以10為底，單位為哈特萊/符號。信息熵的意義：

信源的信息熵是從整個信源的統計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對于某特定的信源，其信息熵只有一個。不同的信源因統計特性不同，其信息熵也不同。1.平均自信息的概念（續1）1.平均自信息的概念（續2）自信息和互信息平均互信息平均自信息第二章：信息的度量通常把一個隨機變量的樣本空間和樣本空間中的元素對應的概率稱為概率空間。離散隨機變量的概率空間為：1.平均自信息的概念（續3）自信息和互信息平均互信息平均自信息第二章：信息的度量例1擲一個六面均勻的骰子，每次出現朝上一面的點數是隨機的，以朝上一面的點數作為隨機試驗的結果，并把試驗結果看作一個信源的輸出，試建立數學模型。信源的輸出：離散隨機變量XX：{1，2，3，4，5，6}——樣本空間P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}[X

?P]=X：123456P(X)：1/61/61/61/61/61/6解：

——概率空間1.平均自信息的概念（續4）自信息和互信息平均互信息平均自信息第二章：信息的度量例2：一信源有6種輸出符號，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。

1)計算H(X)。

2)求符號序列ABABBA和FDDFDF的信息量，并將之與6位符號的信息量期望值相比較。

解：

1)由信息熵定義，該信源輸出的信息熵為

1.平均自信息的概念（續5）自信息和互信息平均互信息平均自信息第二章：信息的度量1.平均自信息的概念（續6）自信息和互信息平均互信息平均自信息第二章：信息的度量

符號序列FDDFDF所含的信息量為6位符號序列的信息量平均值為

符號序列ABABBA所含的信息量為三者比較為

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質離散隨機變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實際上是元函數。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續1）

當n=2

時，自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續2）熵函數的數學特性包括:(1)對稱性(2)確定性(3)非負性(4)擴展性(5)連續性(6)遞增性(7)上凸性(8)極值性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續3）當概率矢量中各分量的次序任意變更時，熵函數的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…該性質說明：熵只與隨機變量(信源)的總體統計特性有關。如果某些信源的統計特性相同（含有的符號數和概率分布相同），那么這些信源的熵就相同。（1）對稱性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續4）例3：三個信源分別為：①

X與Z信源的差別：具體消息其含義不同；②

X與Y信源的差別：同一消息的概率不同；③

但它們的信息熵是相同的。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續5）

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0。（2）確定性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續6）只有當隨機變量是一確知量時，熵H(X)=0。離散信源的熵滿足非負性，而連續信源的熵可能為負。（3）非負性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續7）擴展性說明，增加一個概率接近于零的事件，信源熵保持不變。雖然小概率事件出現后，給予收信者較多的信息，但從總體來考慮時，因為這種概率很小的事件幾乎不會出現，所以它對于離散集的熵的貢獻可以忽略不計。這也是熵的總體平均性的一種體現。（4）擴展性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續8）（5）連續性（6）遞增性（遞推性)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續9）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續10）例4：利用遞推性計算熵函數H(1/3，1/3，1/6，1/6)的值。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續11）例4：利用遞推性計算熵函數H(1/3，1/3，1/6，1/6)的值。解：bit/符號自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續13）

凸函數的定義及詹森不等式（7）上凸性引理（香農輔助定理）：其中證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續14）時等號成立。可以被看做是一種新的概率分布。

是概率分布的嚴格上凸函數，即證明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續15）等號成立條件但是所以等號不成立。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續16）上凸性的幾何意義：

在上凸函數的任兩點之間畫一條割線，函數總在割線的上方.上凸函數在定義域內的極值必為最大值，這對求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續17）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續18）（8）極值性（最大離散熵定理）定理：

離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現概率相等時(即

)，熵最大，即

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續19）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續20）

例5：以二進制信源為例，信源的概率空間為二進制信源的信息熵為這時信息熵H(X)是p的函數，熵函數H(p)的曲線如圖所示：從圖中可以得出熵函數的一些性質：如果二進制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當二進制信源符號0和1等概率發生時，信源的熵達到最大值，等于1比特/符號;在等概率的二進制信源輸出的二進制數字序列中，每一個二元數字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數字所提供的平均信息量小于1比特。這也進一步說明了計算機術語中的“比特”與信息量單位“比特”的關系。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函數的性質（續21）3.聯合熵和條件熵自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.4隨機變量X和Y的聯合分布為p(xiyj)，則這兩個隨機變量的聯合熵定義為：

聯合熵表示對于二維隨機變量的平均不確定性。3.聯合熵和條件熵（續1）自信息和互信息平均互信息平均自信息第二章：信息的度量定義2.5隨機變量X和Y的條件熵定義為：條件熵表示已知一個隨機變量時，對另一個隨機變量的平均不確定性。

表示在已知的情況下,Y的平均不確定性。對于不同的，是變化的。因此，是一個隨機變量。3.聯合熵和條件熵（續2）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯合熵和條件熵（續3）自信息和互信息平均互信息平均自信息第二章：信息的度量例6：已知聯合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：3.聯合熵和條件熵（續4）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯合熵和條件熵（續5）自信息和互信息平均互信息平均自信息第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.聯合熵和條件熵（續6）自信息和互信息平均互信息平均自信息第二章：信息的度量5)3.聯合熵和條件熵（續7）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯合熵和條件熵（續8）自信息和互信息平均互信息平均自信息第二章：信息的度量各種熵之間的關系

H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)

H(X)，H(Y|X)

H(Y)H(XY)

H(X)+H(Y)

若X與Y統計獨立，則H(XY)=H(X)+H(Y)可推廣到多個隨機變量的情況：3.聯合熵和條件熵（續9）自信息和互信息平均互信息平均自信息第二章：信息的度量

引入事件的重量，度量事件的重要性或主觀價值。

加權熵定義為：加權熵3.聯合熵和條件熵（續10）自信息和互信息平均互信息平均自信息第二章：信息的度量3.聯合熵和條件熵（續11）自信息和互信息平均互信息平均自信息第二章：信息的度量例7：信源X={A,B,C},信源Y={D,E,F,G},已知條件概率分布和X的概率分布，求聯合熵和條件熵。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/101/3C1/61/21/61/61/63.聯合熵和條件熵（續12）自信息和互信息平均互信息平均自信息第二章：信息的度量P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36091/360解：H(XY)=3.417H(X)=1.46H(Y)=1.997H(Y|X)=1.95H(X|Y)=H(XY)-H(Y)=1.42第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均互信息的概念2.平均互信息的性質3.數據處理定理第二章：信息的度量1.平均互信息的概念信宿信道信源噪聲XYxiyjI(xi;yj)p(xi

yj)平均交互信息量、交互熵I(X;Y)p(yj|

xi)平均自信息平均互信息自信息和互信息第二章：信息的度量1.平均互信息的概念（續1）平均自信息平均互信息自信息和互信息2.平均互信息的性質對稱性：I(X;Y)=I(Y;X)非負性：極值性：I(X;Y)

min{H(X),H(Y)}

4.平均互信息和各類熵的關系:I(X;Y)=H(X)-H(X|Y)=H(Y)

H(Y|X)=H(X)+H(Y)

H(XY)

X,Y互相獨立時5.I(X;Y)是信源概率分布p(xi)的上凸函數和信道傳遞概率p(yj|xi)的下凸函數。第二章：信息的度量平均自信息平均互信息自信息和互信息平均互信息量不是從兩個具體消息出發，而是從隨機變量X和Y的整體角度出發，在平均意義上觀察問題，所以平均互信息不會出現負值。第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質（續1）H(XY)H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)=0第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質（續2）符號圖示表1X、Y之間有依賴關系時第二章：信息的度量平均自信息平均互信息自信息和互信息2.平均互信息的性質（續3）符號圖示表2X、Y相互獨立時第二章：信息的度量平均自信息平均互信息自信息和互信息3.數據處理定理定義2.7平均條件互信息

定義2.8平均聯合互信息

可以證明同理第二章：信息的度量平均自信息平均互信息自信息和互信息3.數據處理定理（續1）定理2.3（數據處理定理）如果隨機變量X，Y，Z構成一個馬爾可夫鏈，則有以下關系成立：等號成立的條件分別是對于任意的x，y，z

證明第二章：信息的度量平均自信息平均互信息自信息和互信息3.數據處理定理（續2）第二章：信息的度量平均自信息平均互信息自信息和互信息3.數據處理定理（續3）練習題1

已知：X為隨機變量，判斷：？

第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第二章：信息的度量平均自信息平均互信息自信息和互信息第七章限失真信源編碼7.1失真測度7.2信息率失真函數

7.3信息率失真函數的計算

7.4限失真信源編碼定理*7.5常用的限失真信源編碼方法概述第七章：限失真編碼失真測度信宿信源編碼器/信道YXR=I(X;Y)>R(D)概述第七章：限失真編碼失真測度7.1.1失真函數第七章：限失真編碼失真測度失真矩陣7.1.1失真函數第七章：限失真編碼失真測度常用的失真函數有：（1）

漢明失真（2）平方誤差失真函數失真函數是根據人們的實際需要和失真引起的損失、風險大小等人為規定的。7.1.1失真函數第七章：限失真編碼失真測度例7.1.1設信道輸入，輸出，規定失真函數

d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D

。解：

7.1.1失真函數第七章：限失真編碼失真測度d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求D

。符號序列的失真函數7.1.1失真函數第七章：限失真編碼失真測度例7.1.2假設信源輸出序列，其中每個隨機變量均取值于。經信道傳輸(編碼）后的輸出為，其中每個隨機變量均取值于。定義失真函數

d(0,0)=d(1,1)=0，

d(0,1)=d(1,0)=1，求失真矩陣D(N）。

7.1.1失真函數第七章：限失真編碼失真測度7.1.1失真函數第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度例：7.1.2平均失真

第七章：限失真編碼失真測度例：第七章：限失真編碼失真測度7.1.2平均失真

第七章：限失真編碼失真測度7.1.2平均失真

7.2.1D允許信道

保真度準則

D失真允許信道

7.2信息率失真函數第七章：限失真編碼信息率失真函數7.2.2信息率失真函數的定義當信源為離散無記憶平穩信源、信道為離散無記憶平穩信道時7.2信息率失真函數第七章：限失真編碼信息率失真函數是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸的最大信息傳輸率。信道容量與信源無關，是反映信道特性的參量，不同的信道其信道容量不同。

7.2信息率失真函數第七章：限失真編碼信息率失真函數是在信源固定，滿足保真度準則的條件下的信息傳輸率的最小值。反映了滿足一定失真度的條件下信源可以壓縮的程度，也就是滿足失真要求而再現信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過程中選擇的試驗信道無關，不同的信源率失真函數不同。

7.2信息率失真函數第七章：限失真編碼信息率失真函數

這兩個概念適用范圍是不一樣。研究信道容量C是為了解決在已知信道中盡可能多地傳送信息的問題，是為了充分利用已給定的信道，使傳輸的信息量最大而錯誤概率任意小，以提高通信的可靠性，這是信道編碼的問題。研究信息率失真函數是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號來傳送信源信息，使信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問題。7.2信息率失真函數第七章：限失真編碼信息率失真函數1.

的定義域

第七章：限失真編碼