第一章內容回顧信息論研究的對象、目的和內容信息論發展簡史與現狀(了解)信息論的形成與發展信息論方法的應用及其取得的成果信息的概念信息消息、信號、信息的區別與聯系1第二章：離散信源及信息測度

孫桂萍2信息論對信源研究的內容信源的建模與分類：根據消息的隨機性質對信源分類離散信源的信息熵及性質：什么是信息熵；九大性質幾種具體信源：離散平穩信源馬爾可夫信源3信源特性與分類信源的統計特性1）什么是信源？信源是信息的來源，實際通信中常見的信源有：語音、文字、圖像、數據…。在信息論中，信源是產生消息（符號）、消息（符號）序列以及連續消息的來源，數學上，信源是產生隨機變量，隨機序列和隨機過程的源。2）信源的主要特性信源的最基本的特性是具有隨機不確定性，它可用概率統計特性來描述。4信源特性與分類單消息（符號）信源：離散信源連續變量信源平穩信源無/有記憶信源馬爾可夫信源隨機波形信源※5單消息（符號）信源它是最簡單也是最基本的信源，是組成實際信源的基本單元。它可以用信源取值隨機變量X和對應的概率分布P(x)共同組成的概率空間來表示。離散信源與概率空間的一一對應關系：當信源給定，其相應的概率空間就已給定；反之，如果概率空間給定，這就表示相應的信源已給定。所以，概率空間能表征這離散信源的統計特性，因此有時也把這個概率空間稱為信源空間。

表示隨機現象各種結果的變量6單消息（符號）信源－－離散信源特點：這些信源可能輸出的消息數是有限的或可數的，而且每次只輸出其中一個消息。因此，可以用一維離散型隨機變量X來描述這個信源輸出的消息。這個隨機變量X的樣本空間就是符號集A；而X的概率分布就是各消息出現的先驗概率，信源的概率空間必定是一個完備集。在實際情況中，存在著很多這樣的信源。例如投硬幣、計算機的代碼、電報符號、阿拉伯數字碼等等。這些信源輸出的都是單個符號(或代碼)的消息，它們符號集的取值是有限的或可數的。我們可用一維離散型隨機變量X來描述這些信源的輸出。它的數學模型就是離散型的概率空間：7單消息（符號）信源－－離散信源對離散信源的建模例：對于二進制數據/數字信源：U={0,1}，則有

重點掌握：形式，每個符號的含義8單消息（符號）信源－－連續信源有的信源雖輸出是單個符號(代碼)的消息，但其可能出現的消息數是不可數的無限值，即輸出消息的符號集A的取值是連續的，或取值是實數集(-∞，∞)。例如，語音信號、熱噪聲信號某時間的連續取值數據，遙控系統中有關電壓、溫度、壓力等測得的連續數據。這些數據取值是連續的，但又是隨機的。我們可用一維的連續型隨機變量X來描述這些消息。這種信源稱為連續信源，其數學模型是連續型的概率空間：

9單消息（符號）信源－－連續信源其中：對于連續信源的建模:10隨機矢量描述的信源很多實際信源輸出的消息往往是由一系列符號序列所組成的。可以把這種信源輸出的消息看做時間上或空間上離散的一系列隨機變量，即為隨機矢量。這時，信源的輸出可用N維隨機矢量X=(X１，X２…XN)來描述，其中N可為有限正整數或可數的無限值。這N維隨機矢量X有時也稱為隨機序列。11平穩信源一般來說，信源輸出的隨機序列的統計特性比較復雜，分析起來也比較困難。為了便于分析，我們假設信源輸出的是平穩的隨機序列，也就是序列的統計性質與時間的推移無關。很多實際信源也滿足這個假設。若信源輸出的隨機序列X=(Ｘ１，Ｘ２，…，ＸＮ)中，每個隨機變量Xi(i=1,2,…，N)都是取值離散的離散型隨機變量，即每個隨機變量Xi的可能取值是有限的或可數的。而且隨機矢量X的各維概率分布都與時間起點無關，也就是在任意兩個不同時刻隨機矢量X的各維概率分布都相同。這樣的信源稱為離散平穩信源。如中文自然語言文字，離散化平面灰度圖像都是這種離散型平穩信源。與之對應的還有連續平穩信源。12無記憶信源在某些簡單的離散平穩信源中，信源先后發出的一個個符號彼此是統計獨立的。也就是說信源輸出的隨機矢量X=(X１X２…XＮ）中，各隨機變量Xi(i=1,2,…N)之間是無依賴的、統計獨立的，則N維隨機矢量的聯合概率分布滿足P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ）由上述的信源空間［X，P(x)］描述的信源X為離散無記憶信源。這信源在不同時刻發出的符號之間是無依賴的，彼此統計獨立的。13離散無記憶信源X的N次擴展信源N次擴展信源是由離散無記憶信源輸出N長的隨機序列構成的信源。離散無記憶信源的N次擴展信源的數學模型是X信源空間的N重空間。14二元無記憶信源的二次擴展信源例：一個消息是由“0”，“1”組成的一串序列：011000111000分成六組，即每兩個二元數字為一組：011000111000此時的信源可以看作是能輸出四個消息：00，01，10，11的一個新信源——也就稱其為二元無記憶信源的二次擴展信源。15有記憶信源

一般情況下，信源在不同時刻發出的符號之間是相互依賴的。也就是信源輸出的平穩隨機序列X中，各隨機變量Xi之間是有依賴的。例如，在漢字組成的中文序列中，只有根據中文的語法、習慣用語、修辭制約和表達實際意義的制約所構成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現是有依賴的，不能認為是彼此不相關的。其他如英文，德文等自然語言都是如此。這種信源稱為有記憶信源。我們需在N維隨機矢量的聯合概率分布中，引入條件概率分布來說明它們之間的關聯。16馬爾可夫信源表述有記憶信源要比表述無記憶信源困難得多。實際上信源發出的符號往往只與前若干個符號的依賴關系強，而與更前面的符號依賴關系弱。為此，可以限制隨機序列的記憶長度。當記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發出的符號只與前m個符號有關，與更前面的符號無關。17隨機波形信源更一般地說，實際信源輸出的消息常常是時間和取值都是連續的。例如，語音信號X(t)、熱噪聲信號n(t)、電視圖像信號X(x0,y0,t)等時間連續函數。同時，在某一固定時間t０，它們的可能取值又是連續的和隨機的。對于這種信源輸出的消息，可用隨機過程來描述。稱這類信源為隨機波形信源。隨機波形信源的處理方式：在某種條件下可以轉換成隨機變量間統計獨立的隨機序列。如果隨機過程是平穩的隨機過程，時間離散化后可轉換成平穩的隨機序列。這樣，隨機波形信源可以轉換成連續平穩信源來處理。若再對每個取樣值(連續型的)經過分層(量化)，就可將連續的取值轉換成有限的或可數的離散值。也就可把連續信源轉換成離散信源來處理。18信息無處不在，但：信息用什么表示？如何表示？不確定性＝攜載的信息可用隨機變量的不確定性或隨機性作為信息的表示19非負性連續性可加性等概時與取值空間N的關系（單調增）與發生的概率P的關系（單調減）考察、分析信息的特征20自信息自信息消息的不確定性即為它的自信息:考慮一定的條件,得此函數為對數形式：式（2.22）21信息量的單位

自信息的單位與公式中的對數取底有關。通信與信息中最常用的是以2為底，這時單位為比特（bit）；理論推導中用以e為底較方便，這時單位為奈特（Nat）；工程上用以10為底較方便，這時單位為哈特（Hart）。它們之間可以引用對數換底公式進行互換。比如：1bit=0.693Nat=0.301Hart22對于單個消息隨機變量X，出現某個消息，對應概率為，這時可獲得的信息量為，則有：通過數學公式推導解釋：小概率事件，一旦出現必然使人感到意外，因此產生的信息量就大；幾乎不可能事件一旦出現，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預料之中的，即使發生，也沒什么信息量，特別是當必然事件發生了，它不會給人以任何信息量。注：I－－自信息23當事件ai發生以前，表示事件ai發生的不確定性當事件ai發生以后表示事件ai所含有（所提供）的信息量自信息的含義24互信息(教材P7)信源發送消息,而由于干擾，在接收端收到的為消息，此時獲得的信息量——互信息，即最初的不確定性減去尚存在的不確定性。尚存在的不確定性為條件概率的函數，即：互信息消除的不確定性為先驗的不確定性減去尚存在的不確定性。式（1.2）25例2.1:試驗前：H(x)=log8=3(bit/符號)H(x2)－H(x3)

=1－－獲得1bit信息量XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第二次測量后：X2P（x2）＝123456781/21/2000000H(x2)=log2=1(bit/符號)第三次測量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號)第一次測量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號)H(x)－H(x1)

=1－－獲得1bit信息量H(x1)－H(x2)

=1－－獲得1bit信息量H(X)表示在獲知哪個燈泡是壞的情況前，關于哪個燈泡已損壞的平均不確定性，即要確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，才能完全消除不確定性。26熵熵的引入香農熵與熱力學熵的關系熵可以作為信息的度量熵函數的性質聯合熵和條件熵27熵的引入一個離散隨機變量X，以不同的取值概率有N個可能取值,

XP（x）＝a1a2…aNp1p2…pN信息論關心：X的不確定性不確定性－－大，獲取的信息－－多28熵的引入不確定性分析：隨機變量X、Y、ZXP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.5問題：能否度量、如何度量？？小大29香農指出：存在熵函數

滿足先驗條件1、連續性條件：是的連續函數2、等概時為單調增函數：是N的增函數3、可加性條件：多次試驗確定取值時，X在各次試驗中的不確定性可加。結論：唯一的形式：C=常數>0，即：式2.2330香農熵與熱力學中熱熵的關系熵這個名詞是香農從物理學中的統計熱力學借用過來的，在物理學中稱它為熱熵是表示分子混亂程度的一個物理量，這里，香農引用它來描述信源的平均不確定性，含義是類似的。但是在熱力學中已知任何孤立系統的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，一般只會減少，不會增加。所以有人稱信息熵為負熱熵。二者還有一個重大差別：熱熵是有量綱的，而香農熵是無量綱的。31（仍有不確定性）熵可以作為信息的量度對于隨機變量而言：試驗前－－試驗后－－各取值的概率分布確切取值（0）（不確定性）一定的確切性多次試驗后－－通過試驗－－消除了不確定性－－獲得了信息－－信息的數量＝熵32例2.1:試驗前：H(x)=log8=3(bit/符號)H(x2)－H(x3)

=1－－獲得1bit信息量XP（x）＝123456781/81/81/81/81/81/81/81/812312345678第二次測量后：X2P（x2）＝123456781/21/2000000H(x2)=log2=1(bit/符號)第三次測量后：X3P（x3）＝1234567810000000H(x3)=log1=0(bit/符號)第一次測量后：X1P（x1）＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號)H(x)－H(x1)

=1－－獲得1bit信息量H(x1)－H(x2)

=1－－獲得1bit信息量H(X)表示在獲知哪個燈泡是壞的情況前，關于哪個燈泡已損壞的平均不確定性，即要確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，才能完全消除不確定性。33例2.2:試驗前：XP（x）＝1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79natsX1P（x1）＝123456010000H(x1)=0H(x)－H(x1)=log6試驗后：34熵的物理含義觀察隨機變量X、Y、ZH(X)=-0.01log0.01-0.99log0.99=0.08（比特/符號）H(Y)=-0.5log0.5-0.5log0.5=1（比特/符號）H(Z)=5(-0.2log0.2)=2.32（比特/符號）XP（x）＝a1a20.010.99ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝a1a20.50.535熵的物理含義熵是隨機變量的隨機性的描述。變量Y、Z等概，隨機性大，變量X不等概，則隨機性小等概情況下，可取值越多，隨機性越大H（）是描述隨機變量所需的比特數熵是信源輸出消息前隨機變量平均不確定性的描述X試驗中發生a1,獲得的自信息為-log0.01=6.64(bit)Y試驗中發生a1,獲得的自信息為-log0.5=1(bit)H（）反映的是平均的不確定性信源熵H(X)是表示信源輸出后每個消息/符號所提供的平均信息量36熵的基本性質和定理熵函數H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函數（實際上，因Σp(xi)=1，獨立變量只有n-1個，H是(n-1)元函數）:(1)非負性(2)對稱性(3)最大離散熵定理(4)擴展性(5)確定性(6)可加性(7)上凸性37(1)非負性H(X)≥0因為隨機變量X的所有取值的概率分布滿足0≤p(xi)≤1；當取對數的底大于1時logp(xi)≤0，而-

p(xi)

logp(xi)≥0，所以熵H(X)≥0；38熵函數的性質－－非負性（證明）證明一：而：故：所以：（取底數大于1時）39熵函數的性質－－非負性（證明）證明二：有：或：所以：40(2)

對稱性①定義：當變量p(x1),p(x2),…,p(xn)的順序任意互換時，熵函數的值不變，即②含義：該性質說明熵只與隨機變量的總體結構有關，與信源的總體統計特性有關。如果某些信源的統計特性相同（含有的符號數和概率分布相同），那么這些信源的熵就相同。41(3)最大離散熵定理(極值性)定理：離散無記憶信源輸出N個不同的信息符號，當且僅當各個符號出現概率相等時(即p(xi)=1/N)，熵最大。H[p(x1),p(x2),…,p(xN)]≤H(1/N,1/N,…,1/N)=log2N

結論：出現任何一個符號的可能性相等時，信源的平均不確定性最大。42例2.3：二元熵函數是對0－1分布的隨機變量所求的熵：XP（x）＝01p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)H’(X)=-logp-p/p+log(1-p)+(1-p)/(1-p)=log(1-p)/p則：H(X)對p求導：可以證明，p＝1/2時，H(p)取最大值，為log2=1。而p=0或1時，H(p)＝0，故二元熵函數的曲線如圖所示：431.01.00.50pH(p)/bit二元熵函數曲線等概時，p=0.5：隨機變量具有最大的不確定性，p=0,1時：隨機變量的不確定性消失。44(4)擴展性因為所以上式成立。本性質說明，信源的取值增多時，若這些取值對應的概率很小（接近于零），則信源的熵不變。雖然概率很小的事件出現后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現，所以它在熵的計算中占的比重很小。這也是熵的總體平均性的一種體現。45(5)確定性H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

從總體上看，信源雖然有不同的輸出消息，但它只有一個消息幾乎必然出現，而其他消息都是幾乎不可能出現，這個信源是一個確知信源，其熵等于零。46(6)

強可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

47(7)

上凸性設有一個多元矢量函數f(x1,x2,…,xn)=f(X)，對任一小于1的正數α(0＜α＜1)及f的定義域中任意兩個矢量X,Y，

若f[αX+(1-α)Y]＞αf(X)+(1-α)f(Y)，則稱f為嚴格上凸函數。設P,Q為兩組歸一的概率矢量：

P=[p(x1),p(x2),…,p(xn)]，Q=[p(y1),p(y2),…,p(yn)]0≤p(xi)≤1，0≤p(yi)≤1，有：H[αP

+(1-α)Q]＞αH(P)+(1-α)H(Q)

48離散無記憶的擴展信源什么是平穩離散無記憶信源？信源輸出的消息序列是平穩隨機序列并且符號之間是無依賴的。離散無記憶信源的數學模型與離散信源的類似，也用[X，P（x）]表示，只是離散無記憶信源輸出的消息是一串符號序列，用隨機矢量表示，隨機矢量的聯合概率分布等于組成它的各個隨機變量的概率乘積(為什么？)。49離散無記憶的擴展信源定義：一個離散無記憶信源X，其樣本空間為{a1,a2,…,aq}，信源輸出的消息可以用一組組長度為N的序列表示。此時信源X可等效成一個新信源XN=（X1,X2,…,XN），其中的每個分量Xi都是隨機變量，都取于X，分量之間統計獨立，這樣的新信源就是離散無記憶信源X的N次擴展信源。結論：離散無記憶信源X的N次擴展信源的熵等于離散信源x的熵的N倍。50ex：2.6某一離散無記憶平穩信源：求此信源的二次擴展信源的熵？X2信源的符號組成擴展信源的符號概率1/41/81/81/81/161/161/81/161/1651離散平穩信源（1）回憶：什么是離散平穩信源？嚴格的數學定義一維離散平穩信源：若當t=i，t=j時，信源輸出的隨機序列滿足P(xi)=P(xj)=P(x)，即一維概率分布與時間起點無關，則信源稱為一維離散平穩信源。二維離散平穩信源：若信源輸出的隨機序列同時還滿足二維聯合概率分布也與時間起點無關，即P(xi，xi+1)

=P(xj，xj+1)

，則信源稱為二維離散平穩信源。52離散平穩信源（2）若信源輸出的隨機序列各維概率分布均與時間起點無關，則信源是完全平穩的，稱為離散平穩信源。離散平穩信源中聯合概率滿足的等式：

P(xi)=P(xj)；P(xi，xi+1)

=P(xj，xj+1)……(2.61)推論：離散平穩信源的條件概率也與時間起點無關。P(xi+1/xi)=P(xj+1/xj)；P(xi+2/xixi+1)

=P(xj+2/xjxj+1)

……(2.63)53二維離散平穩信源特點：

1、信源的一維、二維概率分布均與時間起點無關。2、輸出的隨機序列中只有兩兩相鄰的符號之間有依賴關系。二維離散平穩信源的概率空間：

聯合概率：二者共同描述一個二維離散平穩信源。54二維離散平穩信源信息測度——信源熵一、把二維離散平穩信源輸出的隨機序列相鄰的兩個符號分成一組，每組代表新信源的一個符號。聯合熵H(X1X2)二、先求出已知前面符號確定的情況下，下一個符號的平均不確定性，再對前面的符號求統計平均。條件熵H(X2/X1)55結論：兩個有相互依賴關系的隨機變量X1和X2所組成的隨機矢量X=X1X2的聯合熵H(X),等于第一個隨機變量的熵H(X1)與第一個隨機變量X1已知的前提下，第二個隨機變量X2的條件熵H(X2/X1)之和。

H(X1X2)=H(X1)+H(X2/X1)聯合熵、條件熵的關系：56聯合熵、條件熵的關系：當X1,X2相互獨立時，有：于是有：理解：當隨機變量相互獨立時，其聯合熵等于單個隨機變量的熵之和，而條件熵等于無條件熵。57聯合熵、條件熵的關系：一般情況下理解：表明一般情形下：條件熵總是小于無條件熵。注意：這是平均意義上的58ex：2.7某一二維離散平穩信源ajai01201/41/18011/181/31/18201/187/36聯合概率求此信源的熵？59（法一）求聯合熵H(X1X2)（法二）求條件熵H(X2/X1)ajai01209/111/8012/113/42/9201/87/960H(X)=H(X1X2…XN-1XN)/聯合熵表示平均發一個消息（由N個符號組成的序列）提供的信息量。平均符號熵：信源平均每發一個符號提供的信息量為極限熵：當N→∞時，平均符號熵取極限值稱之為極限熵或極限信息量。用H∞表示，即離散平穩有記憶信源的極限熵61極限熵的存在性：當離散有記憶信源是平穩信源時，從數學上可以證明，極限熵是存在的，且等于關聯長度N→∞時，條件熵H(XN/X1X2…XN-1)的極限值，即極限熵的計算：必須測定信源的無窮階聯合概率和條件概率分布，這是相當困難的。有時為了簡化分析，往往用條件熵或平均符號熵作為極限熵的近似值。在有些情況下，即使N值并不大，這些熵值也很接近H∞，例如馬爾可夫信源。通過推導可知，用條件熵作為極限熵的近似值更為接近。62馬爾可夫信源（自學）63信源剩余度64信息傳輸手