1、普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著1第第4章信息率失真函數章信息率失真函數n問題問題 信源熵信源熵H(X)的物理含義是什么？的物理含義是什么？ 為什么要研究信源熵？為什么要研究信源熵？n信源無失真傳輸所需的最小信息率信源無失真傳輸所需的最小信息率nR H(X)n在信源允許一定失真情況下所需的最在信源允許一定失真情況下所需的最小信息率小信息率nDR(D)普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著24.1 平均失真和信息率失真函數平均失真和信息率失真函數n4.1.1 失真函數失真函數n4.1.2 平均失真平均失真n4.1.3 信息率失真函數信息率失真函數R(

2、D)n4.1.4 信息率失真函數的性質信息率失真函數的性質普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著34.1 平均失真和信息率失真函數平均失真和信息率失真函數 在實際問題中，信號有一定的失真是可以在實際問題中，信號有一定的失真是可以容忍的。但是當失真大于某一限度后，信息質容忍的。但是當失真大于某一限度后，信息質量將被嚴重損傷，甚至喪失其實用價值。要規量將被嚴重損傷，甚至喪失其實用價值。要規定失真限度，必須先有一個定量的失真測度。定失真限度，必須先有一個定量的失真測度。為此可引入失真函數。為此可引入失真函數。普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著44.1.1

3、失真函數失真函數X=xi，xi a1,anjijijiyxyx),yd(x00 信源編碼器 Y=yj，yj b1,bm失真函數失真函數d(xi，yj)普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著5失真矩陣失真矩陣 單個符號的失真度的全體構成的矩單個符號的失真度的全體構成的矩陣陣 ，稱為失真矩陣，稱為失真矩陣),(jiyxd),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadd普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著6均方失真：均方失真：ijijixyxyxd/),(2),

4、(jijiyxyxdjijiyxyxd),(其它，1, 0),(),(jijijiyxyxyxd相對失真：相對失真：誤碼失真：誤碼失真：絕對失真：絕對失真：前三種失真函數適用于連續信源，后一種適前三種失真函數適用于連續信源，后一種適用于離散信源。用于離散信源。 最常用的失真函數最常用的失真函數 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著7序列編碼情況失真函數定義為：序列編碼情況失真函數定義為： 其中其中d(xil，yjl)是信源輸出是信源輸出L長符號樣值長符號樣值xi中的第中的第l個符號個符號xil時，編碼輸出時，編碼輸出L長符號樣值長符號樣值yj中的第中的第l個符號個符號yj

5、l的失真函數。的失真函數。 LljliljiLyxdLd1),(1),(yx普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著84.1.2 平均失真平均失真 失真函數的數學期望稱為失真函數的數學期望稱為平均失真平均失真，記為，記為,(,) (,)()/(,)ijijijiiji ji jDp xyd xyp xp yx d xy 已知p(xi)和d(xi，yj)，平均失真只是符號轉移概率p(yj/xi)的函數。 p(yj/xi )在此實質上代表編碼方式。ix信源編碼器信源編碼器jy)(ijxyp 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著91001P1010P如：x1y

6、1x2 y2x1y1x2 y1普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著10 對于連續隨機變量同樣可以定義平均失真對于連續隨機變量同樣可以定義平均失真 dxdyyxdyxpDxy),(),(LllLljlilLDLyxdELD111),(1對于對于L長序列編碼情況，平均失真為長序列編碼情況，平均失真為 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著114.1.3 信息率失真函數信息率失真函數R(D) 信源編碼器的目的是使編碼后所需的信信源編碼器的目的是使編碼后所需的信息傳輸率息傳輸率R盡量小盡量小，DDR 給定失真的限制值給定失真的限制值D，使，使 D，找最小，找最

7、小R， R(D)，定義為信息率失真函數。，定義為信息率失真函數。普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著124.1.3 信息率失真函數信息率失真函數R(D)naaax,21信源編碼器信源編碼器mbbby,21XY假想信道假想信道 將信源編碼器看作信道，將信源編碼器看作信道，信源編碼器輸出的信息率信源編碼器輸出的信息率R對應到信道，即為接收端對應到信道，即為接收端Y需要獲得的有關需要獲得的有關X的信息的信息量，也就是互信息量，也就是互信息I(X;Y)。p(yj/xi) 信源符號編碼概率信源符號編碼概率 信道轉移概率信道轉移概率普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪

8、虹編著13D允許試驗信道允許試驗信道 若若p(xi)和和d(xi，yj)已定，則可給出滿足已定，則可給出滿足條件的所有轉移概率分布條件的所有轉移概率分布pij，它們構成了一個，它們構成了一個信道集合信道集合PD稱為稱為D允許試驗信道允許試驗信道。 ,()/( ,)ijiiji jDp x p yx d x y (/):DjiPp yxDDDD普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著14信息率失真函數信息率失真函數R(D) n當當p(xi)一定時，互信息一定時，互信息I是關于是關于p(yj/xi) 的的U型凸函數，存在極小值型凸函數，存在極小值(2.2(2.2節）。節）。n在上

9、述允許信道在上述允許信道PD中，可以尋找一種信道中，可以尋找一種信道pij，使給定的信源，使給定的信源p(xi)經過此信道傳輸后，經過此信道傳輸后，互信息互信息I(X；Y)達到最小。達到最小。nD=? p(yj/xi)=pij? R(D)=?);(min)(YXIDRDPI p(xi)， p(yj/xi)普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著15對于離散無記憶信源，對于離散無記憶信源，R(D)函數可寫成函數可寫成 p(ai)，i1，2，n 是信源符號概率分布；是信源符號概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉移概率分布；是轉移概率分布； p(bj)，j

10、1，2，m 是接收端收到符號概率分布。是接收端收到符號概率分布。 nimjjijijiPPbpabpabpapDRDij11)()/(log)/()(min)( 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著16R(D)的物理意義n無失真時：R=H(X)n有失真時：R=R(D)=H(X)H(X/Y)H(X)nH(X/Y)：由于壓縮編碼損失的信息n對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值R(D) 信源編碼器信源編碼器H(X)R普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著17 例例 設信源的符號表為設信源的符號表為Aa1，a2，a2n，概率

11、分布為，概率分布為p(ai)1/2n，i1，2，2n，失真函數規定為，失真函數規定為 即符號不發生差錯時失真為即符號不發生差錯時失真為0，一旦出錯，失真為，一旦出錯，失真為1，試，試研究在一定編碼條件下信息壓縮的程度。研究在一定編碼條件下信息壓縮的程度。jijiaadji01),(111 11(1/2)( )(,)log2log(1)2222nnnRH YHnnnnnn H(X)H(X/Y)可壓縮的信息量普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著184.1.4 信息率失真函數的性質信息率失真函數的性質1.R(D)函數的定義域函數的定義域 Dmin和和R(Dmin) Dmin0

12、對于連續信源對于連續信源 )() 0 ()(minXHRDR )()0()(minxHRDRc普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著19討論n何時Dmin=0? 只有當失真矩陣中每行至少有一個零元素。n何時R(0)=H(X)? 只有當失真矩陣中每行至少有一個零，并每一列最多只有一個零。 否則R(0)可以小于H(X)，表示這時信源符號集中有些符號可以壓縮、合并而不帶來任何失真。普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著20 (2) Dmax和和R(Dmax) R(Dmax)=0 選擇所有滿足選擇所有滿足R(D)0中中D的最小值，定的最小值，定義為義為R(D)定

13、義域的上限定義域的上限Dmax，即，即DDDR0)(maxmin因此可以得到因此可以得到R(D)的定義域為的定義域為max,0 DD 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著21Dmax=?nR(D)0就是就是I(X;Y)0，這時試驗信道，這時試驗信道輸入輸入與輸出是互相獨立與輸出是互相獨立的，所以條件概率的，所以條件概率p(yj/xi)與與xi無關。即無關。即jjijijpypxypp)()/(max111111minminminminijijjjnmiijijppijnmmnijijjiijppijjiDDp p dp p dppd需滿足條件需滿足條件11mjjp普通高等

14、教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著22從上式觀察可得：在從上式觀察可得：在j=1，m中，可找中，可找到到 值最小的值最小的j，當該，當該j對應的對應的pj1，而，而其余其余pj為零時，上式右邊達到最小，這時為零時，上式右邊達到最小，這時上式可簡化成上式可簡化成niijidp1niijimjdpD1, 2 , 1maxmin普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著23例例4-3 設輸入輸出符號表為設輸入輸出符號表為XY 0，1，輸入概率，輸入概率分布分布p(x)=1/3，2/3，失真矩陣為，失真矩陣為0110),(),(),(),(22122111badbadb

15、adbadd普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著24解：解：當當Dmin0時，時，R(Dmin)H(X)H(1/3，2/3)0.91比特比特/符號，這時信源編碼器無失真，符號，這時信源編碼器無失真，所以該編碼器的轉移概率為所以該編碼器的轉移概率為 1001P普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著253131,32min032131, 132031min,minmin2, 12, 12221212121112, 1212, 1maxjjjiijijdpdpdpdpdpD當當R(Dmax)0時時 此時輸出符號概率此時輸出符號概率p(b1)0，p(b2)1，

16、 所以這時的編碼器的轉移概率為所以這時的編碼器的轉移概率為 2221,baba1010P普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著262、R(D)函數的下凸性和連續性函數的下凸性和連續性 3、R(D)函數的單調遞減性函數的單調遞減性 容許的失真度越大，所要求的信息率越小。容許的失真度越大，所要求的信息率越小。反之亦然。反之亦然。 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著27綜上所述，可以得出如下結論：綜上所述，可以得出如下結論：nR(D)是非負的實數，即R(D) 0。其定義域為0Dmax，其值為0H(X)。當DDmax時， R(D) 0。nR(D)是關于D的下

17、凸函數，因而也是關于D的連續函數。nR(D)是關于D的嚴格遞減函數。容許的D越大，所要求的R越小。反之亦然。普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著28由以上三點結論，對一般由以上三點結論，對一般信息率失真信息率失真R(D)曲線的曲線的形態可以畫出來：形態可以畫出來： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 離散系統連續系統普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著29信道容量信道容量C率失真函數率失真函數R(D)R(D)與C的比較 ()max (; )ip xCI X Y(/)( )min( ; )jip yxR DI X

18、Y研究對象研究對象信道信源給定條件給定條件信道轉移概率p(yj/xi)信源分布p(xi)選擇參數選擇參數信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件限制條件()1iip x(/ ):DjiPp y xD D結論結論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著304.2 離散信源和連續信源的離散信源和連續信源的R(D)計算計算 某些特殊情況下某些特殊情況下R（D）的表示式為：）的表示式為： （1）當）當d(x,y)=(x-y)2， 時時，22221)(xexpDDRlog)(普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著31(2)當當d(x,y)=|x-y|， 時時，xexp2)(DDR1log)(3)當當d(x,y)= (x,y)，p(x=0)=p，p(x=1)=1-p時，時，R(D)=H(p)H(D) 普通高等教育“十一五”國家級規劃教材信息論基礎 曹雪虹編著32這些這些R（D）可畫成三條曲線）可畫成三條曲線 0 Dmax D R(D) H(3)(1)(2)圖圖4-5 信息率失真函數信息率失真函