信息論與編碼第一頁，共四十二頁，2022年，8月28日4.1

平均失真和信息率失真函數4.2

離散信源和連續信源的R(D)計算內容2第二頁，共四十二頁，2022年，8月28日失真信道編碼定理——欲無失真，必R<C

若R>C，必失真失真必要性——連續信源R趨向于無窮大，必有失真壓縮亦有失真失真可能性——終端性能有限，如人眼,人耳研究：信息率～允許失真——信息率失真理論3第三頁，共四十二頁，2022年，8月28日4.1

平均失真和

信息率失真函數4第四頁，共四十二頁，2022年，8月28日4.1.1失真函數假如某一信源X,輸出樣值xi,xi∈{a1,a2,…an},經信道傳輸后變成yj,yj∈{b1,b2,…bm},如果:xi＝yj沒有失真

xi≠yj產生失真失真的大小,用一個量來表示,即失真函數d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函數定義為：5第五頁，共四十二頁，2022年，8月28日失真函數將所有的d(xi,yj)排列起來,用矩陣表示為:失真矩陣例：設信源符號序列為X={0,1},接收端收到符號序列為Y={0,1,2},規定失真函數為

d(0,0)＝d(1,1)=0d(0,1)＝d(1,0)=1d(0,2)＝d(1,2)=0.5失真矩陣6第六頁，共四十二頁，2022年，8月28日失真函數形式可以根據需要任意選取,最常用的有:均方失真:絕對失真:相對失真:誤碼失真:(漢明失真函數)適于連續信源適于離散信源失真函數7第七頁，共四十二頁，2022年，8月28日漢明失真矩陣

對于二元對稱信源(m=n),X={0,1},Y={0,1},漢明失真矩陣:8第八頁，共四十二頁，2022年，8月28日4.1.2平均失真將失真函數的數學期望稱為平均失真：失真函數d(xi,yj)：描述了某個信源符號通過傳輸后失真的大小平均失真：描述某個信源在某一試驗信道傳輸下的失真大小,它對信源和信道進行了統計平均,是從總體上描述整個系統的失真9第九頁，共四十二頁，2022年，8月28日

對于連續隨機變量同樣可以定義平均失真信源編碼器10第十頁，共四十二頁，2022年，8月28日L長序列編碼如果假定離散信源輸出符號序列X＝{X1X2…

Xl…

XL},其中L長符號序列xi=[xi1xi2…xiL],經信源編碼后,輸出符號序列Y={Y1Y2…Yl…YL},其中L長符號序列yj=[yj1yj2…yjL],則失真函數定義為平均失真11第十一頁，共四十二頁，2022年，8月28日4.1.3信息率失真函數R(D)信源編碼器XY假想信道將信源編碼器看作信道12第十二頁，共四十二頁，2022年，8月28日4.1.3信息率失真函數R(D)無論是無噪信道還是有噪信道:

R＜C總能找到一種編碼使在信道上能以任意小的錯誤概率,以任意接近C的傳輸率來傳送信息

R＞C就必須對信源壓縮,使其壓縮后信息傳輸率R’小于信道容量C,但同時要保證壓縮所引入的失真不超過預先規定的限度。信息壓縮問題就是對于給定的信源,在滿足平均失真的前提下,使信息率盡可能小。

13第十三頁，共四十二頁，2022年，8月28日信息率失真函數R(D)若平均失真度不大于我們所允許的失真,即則稱此為保真度準則當信源p(xi)給定,單個符號失真度d(xi,yj)給定時,選擇不同的試驗信道p(yj|xi),相當于不同的編碼方法,其所得的平均失真度不同。假想信道14第十四頁，共四十二頁，2022年，8月28日滿足條件的所有轉移概率分布pij,構成了一個信道集合D失真允許的試驗信道：滿足保真度準則的試驗信道。PD：所有D失真允許的試驗信道組成的一個集合。15第十五頁，共四十二頁，2022年，8月28日信息率失真函數R(D)R(D)：在限定失真為D的條件下信源輸出的最小信息率。在信源給定后,我們希望在滿足一定失真的情況下,使信源必須傳輸給收信者的信息傳輸率R盡可能地小。若從接收端來看,就是在滿足保真度準則下,尋找再現信源消息所必須獲得的最低平均信息量。即在滿足保真度準則的條件下尋找平均互信息I(X,Y)的最小值。16第十六頁，共四十二頁，2022年，8月28日信息率失真函數PD是所有滿足保真度準則的試驗信道集合,因而可以在集合PD中尋找某一個信道pij,使I(X,Y)取極小值。離散無記憶信源17第十七頁，共四十二頁，2022年，8月28日例已知編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息18第十八頁，共四十二頁，2022年，8月28日編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息可見當p(x)一定時,I(X,Y)隨p(yj|xi)而變。因為p(x)分布一定時,信道受干擾不同所能傳遞的信息量是不同的。可以證明，當p(x)一定時,I(X,Y)是關于p(yj|xi)的下凸函數。因此當改變p(yj|xi)時,I(X,Y)有一極小值。19第十九頁，共四十二頁，2022年，8月28日平均互信息平均互信息I(X;Y)：信源的概率分布p(xi)的上凸函數。p(yj|xi)一定信道傳遞概率p(yj|xi)的下凸函數。p(xi)一定信道容量：

信息率失真函數：

20第二十頁，共四十二頁，2022年，8月28日率失真函數與信道容量的比較信道容量C率失真函數R(D)數學上固定

p(yj/xi),改變p(xi),求得I(X;Y)最大值固定p(xi),改變p(yj/xi),求得I(X;Y)最小值概念上(反映)固定信道，改變信源，使信息率最大（信道傳輸能力）固定信源，改變信道，使信息率最小（信源可壓縮程度）通信上使傳輸信息量最大，Pe→0——信道編碼用盡可能少的碼符號傳送——信源編碼21第二十一頁，共四十二頁，2022年，8月28日4.1.4信息率失真函數的

性質1、R(D)的定義域率失真的定義域問題就是在信源和失真函數已知的情況下,討論允許平均失真度D的最小和最大取值問題。由于平均失真度是非負實數d(xi,yj)的數學期望,因此也是非負的實數,即的下界是0。允許平均失真度能否達到其下限值0,與單個符號的失真函數有關。22第二十二頁，共四十二頁，2022年，8月28日R(D)的定義域Dmin和R(Dmin)信源的最小平均失真度：只有當失真矩陣的每一行至少有一個0元素時,信源的平均失真度才能達到下限值0。當Dmin=0,即信源不允許任何失真時,信息率至少應等于信源輸出的平均信息量—信息熵。即

R(0)=H(X)23第二十三頁，共四十二頁，2022年，8月28日R(D)的定義域因為實際信道總是有干擾的,其容量有限,要無失真地傳送連續信息是不可能的。當允許有一定失真時,R(D)將為有限值,傳送才是可能的。對于連續信源：24第二十四頁，共四十二頁，2022年，8月28日R(D)的定義域R(D)的定義域為[Dmin，Dmax]。通常Dmin=0，R(Dmin)=H(X)當D≥Dmax時,R(D)=0當0≤D≤Dmax時,0＜R(D)＜H(X)25第二十五頁，共四十二頁，2022年，8月28日R(D)的定義域Dmax：定義域的上限。Dmax是滿足R(D)=0時所有的平均失真度中的最小值。由于I(X,Y)是非負函數,而R(D)是在約束條件下的I(X,Y)的最小值,所以R(D)也是一個非負函數,它的下限值是零。

R(D)≥026第二十六頁，共四十二頁，2022年，8月28日R(D)的定義域由于I(X,Y)=0的充要條件是X與Y統計獨立,即：27第二十七頁，共四十二頁，2022年，8月28日例4-3:設輸入輸出符號表為X=Y={0,1},輸入概率分布p(x)={1/3,2/3},失真矩陣求：Dmin

和Dmax

失真矩陣的每一行至少有一個0元素時,Dmin=0此時輸出符號概率p(b1)＝0，p(b2)＝1，

28第二十八頁，共四十二頁，2022年，8月28日例:設輸入輸出符號表為X=Y={0,1},輸入概率分布p(x)={1/3,2/3},失真矩陣求：Dmin

和Dmax

29第二十九頁，共四十二頁，2022年，8月28日信息率失真函數的性質1、R(D)是非負的實數,R(D)≥0。其定義域為0~Dmax,其值為0~H(X)。當D＞Dmax時,R(D)≡02、R(D)是關于D的下凸函數R(D)在定義域內是失真度D的U型下凸函數3、R(D)的單調遞減性及連續性容許的失真度越大，所要求的信息率越小。反之亦然。30第三十頁，共四十二頁，2022年，8月28日R(D)H(X)R(D)

0DDmaxDR(D)

0DmaxD信息率失真曲線由以上三點結論，對一般R(D)曲線的形態可以畫出來：31第三十一頁，共四十二頁，2022年，8月28日4.2離散信源和連續信源R(D)計算給定信源概率pi和失真函數dij,就可以求得該信源的R(D)函數。它是在保真度準則下求極小值的問題。但要得到它的顯式表達式,一般比較困難通常用參量表達式。即使如此,除簡單的情況外實際計算還是困難的,只能用迭代逐級逼近的方法。32第三十二頁，共四十二頁，2022年，8月28日

某些特殊情況下R（D）的表示式為：

（1）當d(x,y)=(x-y)2，時，4.2離散信源和連續信源R(D)計算33第三十三頁，共四十二頁，2022年，8月28日(2)當d(x,y)=|x-y|，時，(3)當d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時，R(D)=H(p)－H(D)

34第三十四頁，共四十二頁，2022年，8月28日這些R（D）可畫成三條曲線

0DmaxD

R(D)

H(3)(1)(2)圖4-5信息率失真函數R(D)35第三十五頁，共四十二頁，2022年，8月28日二元對稱信源的R(D)函數設二元對稱信源X={0,1},其概率分布p(x)=[p,1-p],接收變量Y={0,1},失真矩陣因而最小允許失真度Dmin=0。并能找到滿足該最小失真的試驗信道,且是一個無噪無損信道,其信道矩陣為36第三十六頁，共四十二頁，2022年，8月28日計算得：R(0)=I(X;Y)=H(p)最大允許失真度為要達到最大允許失真度的試驗信道,唯一確定為37第三十七頁，共四十二頁，2022年，8月28日這個試驗信道能正確傳送信源符號x=1,而傳送信源符號x=0時,接收符號一定為