1、第七章 信息率失真函數(shù)2022/6/301 發(fā)展獨(dú)立思考和獨(dú)立判斷的一般能力，應(yīng)當(dāng)始終放在首位，而不應(yīng)當(dāng)把獲得專業(yè)知識(shí)放在首位。 愛因斯坦第七章 信息率失真函數(shù)2022/6/3027.1 基本概念基本概念7.2 離散信源的信息率失真函數(shù)離散信源的信息率失真函數(shù)7.3 連續(xù)信源的信息率失真函數(shù)連續(xù)信源的信息率失真函數(shù) 7.4 信息率失真函數(shù)與信息價(jià)值信息率失真函數(shù)與信息價(jià)值7.5 信道容量與信息率失真函數(shù)的比較信道容量與信息率失真函數(shù)的比較7.6 保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理 7.7 信息率函數(shù)與信息價(jià)值信息率函數(shù)與信息價(jià)值7.8 信息論信息論“三大定理三大定理”總結(jié)總結(jié)

2、第七章 信息率失真函數(shù)第七章 信息率失真函數(shù)2022/6/3037.1.1 引言引言7.1.2 失真度與平均失真度失真度與平均失真度7.1.3 信息率失真函數(shù)的定義信息率失真函數(shù)的定義7.1.4 信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)7.1 基本概念第七章 信息率失真函數(shù)2022/6/3047.1 基本概念只要滿足一定的條件，近似地只要滿足一定的條件，近似地恢復(fù)信源發(fā)出的消息就可以了恢復(fù)信源發(fā)出的消息就可以了。允許的失真？如何對(duì)失真進(jìn)行描述允許的失真？如何對(duì)失真進(jìn)行描述被壓縮的最大程度被壓縮的最大程度信息信息率失真理論率失真理論香農(nóng)的限失真香農(nóng)的限失真編碼定理編碼定理第七章 信息率失真函數(shù)2

3、022/6/305(1) “消息完全無失真?zhèn)魉拖⑼耆珶o失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性的可實(shí)現(xiàn)性l信道編碼定理信道編碼定理：無論何種信道，只要信息率無論何種信道，只要信息率R小于小于信道容量信道容量C，總能找到一種編碼，使在信道上能以任，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于意小的錯(cuò)誤概率和任意接近于C的傳輸率來傳送信息。的傳輸率來傳送信息。反之，若反之，若RC，則傳輸總要失真。，則傳輸總要失真。l完全無失真?zhèn)魉筒豢蓪?shí)現(xiàn)：完全無失真?zhèn)魉筒豢蓪?shí)現(xiàn)：l實(shí)際的信源常常是連續(xù)的，信息率無限大，要無實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙适д鎮(zhèn)魉鸵笮畔⒙蔙為無窮大；為無

4、窮大；l實(shí)際信道帶寬是有限的，所以信道容量受限制。實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏敚璧男畔⒙蚀蟠蟪^信道容要想無失真?zhèn)鬏敚璧男畔⒙蚀蟠蟪^信道容量量RC。7.1.1 引 言7.1 基本概念第七章 信息率失真函數(shù)2022/6/306(2) 實(shí)際中允許一定程度的失真實(shí)際中允許一定程度的失真l 技術(shù)發(fā)展的需要技術(shù)發(fā)展的需要l隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這就需要傳隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這就需要傳送、存儲(chǔ)和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，往往需送、存儲(chǔ)和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，往往需要對(duì)數(shù)據(jù)壓縮，這樣也會(huì)帶

5、來一定的信息損失。要對(duì)數(shù)據(jù)壓縮，這樣也會(huì)帶來一定的信息損失。l人類社會(huì)已進(jìn)入信息時(shí)代，信息爆炸的結(jié)果要求人們解決如何對(duì)人類社會(huì)已進(jìn)入信息時(shí)代，信息爆炸的結(jié)果要求人們解決如何對(duì)浩如煙海的數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的浩如煙海的數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲(chǔ)容量存儲(chǔ)容量(如各種數(shù)據(jù)如各種數(shù)據(jù)庫(kù)、電子出版物、多媒體娛樂庫(kù)、電子出版物、多媒體娛樂)、傳輸時(shí)間傳輸時(shí)間(如數(shù)據(jù)通信和遙測(cè)如數(shù)據(jù)通信和遙測(cè))、或或占有帶寬占有帶寬(如多媒體通信、數(shù)字音頻廣播、高清晰度電視如多媒體通信、數(shù)字音頻廣播、高清晰度電視)，要，要想方設(shè)法壓縮給定消息想方設(shè)法壓縮給定消息 集合占用的空間域、時(shí)間域和頻率域資集合占用的空間域、

6、時(shí)間域和頻率域資源。源。l如海洋地球物理勘探遙測(cè)數(shù)據(jù)，用如海洋地球物理勘探遙測(cè)數(shù)據(jù)，用60路傳感器，每路信號(hào)路傳感器，每路信號(hào)1KHz，16位位A/D量化，每航測(cè)量化，每航測(cè)1Km就需記錄就需記錄1盤盤0.5英寸的磁帶，一條測(cè)英寸的磁帶，一條測(cè)量船每年就可勘測(cè)量船每年就可勘測(cè)15000Km，數(shù)據(jù)流之大可見一斑。，數(shù)據(jù)流之大可見一斑。7.1.1 引 言7.1 基本概念第七章 信息率失真函數(shù)2022/6/307l實(shí)際生活中的需要實(shí)際生活中的需要l實(shí)際生活中，人們一般并不要求獲得完全無失真的消實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的息，通常只要求近

7、似地再現(xiàn)原始消息，即允許一定的失真存在。失真存在。l例如打電話：即使語(yǔ)音信號(hào)有一些失真，接電話的人例如打電話：即使語(yǔ)音信號(hào)有一些失真，接電話的人也能聽懂。人耳接收信號(hào)的帶寬和分辨率是有限的。也能聽懂。人耳接收信號(hào)的帶寬和分辨率是有限的。l放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性視覺暫留性”，實(shí)際上只要每秒放映，實(shí)際上只要每秒放映24幅靜態(tài)畫面。幅靜態(tài)畫面。l有些失真沒有必要完全消除。有些失真沒有必要完全消除。7.1.1 引 言7.1 基本概念第七章 信息率失真函數(shù)2022/6/308(3) 信息率失真理論信息率失真理論l信息率失真

8、函數(shù)信息率失真函數(shù)l香農(nóng)定義了信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)。l定理指出定理指出：在允許一定失真度：在允許一定失真度D的情況下，信源輸?shù)那闆r下，信源輸出的信息率可壓縮到出的信息率可壓縮到R(D)。l信息率失真理論是信息率失真理論是量化量化（模數(shù)轉(zhuǎn)換）（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換、頻頻帶壓縮帶壓縮和和數(shù)據(jù)壓縮數(shù)據(jù)壓縮的理論基礎(chǔ)。的理論基礎(chǔ)。7.1.1 引 言7.1 基本概念第七章 信息率失真函數(shù)2022/6/309l信息率失真函數(shù)極小值問題信息率失真函數(shù)極小值問題lI(X;Y)是是P(X)和和P(Y/X)的二元函數(shù)；的二元函數(shù)；l在討論信道容量時(shí)：規(guī)定了在討論信道容量時(shí)：規(guī)定了

9、P(Y/X) ， I(X;Y)變成了變成了P(X)的函數(shù)。的函數(shù)。在離散情況下，因?yàn)樵陔x散情況下，因?yàn)镮(X;Y)對(duì)對(duì)p(xi)是上凸函數(shù)，所以變更是上凸函數(shù)，所以變更p(xi)所所求極值一定是求極值一定是I(X;Y)的極大值；在連續(xù)情況下，變更信源的極大值；在連續(xù)情況下，變更信源P(X)求求出的也是極大值，但求極值時(shí)還要一些其它的限制條件。出的也是極大值，但求極值時(shí)還要一些其它的限制條件。l在討論信息率時(shí)可規(guī)定：在討論信息率時(shí)可規(guī)定：p(xi) ，變更，變更p(yj /xi)來求平均互信息的極來求平均互信息的極值，稱為值，稱為信道容量對(duì)偶問題信道容量對(duì)偶問題。由于由于I(X;Y)是是p(yj

10、 /xi)的下凸函數(shù)，的下凸函數(shù)，所求的極值一定是極小值所求的極值一定是極小值。但若。但若X和和Y相互統(tǒng)計(jì)獨(dú)立相互統(tǒng)計(jì)獨(dú)立(p(yj /xi)= p(yj )，這個(gè)極小值就是，這個(gè)極小值就是0，因?yàn)椋驗(yàn)镮(X;Y)是非負(fù)的，是非負(fù)的，0必為極小值，必為極小值，這樣求極小值就沒意義了。這樣求極小值就沒意義了。l引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變得有意義了。就變得有意義了。7.1.1 引 言7.1 基本概念第七章 信息率失真函數(shù)2022/6/30107.1.2 失真度與平均失真度(1) 信息率與失真的關(guān)系信息率與失

11、真的關(guān)系(2) 失真度失真度(3) 常用的失真函數(shù)常用的失真函數(shù)(4) 平均失真度平均失真度(5) N次擴(kuò)展信道的平均失真度次擴(kuò)展信道的平均失真度7.1 基本概念第七章 信息率失真函數(shù)2022/6/3011(1) 信息率與失真的關(guān)信息率與失真的關(guān)l信道中固有的噪聲和不可避免的干擾，使信源的消息信道中固有的噪聲和不可避免的干擾，使信源的消息通過信道傳輸后造成誤差和失真通過信道傳輸后造成誤差和失真l誤差或失真越大，接收者收到消息后對(duì)信源存在的不誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息確定性就越大，獲得的信息量就越小，信道傳輸消息所需的信息率也越小

12、。所需的信息率也越小。7.1.2 失真度與平均失真度7.1 基本概念第七章 信息率失真函數(shù)2022/6/30127.1.2 失真度與平均失真度(2) 失真度失真度l失真度失真度l設(shè)離散無記憶信源為設(shè)離散無記憶信源為)(,),(),(,)(2121mmjypypypyyyypYY到接收端信源符號(hào)通過信道傳送7.1 基本概念)(,),(),(,)(2121nnixpxpxpxxxxpX)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp信道的傳遞概率矩陣第七章 信息率失真函數(shù)2022/6/301

13、37.1.2 失真度與平均失真度l對(duì)每一對(duì)對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)0 i=1,2,n j=1,2,m 稱稱d(xi,yj)為為單個(gè)符號(hào)的失真度單個(gè)符號(hào)的失真度/失真函數(shù)。表示信源失真函數(shù)。表示信源發(fā)出一個(gè)符號(hào)發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)，在接收端再現(xiàn)yj所引起的誤差或失所引起的誤差或失真。真。7.1 基本概念第七章 信息率失真函數(shù)2022/6/30147.1.2 失真度與平均失真度l失真矩陣失真矩陣l失真度還可表示成矩陣的形式失真度還可表示成矩陣的形式l稱稱D為失真矩陣。它是為失真矩陣。它是nm階矩陣。階矩陣。l連續(xù)信源和連續(xù)信道的失真函數(shù)連

14、續(xù)信源和連續(xù)信道的失真函數(shù)l在連續(xù)信源和連續(xù)信道情況下，失真度定義為在連續(xù)信源和連續(xù)信道情況下，失真度定義為d(x,y)07.1 基本概念 ),(),(),(),(),(),(),(),(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxdD第七章 信息率失真函數(shù)2022/6/30157.1.2 失真度與平均失真度(3) 常用的失真函數(shù)常用的失真函數(shù)l第一種第一種l當(dāng)當(dāng)i=j時(shí)，時(shí)，X與與Y的取值一樣，用的取值一樣，用Y來代表來代表X就沒有誤差，所以就沒有誤差，所以定義失真度為定義失真度為0；l當(dāng)當(dāng)ij時(shí)，用時(shí)，用Y代表代表X就有誤差。就有誤差。l這

15、種定義認(rèn)為對(duì)所有不同的這種定義認(rèn)為對(duì)所有不同的i和和j引起的誤差都一樣，所以定引起的誤差都一樣，所以定義義失真度常數(shù)失真度常數(shù)a。l失真矩陣的失真矩陣的特點(diǎn)是對(duì)角線上的元素均為特點(diǎn)是對(duì)角線上的元素均為0，對(duì)角線以外的其，對(duì)角線以外的其它元素都為常數(shù)它元素都為常數(shù)a。7.1 基本概念 0000000),(aaaaaaaaaaaaDjiaajiyxdji第七章 信息率失真函數(shù)2022/6/30167.1.2 失真度與平均失真度l當(dāng)當(dāng)a=1時(shí)的失真函數(shù)稱為漢明失真函數(shù)時(shí)的失真函數(shù)稱為漢明失真函數(shù)。l 第二種：第二種：d(xi,yj)=(yjxi)2l這種函數(shù)稱為這種函數(shù)稱為平方誤差失真函數(shù)平方誤差失

16、真函數(shù)，失真矩陣稱為，失真矩陣稱為平方誤差失平方誤差失真矩陣真矩陣。l若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較小的幅度失真引起的錯(cuò)誤更為嚴(yán)重，嚴(yán)重程度用平方表示。小的幅度失真引起的錯(cuò)誤更為嚴(yán)重，嚴(yán)重程度用平方表示。l失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素主觀感覺上的差別大小等因素人為規(guī)定的人為規(guī)定的。7.1 基本概念 0111010111101111010),(Djijiyxdji第七章 信息率失真函數(shù)2022/6/30177.1.2 失真

17、度與平均失真度(4) 平均失真度平均失真度l平均失真度定義平均失真度定義ld(xi,yj)只能表示兩個(gè)特定的具體符號(hào)只能表示兩個(gè)特定的具體符號(hào)xi和和yj之間的之間的失真。失真。l平均失真度平均失真度：平均失真度為失真度的數(shù)學(xué)期望，：平均失真度為失真度的數(shù)學(xué)期望，7.1 基本概念nimjjiijijijiyxdxypxpDyxdEDXYPYXyxd11),()/()(),()(),(由數(shù)學(xué)期望的定義中的統(tǒng)計(jì)平均值的聯(lián)合概率空間和在即，第七章 信息率失真函數(shù)2022/6/30187.1.2 失真度與平均失真度(5) N 次擴(kuò)展信道的平均失真度次擴(kuò)展信道的平均失真度lN次擴(kuò)展次擴(kuò)展l單符號(hào)離散無記

18、憶信源單符號(hào)離散無記憶信源X x1,x2,xn的的N次擴(kuò)展信源次擴(kuò)展信源XN =X1X2XN ，在信道中的傳遞作用相當(dāng)于單符號(hào)離散無記憶，在信道中的傳遞作用相當(dāng)于單符號(hào)離散無記憶信道的信道的N次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列YN =Y1Y2YN 。l此時(shí)輸入共有此時(shí)輸入共有nN個(gè)不同的符號(hào)個(gè)不同的符號(hào)l信道的輸出共有信道的輸出共有mN個(gè)不同的符號(hào)個(gè)不同的符號(hào)7.1 基本概念NNniiiiiiininiiixxxxxxxxxNN, 2 , 1, 2 , 1,)(21212121aNNmjjjjjjjmjmjjjyyyyyyyyyNN, 2 , 1, 2 ,

19、 1,)(21212121b第七章 信息率失真函數(shù)2022/6/30197.1.2 失真度與平均失真度l定義離散無記憶信道定義離散無記憶信道X P(Y/X) Y的的N次擴(kuò)展信道的次擴(kuò)展信道的輸入序列輸入序列a ai和和輸出序列輸出序列b bj之間的失真函數(shù)為之間的失真函數(shù)為l上式說明：離散無記憶信道的上式說明：離散無記憶信道的N次擴(kuò)展信道輸入輸出之間的失次擴(kuò)展信道輸入輸出之間的失真，等于輸入序列真，等于輸入序列a ai中中N個(gè)信源符號(hào)個(gè)信源符號(hào)xi1,xi2,xiN各自通過信道各自通過信道X P(Y/X) Y ，分別輸出對(duì)應(yīng)的，分別輸出對(duì)應(yīng)的N個(gè)信宿符號(hào)個(gè)信宿符號(hào)yj1,yj2,yjN后所后所

20、引起的引起的N個(gè)單符號(hào)失真?zhèn)€單符號(hào)失真d(xik ,yjk)(k=1,2, ,N)之和。之和。7.1 基本概念NkjijijijijjjiiijikkNNNNyxdyxdyxdyxdyyyxxxdd1),(),(),(),(),(),(11112121ba第七章 信息率失真函數(shù)2022/6/3020lN次擴(kuò)展的失真度次擴(kuò)展的失真度 定義定義N次離散無記憶擴(kuò)展信源和信道的平均失真度次離散無記憶擴(kuò)展信源和信道的平均失真度為為 ，則，則)(ND),()/()()(11jiijnimjidppNDNNbaaba7.1.2 失真度與平均失真度7.1 基本概念第七章 信息率失真函數(shù)2022/6/3021l

21、 “N次擴(kuò)展次擴(kuò)展”與與“單符號(hào)單符號(hào)”平均失真度的關(guān)系平均失真度的關(guān)系l由擴(kuò)展信源和擴(kuò)展信道的無記憶性有由擴(kuò)展信源和擴(kuò)展信道的無記憶性有NkyxdxypxpDxypxpDDDDyxdxypxpyxdxypxpyxdxypxpyxdxypxypxpxpdppNDmjnixyppxppkkkkkkkkkkkkNNNNNNNkkNNNNNNNkkkjiijnimjiknjijniiNkkNjiijnimjijiijnimjijiijnimjiNkjiijijininimjmjijiijnimjiNNNkijijNkii, 2 , 1),()/()(1)/(1)(),()/()(),()/()(),

22、()/()(),()/()/()()(),()/()()(, 2 , 1, 2 , 1)/()/()()(1111121111111111111112222222111111111111 其中baabaaba7.1.2 失真度與平均失真度7.1 基本概念第七章 信息率失真函數(shù)2022/6/3022l實(shí)際上，實(shí)際上， (k=1,2, ,N)是同一信源是同一信源X在在N個(gè)不同個(gè)不同時(shí)刻通過同一信道時(shí)刻通過同一信道X P(Y/X) Y所造成的平均失真所造成的平均失真度，因此都等于單符號(hào)信源度，因此都等于單符號(hào)信源X通過信道通過信道X P(Y/X) Y所造成的平均失真度，即所造成的平均失真度，即l上式

23、說明：上式說明：離散無記憶離散無記憶N次擴(kuò)展信源通過離散無記憶次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源通過單符號(hào)次擴(kuò)展信道的平均失真度是單符號(hào)信源通過單符號(hào)信道的平均失真度的信道的平均失真度的N倍倍。kDDNNDyxdxypxpDDnimjjiijik)(),()/()(11因此7.1.2 失真度與平均失真度7.1 基本概念第七章 信息率失真函數(shù)2022/6/3023lN次擴(kuò)展的保真度準(zhǔn)則次擴(kuò)展的保真度準(zhǔn)則 離散無記憶離散無記憶N次擴(kuò)展信源通過離散無記憶次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信次擴(kuò)展信道的保真度準(zhǔn)則為道的保真度準(zhǔn)則為()D NND7.1.2 失真度與平均失真度7.

24、1 基本概念第七章 信息率失真函數(shù)2022/6/30247.1.3 信息率失真函數(shù)的定義(1) 試驗(yàn)信道試驗(yàn)信道(2) 信息率失真函數(shù)信息率失真函數(shù)(3) 求信息率失真函數(shù)的方法求信息率失真函數(shù)的方法(4) 研究信道編碼和率失真函數(shù)的意義研究信道編碼和率失真函數(shù)的意義7.1 基本概念第七章 信息率失真函數(shù)2022/6/30257.1.3 信息率失真函數(shù)的定義(1) 試驗(yàn)信道試驗(yàn)信道l單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道l當(dāng)固定信源（當(dāng)固定信源（ P(X)已知），單個(gè)符號(hào)失真度也給定時(shí)，選已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使擇信道使 。凡滿足要求的信道稱為。凡滿

25、足要求的信道稱為D失真許可的試驗(yàn)失真許可的試驗(yàn)信道信道，簡(jiǎn)稱試驗(yàn)信道。，簡(jiǎn)稱試驗(yàn)信道。l所有試驗(yàn)信道構(gòu)成的集合用所有試驗(yàn)信道構(gòu)成的集合用PD來表示，即來表示，即lN次擴(kuò)展的試驗(yàn)信道次擴(kuò)展的試驗(yàn)信道 對(duì)于離散無記憶信源的對(duì)于離散無記憶信源的N次擴(kuò)展信源次擴(kuò)展信源和離散無記憶信道和離散無記憶信道的的N次擴(kuò)展信道次擴(kuò)展信道，其試驗(yàn)信道集合，其試驗(yàn)信道集合PD(N)為為7.1 基本概念DDmjniDDxypPijD, 2 , 1, 2 , 1: )/(NNijNDmjniNDNDabpP, 2 , 1, 2 , 1;)(: )/()(第七章 信息率失真函數(shù)2022/6/3026(2) 信息率失真函數(shù)信

26、息率失真函數(shù)l單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)l在信源和失真度給定以后，在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則是滿足保真度準(zhǔn)則 的的試驗(yàn)信道集合，平均互信息試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率是信道傳遞概率p(yj /xi)的的下凸函數(shù)，所以在下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即達(dá)到最小，即 這個(gè)最小值這個(gè)最小值R(D)稱為信息率失真函數(shù)稱為信息率失真函數(shù)，簡(jiǎn)稱，簡(jiǎn)稱率失真函數(shù)率失真函數(shù)。l在信源給定以后，總希望在允許一定失真的情況下，傳送信在信源給定以后，總希望

27、在允許一定失真的情況下，傳送信源所必須的信息率越小越好。源所必須的信息率越小越好。從接收端來看，就是在滿足保從接收端來看，就是在滿足保真度準(zhǔn)則真度準(zhǔn)則 的條件下，尋找再現(xiàn)信源消息必須的最低平的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值均信息量，即平均互信息的最小值。7.1.3 信息率失真函數(shù)的定義7.1 基本概念);(min)()/(YXIDRDijPxypDDDD 第七章 信息率失真函數(shù)2022/6/30277.1.3 信息率失真函數(shù)的定義第七章 信息率失真函數(shù)2022/6/3028DD 7.1.3 信息率失真函數(shù)的定義第七章 信息率失真函數(shù)2022/6/3029l“

28、N次擴(kuò)展次擴(kuò)展”的信息率失真函數(shù)的信息率失真函數(shù)l對(duì)于離散無記憶信源的對(duì)于離散無記憶信源的N次擴(kuò)展信源和離散無記憶次擴(kuò)展信源和離散無記憶信道的信道的N次擴(kuò)展信道，在所有滿足保真度準(zhǔn)則次擴(kuò)展信道，在所有滿足保真度準(zhǔn)則 的的N維試驗(yàn)信道集合中，一定可以尋找到某個(gè)信道維試驗(yàn)信道集合中，一定可以尋找到某個(gè)信道使平均互信息取最小值使平均互信息取最小值RN(D)，這個(gè)最小值稱為它的，這個(gè)最小值稱為它的信息率失真函數(shù)。信息率失真函數(shù)。l由信源和信道的無記憶性，可以證明由信源和信道的無記憶性，可以證明RN(D)=NR(D)。7.1.3 信息率失真函數(shù)的定義7.1 基本概念);(min)()()/(NNPabp

29、NYXIDRNDijDD第七章 信息率失真函數(shù)2022/6/3030(3) 求信息率失真函數(shù)的方法求信息率失真函數(shù)的方法l對(duì)偶問題對(duì)偶問題 平均互信息平均互信息I(X;Y)既是信源概率分布既是信源概率分布p(xi)的上凸函數(shù)，的上凸函數(shù)，又是信道傳遞概率又是信道傳遞概率p(yj /xi)的下凸函數(shù)。率失真函數(shù)的下凸函數(shù)。率失真函數(shù)R(D)是在允許失真是在允許失真D和信源概率分布和信源概率分布p(xi)已給的條件已給的條件下，求平均互信息的極小值（最小）問題，而信道容下，求平均互信息的極小值（最小）問題，而信道容量量C是在信道特性是在信道特性p(yj /xi)已知的條件下求平均互信息已知的條件下

30、求平均互信息的極大值（最大）問題。這兩個(gè)問題是對(duì)偶問題。的極大值（最大）問題。這兩個(gè)問題是對(duì)偶問題。7.1.3 信息率失真函數(shù)的定義7.1 基本概念第七章 信息率失真函數(shù)2022/6/3031l求信道容量的方法求信道容量的方法 信道容量是假定信道固定的前提下，選擇一種試驗(yàn)信信道容量是假定信道固定的前提下，選擇一種試驗(yàn)信源，使信息率最大。一旦找到了這個(gè)信道容量，它就源，使信息率最大。一旦找到了這個(gè)信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。的變化而變化。7.1.3 信息率失真函數(shù)的定義7.1 基本概念第七章 信息率失真函

31、數(shù)2022/6/3032l求信息率失真函數(shù)的方法求信息率失真函數(shù)的方法 信息率失真函數(shù)信息率失真函數(shù)R(D)是假定信源給定的情況下，在用是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。是不同的。7.1.3 信息率失真函數(shù)的定義7.1 基本

32、概念第七章 信息率失真函數(shù)2022/6/3033(4) 研究信道編碼和率失真函數(shù)的意義研究信道編碼和率失真函數(shù)的意義l研究信道容量的意義：研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以生錯(cuò)誤的概率任意小，以提高通信的可靠性提高通信的可靠性。這就是。這就是信道編碼信道編碼問題。問題。l 研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)的意義：研究信息率失真研究信息率失真函數(shù)是為了

33、解決在已知信源和允許失真度函數(shù)是為了解決在已知信源和允許失真度D的條件下，的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通提高通信的有效性信的有效性。這是。這是信源編碼信源編碼問題。問題。7.1.3 信息率失真函數(shù)的定義7.1 基本概念第七章 信息率失真函數(shù)2022/6/30347.1.4 信息率失真函數(shù)的性質(zhì)(1) 率失真函數(shù)的定義域率失真函數(shù)的定義域l什么是率失真函數(shù)的定義域什么是率失真函數(shù)的定義域l允許平均失真度允許平均失真度：率失真函數(shù)中的自變量率

34、失真函數(shù)中的自變量D，也就，也就是人們規(guī)定的平均失真度是人們規(guī)定的平均失真度 的上限值。的上限值。l率失真函數(shù)的定義域率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已問題就是在信源和失真函數(shù)已知的情況下，討論知的情況下，討論允許平均失真度允許平均失真度D的最小和最大的最小和最大值問題值問題。lD的選取必須根據(jù)固定信源的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性的統(tǒng)計(jì)特性P(X)和選和選定的失真函數(shù)定的失真函數(shù)d(xi , yj)，在平均失真度，在平均失真度 的可能取的可能取值范圍內(nèi)。值范圍內(nèi)。7.1 基本概念DD第七章 信息率失真函數(shù)2022/6/30357.1.4 信息率失真函數(shù)的性質(zhì)l信源最小平均失真度

35、信源最小平均失真度Dminl 是非負(fù)函數(shù)是非負(fù)函數(shù)d(xi , yj)的數(shù)學(xué)期望，也是一個(gè)非負(fù)的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為函數(shù)，顯然其下限為0。因此。因此允許平均失真度允許平均失真度D的的下限也必然是下限也必然是0，這就是不允許有任何失真的情況。，這就是不允許有任何失真的情況。l允許平均失真度允許平均失真度D能否達(dá)到其下限值能否達(dá)到其下限值0，與單個(gè)符，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。號(hào)的失真函數(shù)有關(guān)。l信源最小平均失真度信源最小平均失真度Dmin ：對(duì)于每一個(gè)：對(duì)于每一個(gè)xi，找出一，找出一個(gè)個(gè)yj與之對(duì)應(yīng)，使與之對(duì)應(yīng)，使d(xi , yj)最小，不同的最小，不同的xi對(duì)應(yīng)的最對(duì)應(yīng)的

36、最小小d(xi , yj)也不同。這相當(dāng)于在失真矩陣的每一行找也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的出一個(gè)最小的d(xi , yj) ，各行的最小，各行的最小d(xi , yj)值都不值都不同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。源的最小平均失真度。7.1 基本概念DnijijiyxdxpD1min),(min)(第七章 信息率失真函數(shù)2022/6/30367.1.4 信息率失真函數(shù)的性質(zhì)l只有當(dāng)失真矩陣的每一行至少有一個(gè)只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí)，信元素時(shí)，信源的平均失真度才能達(dá)到下限值源的平均失真度

37、才能達(dá)到下限值0。當(dāng)當(dāng)Dmin=0時(shí)時(shí)（信源不允許任何失真存在）（信源不允許任何失真存在），信息率至少應(yīng)等于，信息率至少應(yīng)等于信源輸出的平均信息量（信源熵），即信源輸出的平均信息量（信源熵），即R(0)=H(X)。l連續(xù)信源有連續(xù)信源有 。這時(shí)雖然信源熵是有。這時(shí)雖然信源熵是有限的，但信息量是無窮大。實(shí)際信道容量總是有限限的，但信息量是無窮大。實(shí)際信道容量總是有限的，無失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)?shù)模瑹o失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)允許失真（允許失真（R(D)為有限值），傳送才是可能的。為有限值），傳送才是可能的。 7.1 基本概念)(lim0DRD第七章 信息率失真函數(shù)20

38、22/6/30377.1.4 信息率失真函數(shù)的性質(zhì)l信源最大平均失真度信源最大平均失真度Dmaxl信源最大平均失真度信源最大平均失真度Dmax ：必須的信息率越小，容：必須的信息率越小，容忍的失真就越大。當(dāng)忍的失真就越大。當(dāng)R(D)等于等于0時(shí)，對(duì)應(yīng)的平均失時(shí)，對(duì)應(yīng)的平均失真最大，也就是真最大，也就是函數(shù)函數(shù)R(D)定義域的上界值定義域的上界值Dmax 。l信息率失真函數(shù)是平均互信息的極小值：信息率失真函數(shù)是平均互信息的極小值：l當(dāng)當(dāng)R(D) =0時(shí)，即平均互信息的極小值等于時(shí)，即平均互信息的極小值等于0；l當(dāng)當(dāng)DDmax時(shí)，從數(shù)學(xué)意義上講，因?yàn)闀r(shí)，從數(shù)學(xué)意義上講，因?yàn)镽(D)是非負(fù)函數(shù)，是非

39、負(fù)函數(shù)，所以它仍只能等于所以它仍只能等于0。這相當(dāng)于輸入。這相當(dāng)于輸入X和輸出和輸出Y統(tǒng)計(jì)獨(dú)立。統(tǒng)計(jì)獨(dú)立。意味著意味著在接收端收不到信源發(fā)送的任何信息在接收端收不到信源發(fā)送的任何信息，與，與信源不信源不發(fā)送任何信息發(fā)送任何信息等效。或者說等效。或者說傳送信源符號(hào)的信息率可以傳送信源符號(hào)的信息率可以壓縮至壓縮至0。7.1 基本概念第七章 信息率失真函數(shù)2022/6/30387.1.4 信息率失真函數(shù)的性質(zhì)l計(jì)算計(jì)算Dmax的值的值l令試驗(yàn)信道特性令試驗(yàn)信道特性 p(yj /xi)= p(yj) (i=1,2,n) 這時(shí)這時(shí)X和和Y相互獨(dú)相互獨(dú)立，等效于通信中斷，因此立，等效于通信中斷，因此I(X

40、;Y) =0，即，即R(D)=0。l滿足上式的試驗(yàn)信道有許多，相應(yīng)地可求出許多平均失真值，滿足上式的試驗(yàn)信道有許多，相應(yīng)地可求出許多平均失真值，從中選取最小的一個(gè)，就是這類平均失真值的下界從中選取最小的一個(gè)，就是這類平均失真值的下界Dmax 。l上式是用不同的概率分布上式是用不同的概率分布p(yj)對(duì)對(duì)Dj求數(shù)學(xué)期望，取數(shù)學(xué)期望求數(shù)學(xué)期望，取數(shù)學(xué)期望當(dāng)中最小的一個(gè)作為當(dāng)中最小的一個(gè)作為Dmax 。7.1 基本概念jmjjypjiniijjimjniijypmjnijijiypDypDyxdxpDyxdxpypyxdypxpDjjj1)(max111)(11)(max)(min),()(),()

41、()(min),()()(min則令第七章 信息率失真函數(shù)2022/6/30397.1.4 信息率失真函數(shù)的性質(zhì)l實(shí)際是用實(shí)際是用p(yj)對(duì)對(duì)Dj進(jìn)行線性分配，使線性分配的結(jié)果最小。當(dāng)進(jìn)行線性分配，使線性分配的結(jié)果最小。當(dāng)p(xi)和和d(xi , yj)給定時(shí)，必可計(jì)算出給定時(shí)，必可計(jì)算出Dj ，Dj隨隨j的變化而變化，的變化而變化， p(yj)是任選的，只需滿足非負(fù)性和歸一性。若是任選的，只需滿足非負(fù)性和歸一性。若Ds是所有是所有Dj當(dāng)中當(dāng)中最小的一個(gè)，可取最小的一個(gè)，可取p(ys)=1 ，其它，其它p(yj)為為0，這時(shí)，這時(shí)Dj的線性分配的線性分配（數(shù)學(xué)期望）必然最小，即（數(shù)學(xué)期望）必然最小，即),min(01)(21maxmjDDDDsjsjyp7.1 基本概念jmjjypjiniijjimjniijypmjnijijiypDypDyxdxpDyxdxpypyxdypxpDjjj1)(max111)(11)(max)(min),()(),()()(min),()()(min則令第七章 信息率失真函數(shù)2022/6/30407.1.4 信息率失真函數(shù)的性質(zhì)7.1 基本概念第七章 信息率失真函數(shù)2022/6/304