1、信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介一、香農(nóng)第一定理二、香農(nóng)第二定理三、香農(nóng)第三定理信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介一、香農(nóng)第一定理一、香農(nóng)第一定理二、香農(nóng)第二定理三、香農(nóng)第三定理信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、信源編碼器、信源編碼器a、模型編碼器編碼器1: ,.,qS saa1:,.,qC cWW12,.,liiiiiWxxx1: ,.,rX xxx單符號(hào)信源無失真編碼器碼符號(hào)碼符號(hào)碼字碼字碼長(zhǎng)碼長(zhǎng)信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介N次擴(kuò)展信源無失真編碼器編碼器編碼器

2、1(,.,)NNSSS12,.,liiiiiWxxx1: ,.,rX xxx1 ,.,1,2,.,iqSaaiN1,2,.,Niq1、信源編碼器、信源編碼器a、模型信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介b、舉例1）ASCII信源編碼器1、信源編碼器、信源編碼器ASCII編碼器編碼器英文字母/符號(hào)/命令二進(jìn)代碼碼符號(hào)集0，1信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、信源編碼器、信源編碼器信源編碼器信源編碼器IA,B,Z二進(jìn)符號(hào)碼符號(hào)集0，1信源編碼器信源編碼器II碼符號(hào)集點(diǎn)/劃/字母間隔/單詞間隔2）摩爾斯電碼b、舉例2）摩爾斯信源編碼器b、舉

3、例符號(hào)電平二進(jìn)代碼點(diǎn)劃字母間隔單詞間隔+ + + + 101110000000000信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介3）中文電報(bào)信源編碼器“中中”“0022”“01101 01101 11001 11001”1、信源編碼器、信源編碼器b、舉例信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介c c、分類、分類等長(zhǎng)碼等長(zhǎng)碼變長(zhǎng)碼變長(zhǎng)碼中文電報(bào)中文電報(bào)莫爾斯電碼莫爾斯電碼有失真編碼有失真編碼無失真編碼無失真編碼I(S;C) H(S)，就存在惟一可譯變長(zhǎng)編碼；若RC，則不可能找到一種編碼，使輸出端錯(cuò)誤概率任意小。 信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大

4、定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介3、香農(nóng)第二定理（、香農(nóng)第二定理（有噪信道編碼定理）信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介說明：說明：1 1、定理糾正了人們傳統(tǒng)固有的可靠性和有效性矛盾的觀點(diǎn)，、定理糾正了人們傳統(tǒng)固有的可靠性和有效性矛盾的觀點(diǎn)，為信道編碼理論和技術(shù)的研究指明了方向。為信道編碼理論和技術(shù)的研究指明了方向。2 2、定理僅指出編碼的存在性，未給出編碼的具體方法。、定理僅指出編碼的存在性，未給出編碼的具體方法。3、定理指出：、定理指出：RC是可靠傳輸?shù)谋匾獥l件，但并未指出編碼是可靠傳輸?shù)谋匾獥l件，但并未指出編碼序列無限長(zhǎng)是可靠傳輸?shù)谋匾獥l件。序列無限長(zhǎng)是可靠傳輸?shù)谋匾?/p>

5、條件。3、香農(nóng)第二定理（、香農(nóng)第二定理（有噪信道編碼定理）AWGN1)Turbo碼：碼：1/2碼率，碼率，BPSK，65536隨機(jī)交織，隨機(jī)交織，18次迭代，次迭代，Pe=10-5, Eb/N0 = 0.7dB2)非規(guī)則非規(guī)則LDPC碼：碼：N = 107, 1/2碼率，碼率， Pe=10-5, Eb/N0 = 0.0045dB4、香農(nóng)進(jìn)一步證明：、香農(nóng)進(jìn)一步證明：R=C時(shí)，任意小的差錯(cuò)概率也是可以達(dá)時(shí)，任意小的差錯(cuò)概率也是可以達(dá)到的。到的。證明基本條件：證明基本條件：1）隨機(jī)編碼）隨機(jī)編碼 2）碼長(zhǎng)）碼長(zhǎng) 3）最大似然譯碼）最大似然譯碼信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理

6、簡(jiǎn)介簡(jiǎn)介一、香農(nóng)第一定理三、香農(nóng)第三定理三、香農(nóng)第三定理二、香農(nóng)第二定理不大于一定編碼速率的條件下，使平均失真限 制到最小； 在平均失真不大于某個(gè)值的條件下，使編碼 速率限制到最小信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介信息率失真理論信息率失真理論1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)a、系統(tǒng)模型信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介信源信源編碼器無噪信道信源編碼器信宿試驗(yàn)信道UV,.,1ruuAU符號(hào)集,.,1svvBV符號(hào)集b、失真測(cè)度1）單符號(hào)失真測(cè)度),(vud設(shè)VvUu,定義失真矩陣),(.),(.),(.),(),(.)

7、,(1212111srrssvudvudvudvudvudvudd0),(jivud信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)如果規(guī)定jijijivuvuvud, 1, 0),(，那么失真矩陣為0.11.1.011.10dN=3時(shí)，失真度如圖UV信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)b、失真測(cè)度2)序列失真測(cè)度設(shè)序列VyyyUxxxjNiN),.,( ,),.,(11定義序列失真測(cè)度為NiiiNyxdNyxd1),(1),(信息論與編碼基礎(chǔ)信息論與

8、編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)b、失真測(cè)度3)平均失真單符號(hào)平均失真jijijivudvuPdE,),(),(序列平均失真NiiiyxdENdE1),(1信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)b、失真測(cè)度c、信息率失真函數(shù)信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介1、失真度與信息率失真函數(shù)、失真度與信息率失真函數(shù)定義定義 信息率失真函數(shù));(min)()|(VUIDRDijPuvP0P(v|u)I(U;V)R(D)最佳編碼最佳編碼DD例例

9、 設(shè)信源X，符號(hào)集為,.,221naaa，等概分布ninPi2,.,1,2/1給定失真測(cè)度為jijidji, 0, 1,設(shè)計(jì)一種單符號(hào)壓縮算法使得平均失真D=1/2，并求壓縮后的信息傳輸率R.信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介信息率失真函數(shù)性質(zhì)1）當(dāng)D Dmax時(shí),R(D)=03）R(0)=H(X)4）在0D Dmax范圍內(nèi),R(D)是正的、連續(xù)的下凸函數(shù)R(D)DH(X)Dmax0二、香農(nóng)第三定理二、香農(nóng)第三定理（保真度準(zhǔn)則下的信源編碼定理）定理定理4.3 設(shè))(DR為一離散無記憶信源的信息率失真函

10、數(shù)，并且有有限的失真測(cè)度D,則對(duì)于任意0, 0D，以及任意長(zhǎng)的碼長(zhǎng)k，一定存在一種碼字個(gè)數(shù)為)(2DRkM的信源編碼，使編碼后碼的平均失真度DD 信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介表述二：設(shè))(DR為一離散無記憶信源的信息率失真函數(shù)，并且規(guī)定了有限的失真測(cè)度，對(duì)于任意的0, 0D則：)(logDRkMR1）若給定了失真D，且，則存在長(zhǎng)度為k的碼，它的平均失真度DD 2）若)(DRR 時(shí)，無論采用什么編碼，其平均失真大于D信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介二、香農(nóng)第三定理二、香農(nóng)第三定理（保真度準(zhǔn)則下的信源編碼定理）幾點(diǎn)討論1）R(D)

11、確定是保真度準(zhǔn)則條件下，信源信息率壓縮的下限。)()(0XHDR2）R(D)在實(shí)際工程中可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種標(biāo)尺。3）是一種存在定理，其實(shí)際應(yīng)用有待于進(jìn)一步研究：a)如何計(jì)算符合實(shí)際信源的信息率失真函數(shù)R(D)？b)如何尋找最佳編碼方法才能達(dá)到信息壓縮的極限值R(D)？二、香農(nóng)第三定理二、香農(nóng)第三定理（保真度準(zhǔn)則下的信源編碼定理）信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)香農(nóng)三大定理香農(nóng)三大定理簡(jiǎn)介簡(jiǎn)介信信源源信信宿宿限限失失真真信信源源編編碼碼器器限限失失真真信信源源譯譯碼碼器器無無失失真真信信源源編編碼碼器器無無失失真真信信源源譯譯碼碼器器信信道道編編碼碼信信道道譯譯碼碼ABCDEFGH信道信道一般通信系統(tǒng)框圖一般通信系統(tǒng)框圖信息論與編碼基礎(chǔ)信息論與編