1、B LZ編碼是異字頭碼D 典型序列的數(shù)目不一定比非典型的多Kraft不等式。5.(1,1,D1) B (2,2,2,2) C (3,3,3)是只對輸出對稱的。D (4, 4,廣12111、z0.20.40.4X33ao210.20.20.4362B0.40.20.4CD11133040.40.2 ;63040.4o2丿12/<33A、填空題（每空 2分，總計(jì)20 分）100比特的信源序列，其中1.若二元離散無記憶中p(0) = 0.25 ,p（1） =0.75，則當(dāng)給出有5個(gè)1,則其自信息為200 _5log23比特,整個(gè)序列的熵為100(2 -三log 2 3)比特/符號42.若某離散

2、信道信道轉(zhuǎn)移概率矩陣為0.50.25 0.250.25 0.50.25，則其信道容量為log231.5比.0.25 0.250.5 _特/符號；轉(zhuǎn)移概率矩陣為0.50.250.250.250.250.5，則其信道容量為log231.5比特/符號。'0.250.50.25一3.兩個(gè)相同的BSC做級聯(lián)信道，其信道轉(zhuǎn)移矩陣分別為1pp1 - plp 一則級聯(lián)信道的信道轉(zhuǎn)移矩陣為1 -2p 2p2IL 2p -2p22p-2p21 2p+2p2，無窮多個(gè)級聯(lián)后的矩陣為0.5 0.5o.5 0.5-B卷答案2011-2012信息論與編碼理論1單項(xiàng)選擇題（每題 3分，總計(jì)15分）1.當(dāng)?shù)诪閑時(shí)，熵

3、的單位為（C）。A 奈特B 哈特C奈特/符號D哈特/符2.下列關(guān)系式中（B ）正確。A l(X；Y)_l(X)BH(X,Y)_I(X;Y)C H(X |Y) _ H (Y | X)D1 (X;Y)乞 H (X;Y)3. 下列（D ）陳述是正確的。A Shannon編碼是最優(yōu)碼C Huffman編碼可以不需要知道信源的分布4. 下列數(shù)組中（ A ）不滿足二個(gè)字母上的4 .若一個(gè)信道的輸入熵為H （X） =2.6比特/符號，輸出熵為 H （Y） =2.3比特/符號 l（X;Y） =1.7比特/符號，則H（X,Y） =3.2比特/符號，散布度為 0.6比特/符號5 在二元LZ編碼中，若信源有 K個(gè)，

4、某段信源序列共有 M個(gè)字典，則碼長log 2 M -阿2 K |6 .存在D元唯一可譯碼，其平均碼長必小于H(U)iolog D三、判斷題（每題 2分，總計(jì)10分）1概率小的事件自信息大（V ）2. 若一個(gè)碼字集合中的碼字長度滿足Kraft不等式，則其必為逗點(diǎn)碼。（）3. 若碼字都被配置在樹的葉子節(jié)點(diǎn)處，則這種碼一定是異字頭碼。（V ）4. 平均互信息是下凸函數(shù)。（）5. 算數(shù)編碼需要知道信源的分布。（V）四、計(jì)算題（55分）1）（15分）設(shè)隨機(jī)變量 X,Y的聯(lián)合概率分布如下:101011441012Z 二XY。分別求 H(X), H(Y), H(X |Y), I (X;Z)。解：X的分布率為

5、X01P1122則H（X） =1比特/符號Y的分布率為Y01P13443則 H(Y)-；lOg23 比特 / 符號.010102p(X =0| Y =0)二p(X =0,Y =0)P(Y =0)= 1,p(X-0|Y -1)二p(X =0,Y =1)_ 1P(Y=1)3p(X=1 |Y =0)P(X =1,Y =0)P(Y =0)=0, p(X= 1|Y =1)=P(X =1,Y =1)P(Y =1)1012H(X |Y) - -p(0,0)log2 p(0|0) -p(0,1)log2 p(0 |1) - p(1,0) log 2 p(1|0) - p(1,1) log 2 p(1 |1)1

6、1112 31= log21 log2 0log2 0 log2= log2 3 比特/符號.Z01p1122p(X 75)=0P(Z =1)p(X =0,Z =0)p(X0|0p(P(z0) )=1，p(X-0|Z-1)-p(X 75)=1P(Z =1)p(X =1 |Z =0)=曲集 °=0, p(X =1|Z =1)=P(Z =0)l(X;Z)二 p(0,0)log2p(0|0).p(X =0)p(0,1) log2p(0|1)p(X =0)p(1,0)log2p(1 | 0)p(X =1)p(1,1)log2P(1|1)p(X =1)=0比特/符號.2）（ 20分）若離散無記

7、憶信源的概率分布為（a b c dU =<0.1 0.2 0.3 0.4 丿 分別構(gòu)造二元，三元 Huffman編碼（要求碼長方差最小，但不需求出），Shannon編碼，F(xiàn)ano 編碼，Shannon-Fano-Elias 編碼。并求中二元Huffman編碼的編碼效率。（只列出式子即可）信源碼長累加概率碼字d2000c20.401b30.7101a40.91110Fa no編碼如下：信源概率第1次分組第2次分組第3次分組碼字d0.400c0.31010b0.110110a0.11111 Shannon-Fano-Elias 編碼信源概率F(x)F(x)l(x)二元 F (x)碼字a0.1

8、0.10.0550.0000100001b0.20.30.240.0001000001c0.30.60.4530.011011d0.410.830.110110二元Huffman編碼的平均碼長為1 = 3 0.1 3 0.2 2 0.3 1 0.4=1.9解:對信源按概率從大到小排序，U =廣dCba,建立碼樹則有二兀 Huffman編1°40.30.201碼：aT 000, bT 001, CT 01, dT 1'd c b a e"要進(jìn)行三元Huffman編碼，則需要添加一個(gè)空信源咸為U =5衛(wèi).4 0.3 0.2 0.10,建立碼樹則有三元 Huffman編碼

9、：a； 00, b 01, c； 1, d_. 2Shannon編碼如下：編碼效率為_H(U) _H(U) _H(0.1,020.3,0.4)R l log 21.951、3) ( 20分)若離散無記憶信道的信道轉(zhuǎn)移矩陣為2 2，用兩種方法求該信道容量。<4 4方法一：0.50.5-00.5log0.5 0.5log0.5-11(0.25 0.75 + 一 0.25log0.25 0.75log0.75 一 0.8112810.50.5 11 -1 32丨-1-1.3774381護(hù)一也.25 0.75_-0.811281 _-1 20.811281 _-0.622562一C 二 log(2 02 J = log(0.384763 0.649773)=log 1.034536 二 0.0345(w(0),w(1) =(2 e_C,2 2) =(0.371918,0.628082)0.657020®(q(0),q(1) =3(0)桃1