1、Xx1x21設(shè)信源 P(X )0.60.4 通過一干擾信道，接收符號為 Y = y 1 2，信道, y516613轉(zhuǎn)移矩陣為44，求：(1) 信源 X 中事件 x1 和事件 x2 分別包含的自信息量；(2) 收到消息 yj (j=1,2) 后，獲得的關(guān)于 xi (i=1,2) 的信息量；(3) 信源 X 和信宿 Y 的信息熵；(4) 信道疑義度 H(X/Y)和噪聲熵 H(Y/X)；(5) 接收到信息 Y 后獲得的平均互信息量。解：1)I ( x1 )log 2p(x1 )log 2 0.60.737bitI ( x2 )log 2p( x2 )log 2 0.41.322bit2)p( y1)

2、p(x1) p( y1 / x1 ) p( x2 ) p( y1 / x2 ) 0.6 50.4 10.664p( y2 )13p(x1) p( y2 / x1) p( x2 ) p( y2 / x2 ) 0.60.40.464I ( x1 ; y1 )log 2p( y1 / x1 )log 25 / 60.474bitp( y1 )0.6I ( x1 ; y2 )log 2p( y2/ x1 )log 21/ 61.263bitp( y2 )0.4I ( x2 ; y1 )log 2p( y1/ x2 )log 21/ 41.263 bitp( y1)0.6I ( x2 ; y2 )log

3、 2p( y2 / x2 )log 23 / 40.907bitp( y2 )0.43)H(X)p( xi ) log p( xi )( 0.6 log 0.60.4 log 0.4) log 2 100.971bit / symboliH (Y)p( y j ) log p( y j )(0.6 log 0.60.4 log 0.4) log 2 100.971bit / symbolj4)H(Y/ X)p( xi ) p( y j / xi ) log p( y j/ xi )ij550.6111133log 2 10(0.6loglog0.4log0.4log )666644440.71

4、5 bit / symbolH(X) H(Y/X)H(Y) H (X /Y)H (X /Y)H(X)H(Y/X)H (Y)0.9710.7150.971 0.715bit / symbol5)I ( X ;Y )H ( X )H ( X / Y)0.9710.7150.256bit / symbol2133122設(shè)二元對稱信道的傳遞矩陣為33(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y) ；(2) 求該信道的信道容量及其達到信道容量時的輸入概率分布；解：1)H(X)p( xi )( 3log 231log 2 1 ) 0.

5、811 bit / symboli4444H(Y/ X)p( xi ) p( y j / xi ) log p( y j/ xi )ij( 32 lg 231 lg 111 lg 112 lg 2)log2 104334334334330.918bit / symbolp( y1 )p( x1 y1 )p( x2 y1 )p(x1 ) p( y1 / x1 )p( x2 ) p( y1 / x2 )32110.58334343p( y2 )p( x1 y2 )p( x2 y2 )p( x1 ) p( y2 / x1 )p( x2 ) p( y2/ x2 )31120.41674343H (Y)

6、p( y j )(0.5833log20.58330.4167log20.4167)0.980bit / symboljI ( X;Y)H(X)H(X /Y)H (Y)H(Y/ X)H(X /Y) H(X )H (Y)H(Y/ X)0.8110.9800.918 0.749bit / symbolI ( X;Y)H(X)H(X /Y)0.8110.7490.062bit / symbol2)C max I ( X; Y)log 2 mH milog 2 21122)log 2 100.082bit / symbol(lg3lg333p( xi )123黑白氣象傳真圖的消息只有黑色和白色兩種，即

7、信源 X= 黑，白 。設(shè)黑色出現(xiàn)的概率為 P(黑 ) = 0.3 ，白色出現(xiàn)的概率為 P(白) = 0.7 。(1) 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵 H(X) ；(2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/ 白)= 0.9 ，P(黑/ 白) = 0.1，P(白/ 黑) = 0.2 ，P(黑/ 黑)= 0.8 ，求此一階馬爾可夫信源的熵 H2(X) ;解：(1)H(X)p( xi ) log p( xi )(0.3log 0.30.7 log 0.7)0.881 bit / symboli(2)p(e1 )p(e1 ) p(e1 / e1 )p(e2 ) p(e1 / e2 )p(e

8、2 )p(e2 ) p(e2 / e2 )p(e1 ) p(e2 / e1 )p( 黑/ 黑)=0.8p(e1 )0.8 p(e1 )0.1p(e2 )p(e2 )0.9 p(e2 )0.2 p(e1)p(e2 )2 p(e1 )黑1.0=)白/e1p(e1 )p(e2 ) 1p(e1 )1/ 3p(e2 )2 / 3白p(白/黑(p白e2Hp(ei ) p( ej / ei ) log p(ej / ei)p( 白/ 白)=0.9ij10.8log 0.810.2 log 0.220.1log 0.120.9log 0.933330.553 bit /symbol，已知 P(0)P(1)某一

9、無記憶信源的符號集為0, 1=1/4 ，=3/4 。4(1) 求符號的平均熵；(2) 有 100 個符號構(gòu)成的序列，求某一特定序列（例如有 m個“0”和（ 100 - m）個“ 1”）的自信息量的表達式；(3) 計算 (2) 中序列的熵。解：(1)H(X)(2)p( xi )I ( xi )p( xi ) log p(xi )1 log 13 log 30.811 bit / symboli44441m100 m3100m34441003100 mlog p( xi )log410041.51.585m bit(3)H ( X 100 )100H ( X )1000.81181.1 bit /

10、 symbol5已知一個高斯信道，輸入信噪比（比率）為 3。頻帶為 3kHz，求最大可能傳輸?shù)南⒙省Ｈ粜旁氡忍岣叩?15，理論上傳送同樣的信息率所需的頻帶為多少？解：Ct W log 1 PX3000log 2 1 3 6000 bit / sPNWCt60001500 HzPXlog2 1log 115PN6 試求以下各信道矩陣代表的信道的容量：100100001001010000100001001(1) P =0100(2) P =0010.10.20.30.400000000000.30.70000(3) P =0000000.40.20.10.3解：1)這個信道是一一對應(yīng)的無干擾信道

11、Clog2nlog 2 42 bit / symbol2)這個信道是歸并的無干擾信道Clog2mlog 2 31.585bit / symbol3)這個信道是擴展的無干擾信道Clog2nlog 2 31.585bit / symbolXx1x2x3x4x5x6x77設(shè)信源 P(X )0.20.190.180.170.150.10.01(1) 求信源熵 H(X) ；(2) 編二進制香農(nóng)碼；(3) 計算平均碼長和編碼效率。解：(1)7H(X)p( xi) log 2 p( xi )i 1(0.2log 2 0.20.19log 2 0.190.18 log 2 0.180.17 log 2 0.1

12、70.15log2 0.150.1log 2 0.1 0.01 log 2 0.01)2.609 bit / symbol(2)xip(x i )pa(x i )ki碼字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)Kki p( xi )30.2 30.19 30.1830.1730.1540.170.01i3.14H(X)H (X)2.609RK83.1%3.14Xx1x2x3x4x5x6x78對信源 P(X )0.20.190.180.1

13、70.150.10.01編二進制費諾碼，計算編碼效率。解：xip(x i )編碼碼字kix10.20002x20.190100103x30.1810113x40.170102x50.15101103x60.110111041x70.01111114Kki p( xi )20.2 30.1930.1820.1730.1540.140.01i2.74H(X)H (X)2.609RK2.7495.2%Xx1x2x3x4x5x6x79對信源 P( X )0.20.190.180.170.150.10.01編二進制和三進制哈夫曼碼，計算各自的平均碼長和編碼效率。解：二進制哈夫曼碼：xip(x i )編碼

14、碼字kis61s50.610s40.391s30.350s20.261x10.20102x20.191112x30.1800003x40.1710013x50.1500103s10.111x60.1001104x70.01101114Kki p( xi ) 20.2 20.1930.1830.1730.15 4 0.1 4 0.01i2.72H(X)H (X)2.60995.9%RK2.7210010110設(shè)線性分組碼的生成矩陣為G010110，求：001011（ 1）此（ n，k）碼的 n=？ k= ？，寫出此（ n，k）碼的所有碼字。（ 2）求其對應(yīng)的一致校驗矩陣 H。（ 3）確定最小碼距

15、，問此碼能糾幾位錯？列出其能糾錯的所有錯誤圖樣和對應(yīng)的伴隨式。（ 4）若接收碼字為000110，用伴隨式法求譯碼結(jié)果。解： 1）n=6，k=3，由 C=mG可得所有碼字為：000000，001011，010110，011101， 100101， 101110，110011，1110001012）此碼是系統(tǒng)碼，由 G知， P110，則011110100HPTI 0110101010013）由 H可知，其任意 2 列線性無關(guān)，而有3 列線性相關(guān)，故有 dmin3 ，能糾一位錯。錯誤圖樣 E伴隨式 SEH T1000001010100001100010000110001001000000100100000010014）由 SrH T110 知 E010000，則 RrE01011011已知（ 7，4）循環(huán)碼的生成多項式g (x)x3x1，求：（ 1）求該碼的編碼效率？（ 2）求其對應(yīng)的一致校驗多項式 h( x)（ 3）寫出該碼的生成矩陣，校驗矩陣。（ 4）若消息碼式為 m(x)1 x x 2 ，求其碼字。解： 1） n7,k4,k57.14%nx72） h( x)1x4x 2x 1g( x)x6x4x310110003） G( x)x5x