1、精選文檔 信息論與編碼理論習題解其次章-信息量和熵2.1解: 平均每個符號長為:秒 每個符號的熵為比特/符號所以信息速率為比特/秒2.2 解: 同步信號均相同不含信息,其余認為等概,每個碼字的信息量為 3*2=6 比特；所以信息速率為比特/秒2.3 解:(a)一對骰子總點數為7的概率是 所以得到的信息量為 比特 (b) 一對骰子總點數為12的概率是 所以得到的信息量為 比特2.4 解: (a)任一特定排列的概率為,所以給出的信息量為 比特 (b) 從中任取13張牌,所給出的點數都不相同的概率為 所以得到的信息量為 比特.2.5 解:易證每次消滅i點的概率為,所以2.6 解: 可能有的排列總數為

2、沒有兩棵梧桐樹相鄰的排列數可如下圖求得，Y X Y X Y X Y X Y X Y X Y X Y圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹可以栽種的位置，它有種排法，所以共有*=1960種排法保證沒有兩棵梧桐樹相鄰，因此若告知你沒有兩棵梧桐樹相鄰時，得到關于樹排列的信息為=3.822 比特2.7 解: X=0表示未錄用，X=1表示錄用； Y=0表示本市，Y=1表示外地； Z=0表示學過英語，Z=1表示未學過英語，由此得2.8 解:令，則2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2

3、.585比特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H

4、(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:設系統輸出10個數字X等概,接收數字為Y,明顯H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一個數字為0的概率 （b）同理 （c）同理 （d）同理 2.12 解:見2.92.13 解: (b)(c)

5、（由其次基本不等式）或（由第一基本不等式）所以(a) 等號成立的條件為,對全部,即在給定X條件下Y與Z相互獨立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非負性，即有，所以(b) (c) 當且僅當X和Y獨立時，I（X；Y）=0，所以當且僅當X和Y獨立時，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布為再由及可求得V的條件分布為第三章 離散信源無失真編碼3.1解:長為n碼字的數目為Dn ,因此長為N的D元不等長碼至多有： 3.2 解: 3.3 解:3.4 解:3.5解:（a）二

6、元Huffman編碼（b）三元Huffman編碼留意：K=10為偶數，需要添一個概率為零的虛假符號3.6解:二元Huffman編碼（a）二元Huffman編碼（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:對3.13 解: (a)依據唯一可譯碼的推斷方法可知,輸出二元碼字為異字頭碼,所以它是唯一可譯碼。 比特(b)由于信源是二元無記憶信源，所以有 其中可計算每個中間數字相應的信源數字的平均長度 信源符號/中間數字(c) 依據表有可計算每個中間數字所對應的平均長度二元碼/中間數字由 二元碼/信源符號編碼效率為0.4756/0.469=98.6%精選題1.傅P191【5.1

7、5】2.傅P192【5.16】信道及其容量作業：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 對稱信道(b) 對稱信道(c) 和信道(課堂教學例題)!4.3解： (a): 可先假設一種分布,利用信道其容量的充要條件來計算(課堂教學例題) (b): 準對稱信道！4.5解：課堂教學例題4.8解：該題概率有誤，應把1/32改為1/64。每個符號的熵為采樣頻率Fs為Fs=2W=8000 Hz所以信息速率R為4.9解：每象點8電平量化認為各級消滅的概率相等，即H(U)=3 bits所以信息速率R為4.10解：4.12解：高斯信道的信道容量為4.14解：第五章 離散

8、信道編碼定理習題5.1解：DMC信道有由于所以最大后驗概率譯碼為： 。譯碼錯誤概率為：若按最大似然譯碼準則譯碼為：譯碼錯誤概率為：可見,最大似然譯碼的譯碼錯誤概率大于最大后驗概率譯碼的譯碼錯誤概率。第七章 信道編碼1. 設(7,3)碼的生成矩陣為(1) 寫出該碼的全都校驗矩陣H；(2) 寫出該碼的全部許用碼字；(3) .寫出該碼的“譯碼表”-標準譯碼表或簡化(伴隨式)譯碼表；(4) 寫出接收矢量R=1000001的錯誤圖樣,并譯相應的許用碼字；(5) 寫出該碼在BSC(錯誤轉移概率為p)中傳輸的(平均)正確譯碼概率pc的表達式；(6) 寫出該碼在BSC(錯誤轉移概率為p)中傳輸的漏檢概率Pud

9、(也稱不行檢測錯誤概率)的表達式.解: (1) G不為系統碼形式,我們通過初等行變換變為系統碼形式 因此(2) 由C=MG得該碼的許用碼字為0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111該碼的最小漢明距離為4。(3) 該碼的標準陣由16個陪集構成, 在BSC(錯誤轉移概率為p1/2)應將重量最小的錯誤圖樣選作陪集首, 故該碼的標準譯碼表為許用碼字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用碼字000000101110001101011

10、101001010111011100100011011100011100000010011101111010001010001101111011001110110100000110100001000111101110111010101111011000110000101100100001011000100001100011100010101101110101001101101011111000001110010000010100111110101000011100110011101010100110001111101000000011001100101011100111111100100010

11、100101100101111100000011110010101010001001100111000100101111011010011110000011011101011010011010000101111111001100110101000110000001010111100110111110101101011001110000001100110001010000100101100001100011101101010101011101100011111100001100010001010100011110111000010100110111101000100111001111001000

12、010011000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111譯碼規章為若接收矢量在第i列消滅,則譯碼輸出為對應列中的碼字,也就是陪集首為可訂正錯誤圖樣.伴隨式譯碼表為伴隨式陪集首00000000000011100000011101000001010110000100000100010000010001000001000100000100010000001010000001111000000101011000010010101001000100110100001111110000011001100100011101110000(4