1、Good is good, but better carries it.精益求精，善益求善。信息論與編碼習題集-第二章習題：補充題：擲色子，（1）若各面出現(xiàn)概率相同（2）若各面出現(xiàn)概率與點數(shù)成正比試求該信源的數(shù)學模型解：（1）根據(jù)，且，得，所以信源概率空間為（2）根據(jù)，且，得。2-2由符號集組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2，P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解：由二階馬氏鏈的符號轉(zhuǎn)移概率可得二階馬氏鏈的

2、狀態(tài)轉(zhuǎn)移概率為：P(00/00)=0.8P(10/11)=0.2P(01/00)=0.2P(11/11)=0.8P(10/01)=0.5P(00/10)=0.5P(11/01)=0.5P(01/10)=0.5二進制二階馬氏鏈的狀態(tài)集S=00，01，10，11狀態(tài)轉(zhuǎn)移圖各狀態(tài)穩(wěn)定概率計算：即得：即：P(00)=P(11)=P(01)=P(10)=2-6擲兩粒骰子，當其向上的面的小圓點數(shù)之和是3時，該消息所包含的信息量是多少？當小圓點數(shù)之和是7時，該消息所包含的信息量又是多少？解：2-72-7設有一離散無記憶信源,其概率空間為該信源發(fā)出的消息符號序列為(2021201302130012032101

3、10321010021032011223210),求此消息的自信息量是多少及平均每個符號攜帶的信息量?解:消息序列中,“0”個數(shù)為=14,“1”個數(shù)為=13,“2”個數(shù)為=12,“3”個數(shù)為=6.消息序列總長為=+=45(個符號)消息序列的自信息量:-平均每個符號攜帶的信息量為:2-14在一個二進制信道中，信息源消息集X=0，1，且P(1)=P(0),信宿的消息集Y=0，1，信道傳輸概率P（1/0）=1/4，P（0/1）=1/8。求：（1）在接收端收到y(tǒng)=0后，所提供的關于傳輸消息x的平均條件互信息量I（X;y=0）。(2)該情況所能提供的平均互信息量I（X；Y）。解：X=0,1,Y=0,1求

4、(2)2-25某一無記憶信源的符號集為0，1，已知，。（1）求符號的平均熵。（2）由100個符號構成的序列，求某一特定序列（例如有m個0和100-m個1）的自信息量的表達式。（3）計算(2)中的序列的熵。解：（1）對離散無記憶信源符號的平均熵：比特/符號（2）長度為L=100的符號序列中某特定序列，其中“0”的個數(shù)為m，“1”的個數(shù)為100-m.該特定序列的概率為對離散無記憶信源，其符號獨立出現(xiàn)，即則該特定序列的自信息量為：=41+1.59m(bit)(3)長度為L=100的符號序列離散無記憶信源熵：=H(XXX)=81（比特/序列）2-30有一馬爾可夫信源，已知轉(zhuǎn)移概率為，。試畫出狀態(tài)轉(zhuǎn)移圖

5、，并求出信源熵。解：（1）由題意知，該馬爾可夫信源階數(shù)為1，狀態(tài)集S=，狀態(tài)轉(zhuǎn)移圖為：(2)信源熵：求穩(wěn)態(tài)概率計算方程：即：得：即：P(S)=0.75，P(S)=0.25求H(X/S)H(X/S)則信源熵：H=H=0.69比特/符號2-33一階馬爾可夫信源的狀態(tài)圖如圖2-14所示，信源X符號集為0，1，2。（1）求平穩(wěn)后信源的概率分布；（2）求信源熵；（3）求當p=0或p=1時信源的熵，并說明其理由。解：（1）一階馬爾可夫信源的狀態(tài)空間S=X=0，1，2，由圖2-14狀態(tài)轉(zhuǎn)移圖中分析得，此馬爾可夫鏈是時齊的，狀態(tài)有限的和不可約閉集，非周期，所以具有各態(tài)歷經(jīng)性。平穩(wěn)后狀態(tài)的極限分布存在，因為是一

6、階馬爾可夫信源，狀態(tài)的極限分布即平穩(wěn)后信源符號的一維概率分布，即根據(jù)狀態(tài)轉(zhuǎn)移圖，得狀態(tài)一步轉(zhuǎn)移矩陣：計算方程組即整理計算得：即狀態(tài)極限概率P(0)=P(1)=P(2)=1/3(2)根據(jù)馬爾可夫信源熵的表達式：=由=同理從而比特/符號（3）當p=0或p=1時信源的熵，這是因為p=0或p=1時信源為確定性信源，觀察著對信源發(fā)出什么符號不存在任何不確定度，所以信源不提供任何的信息量。第三章3-1設二進制對稱信道的概率轉(zhuǎn)移距陣為2/31/31/32/3.（1）若p(x0)=3/4，p(x1)=1/4,求H(X),H(X|Y),H(Y|X)和I(X;Y)。(選做)（2）求該信道的信道容量及其達到信道容量

7、時的輸入概率分布。解：（1）由題意可得x的先驗概率P(x0)=3/4,p(x1)=1/4.H(x)=H(3/4,1/4)=0.82bit/符號由概率轉(zhuǎn)移距陣得符號轉(zhuǎn)移概率：p(y0|x0)=2/3,p(y1|x0)=1/3,p(y0|x1)=1/3,p(y1|x1)=2/3.聯(lián)合概率：p(x0, y0)=p(x0)p(y0|x0)=1/2同理：p(x0, y1)=1/4，p(x1,y0)=1/12，p(x1,y1)=1/6則條件熵：=0.91bit/符號另外p(y0)=7/12p(y1)=5/12=0.9799根據(jù)得=0.7494bit/符號互信息：=0.066bit/符號(2)由概率轉(zhuǎn)移距陣

8、，可知該信道為對稱DMC信道故其信道容量：(m=2為接收端信宿符號集中符號數(shù)目)=0.082bit/符號當其達到信道容量時輸入為等概分布p(x0)=p(x1)=1/2.3-5求下列兩個信道的容量，并加以比較（1）（2）解：由于兩信道均為準對稱信道（行元素對應相同，但列元素不相同），可分解為其信道容量公式為則，即信道2比信道1好一些。3-10.一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信道的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信道與噪聲的平均功率比值降至5，要達到相同的信道容量，信道通頻帶應為多大？（3）若信道通頻帶

9、減為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應等于多大？解：(1)由題意可得:由SNR=10信道的信道容量：C=Wlog2(1+SNR)=3.46Mbit/s（2）若SNR=5,信道容量保持不變.由C=Wlog2(1+SNR)得W=C/log2(1+SNR)=1.34MHZ(3)若W減為0.5MHZ,信道容量保持不變.由C=Wlog2(1+SNR)易得1+SNR=121故SNR=120.第四章4-1設有一個二元等概信源X=0，1，通過一個二進制對稱信道（BSC）。其失真函數(shù)與信道轉(zhuǎn)移概率分別定義為試求失真矩陣d和平均失真。解：由失真矩陣轉(zhuǎn)移概率矩陣平均失真為4-3

10、設輸入符號表與輸出符號表為X=Y=0，1，2，3，且輸入信號的分布為，設失真矩陣為求，和，以及相應的編碼器轉(zhuǎn)移概率矩陣。解：對離散信源，當時為無失真編碼，信源符號與碼符號一一對應，即則信道轉(zhuǎn)移概率矩陣為得假設時失真達到，即則此時信道轉(zhuǎn)移概率矩陣為4-5具有符號集的二元信源，信源發(fā)生概率為：，。Z信道如圖4-7所示，接收符號集，轉(zhuǎn)移概率為：，。發(fā)出符號與接收符號的失真：，。（1）計算平均失真；（2）率失真函數(shù)R(D)的最大值是什么？當q為什么值時可達到該最大值？此時平均失真D是多大？（3）率失真函數(shù)R(D)的最小值是什么？當q為什么值時可達到該最小值？此時平均失真D是多大？（4）畫出R(D)D的

11、曲線。解：概率轉(zhuǎn)移矩陣為：失真矩陣為（1）（2），率失真函數(shù)取最大值時比對應最小的失真，對離散信源，最小失真為零，即，由于，所以，則（3），對應最大的失真，此時（4）R(D)D曲線：（2）（3）的傳統(tǒng)解法：（2）解方程得則平均失真（3），令，得此時平均失真第五章信源編碼5-1將下表所列的某六進制信源進行二進制編碼，試問(1)這些碼中哪些是唯一可譯碼？(2)哪些碼是非延長碼（即時碼）？(3)對所有的唯一可譯碼求出其平均碼長和編碼效率。解：C1=000，001，010，011，100，101C2=0，01，011，0111，01111，011111C3=0，10，110，1110，11110，11

12、1110C1碼組為等長碼，因各碼字均不相同，則必為唯一可譯碼。C2碼組中各碼字長度分別為，則根據(jù)克勞夫特不等式則存在該碼長分布的唯一可譯碼；下一步檢驗該碼長構成的具體碼字：最短的碼字“0”是其他碼的前綴，尾隨后綴分別為1，11，111，1111，11111，這些尾隨后綴都不是碼組中的單獨碼字；次短的碼字“01”是碼字011，0111，01111，011111的前綴，其尾隨后綴為11，111，1111，11111不是碼組中的單獨碼字，.依次可判斷其他次短碼字雖然是長碼字的前綴，但尾隨后綴均不是碼組中的單獨碼字，由此可斷定該碼字是唯一可譯碼。C3碼組的碼長分布與C2碼組相同，滿足克勞夫特不等式，下

13、一步檢驗該碼長構成的具體碼字：最短的碼字”0”不是其他碼字的前綴，沒有尾隨后綴，次短碼字”10”、110”“1110“、“11110”都不是其他碼字的前綴，沒有尾隨后綴，所以必是唯一可譯碼。（C3碼組滿足克勞夫特不等式，又是非前綴碼，所以是唯一可譯碼）C1、C2、C3是唯一可譯碼，在唯一可譯碼中，分為即時碼和非即時碼。即時碼的判斷方法有兩種：根據(jù)定義：即時碼又叫非前綴碼或非延長碼。則C1、C3是即時碼根據(jù)碼樹：碼組中的各碼字都處在樹的終端節(jié)點上，則為即時碼。碼樹省略判斷結果為：C1、C3的各碼字均處在碼樹的終端節(jié)點上，是即時碼根據(jù)公式根據(jù)編碼效率公式得比特/符號5-10設有離散無記憶信源P(X

14、)=0.37,0.25,0.18,0.10,0.07,0.03;(1)求該信源符號熵H(X);(2)用哈夫曼編碼編成二進制變長碼，計算編碼效率。(3)要求譯碼錯誤小于，采用定長二元碼要達到(2)中的哈夫曼編碼效率，問需要多少個信源符號連在一起編？解：（1）信源熵比特/符號(2)用哈夫曼編碼編成二進制變長碼為00，01，11，101，1000，1001平均碼長碼符號/信源符號編碼效率(3)要求譯碼錯誤小于，采用定長二元碼要達到(2)中的哈夫曼編碼效率。第一步：根據(jù)第二步要求譯碼錯誤小于，令，則需要一起編的符號長度應滿足5-12已知一信源包含8個消息符號，其出現(xiàn)的概率P(X)=0.1,0.18,0

15、.4,0.05,0.06,0.1,0.07,0.04，則求(1)該信源在每秒內(nèi)發(fā)出一個符號，求該信源的熵及信息傳輸速率；(2)對這8個符號作哈夫曼編碼，寫出相應碼字，并求出編碼效率；(3)進行香農(nóng)編碼，寫出相應碼字，并求出編碼效率；(4)進行費諾編碼，寫出相應碼字，并求出編碼效率；解：（1）信源熵比特/符號信息傳輸速率(2)對這8個符號作哈夫曼編碼所編碼為1，001，011，0000，0100，0101，00010，00011；平均碼長碼符號/信源符號編碼效率（3）香農(nóng)編碼編碼過程：所編碼為00，011，1001，1010，1100，11011，11101，11110；平均碼長碼符號/信源符號

16、編碼效率（4）費諾編碼所編碼為00，01，100，101，1100，1101，1110，1111；平均碼長碼符號/信源符號編碼效率補充1：幾種實用的無失真信源編碼方法MH編碼MH編碼是用于黑白二值文件傳真的數(shù)據(jù)壓縮編碼。它是一維編碼方案。它將游程編碼和哈夫曼編碼相結合的一種標準的改進哈夫曼碼。游程編碼是無失真信源編碼，二元序列編成多元碼在二元序列中，只有“0”和“1”兩個碼元，我們吧連續(xù)出現(xiàn)的“0”叫做“0”游程，連續(xù)出現(xiàn)的“1”叫做“1”游程。連續(xù)出現(xiàn)“0”或者“1”碼元的個數(shù)叫做游程長度。這樣，一個二元序列可以轉(zhuǎn)換成游程序列，例如：二元序列0001100111100010可以變換成3224

17、311，若規(guī)定游程必須從“0”游程開始，則上述變換是可逆的。如果連“0”或連“1”非常多，則可以達到信源壓縮的目的。游程編碼是無失真信源編碼算術編碼算術編碼也是一種無失真信源編碼方法。前面討論的無失真信源編碼方法，都是針對單個信源符號的編碼，當信源符號之間有相關性時，這些編碼方法由于沒有考慮到符號之間的相關性，因此編碼效率就不可能很高。解決的辦法是對較長的信源序列進行編碼，但會遇到與定長編碼時同樣的問題。而且，采用前面的序列編碼需要完全知道聯(lián)合概率和條件概率，這在場合下也是比較困難的。為了解決這個問題，需要跳出分組碼的局限，研究非分組碼。算術編碼就是一種非分組編碼方法。其基本思路是：從全序列出

18、發(fā)，將不同的信源序列的累計概率映射到0，1區(qū)間上，使每個序列對應區(qū)間上的一點，也就是說，把區(qū)間0，1分成許多互不重疊的小區(qū)間，不同的信源序列對應不同的小區(qū)間，可以證明，只要這些小區(qū)間互不重疊，就可以編得即時碼。這種編碼方法無需計算出所有信源序列的概率分布及編出碼表，可以直接對輸入的信源符號序列進行編碼輸出。LZ碼LZ碼是一種通用編碼方法，無需知道信源的統(tǒng)計特性，而且編碼效率很高。基本算法是：將長度不同的符號串編成一個新的短語(符號串)，形成短語詞典的索引表。LZ78是一種分段編碼，它的短語詞典是由前面已見到的文本字段來定義的。(續(xù)上)補充2：幾種常用的限失真信源編碼方法：矢量量化連續(xù)信源進行編

19、碼的主要方法是量化，即將連續(xù)的樣值離散化成為。n是量化級數(shù)，這樣就把連續(xù)值轉(zhuǎn)化為n個實數(shù)中的一個，可以用0，1，2，n等n個數(shù)字來表示。由于是一個標量，因此稱為標量量化。在量化的過程中，將會引入失真，量化是必須使這些失真最小。要想得到更好的性能，僅采用標量量化是不可能的。從前面的討論我們已經(jīng)知道，把多個信源符號組成一個符號序列進行聯(lián)合編碼可以提高編碼效率。連續(xù)信源也是如此，當把多個信源符號聯(lián)合起來形成多維矢量，然后進行量化，可以進一步壓縮碼率，這種量化方法叫做矢量量化。實驗證明，即使各信源符號相互獨立，矢量量化也可以壓縮信息率，因此，人們對矢量量化非常感興趣，是當前信源編碼的一個熱點，而且不僅

20、限于連續(xù)信源，對離散信源也可以如此。如圖像編碼時采用矢量量化，但由于聯(lián)合概率密度不易測定，目前常用的是訓練序列的方法，如圖像編碼時就要采用訓練序列的方法，找到其碼書，進行量化。還可以與神經(jīng)網(wǎng)絡方法結合，利用神經(jīng)網(wǎng)絡的自組織來得到訓練集。預測編碼預測就是從已收到的符號來提取關于未收到的符號的信息，從而預測其最可能的制作為預測值。并把它與實際值之差進行編碼，由于這個差值一般都比較小，所以在編碼時會出現(xiàn)很多連“0”值，再采用游程編碼，就可以大大地壓縮碼率。由此可見，預測編碼是利用信源符號之間的相關性來壓縮碼率的，對于獨立信源，預測就沒有可能。6變換編碼變換是一個廣泛的概念。變換編碼就是經(jīng)變換后的信號

21、能更有效地編碼，也就是通過變換來解除或減弱信源符號間的相關性，以達到壓縮碼率的效果（如單頻率正弦波信號，變換到頻域）。一般地，對一個函數(shù)，變換式為：而反變換為：要使上式成立，要求必須是正交完備的（相當于歐氏空間的坐標投影），求的公式，實際上就是內(nèi)積運算，把函數(shù)投影到上去。信源編碼常用的變換有：DCT（discreteCosineTransform）變換：如JPEG、MPEG等圖像壓縮標準中，就是主要采用的這種變換壓縮方法。K-L變換：K-L變換是均方誤差準則下的最佳變換。它是一種正交變換，變幻后的隨機變量之間互不相關，一般認為，K-L變換是最佳變換，其最大缺點是計算復雜，除了需要測定相關函數(shù)和

22、解積分方程外，變換時的運算也十分復雜，也沒有快速算法，因此，K-L變換不是一種實用的變換編碼方法，但經(jīng)常用來作為標準，評估其他方法的優(yōu)劣。（3）小波（WaveletTransform）變換：小波變換是當前信號處理以及多種應用科學中廣泛用到的一種相當有效的數(shù)學工具。小波變換的概念首先是由法國的石油地質(zhì)工程師J.Morlet于1980年提出的，1990年Mallat等人一起建立了多分辯分析的概念。與經(jīng)典的Fourier分析相比較，小波的最大優(yōu)勢是變換本身具有時間與頻率的雙重局部性質(zhì)，解決了Fourier分析不能處理的許多實際問題，因而小波變換被人們稱之為“數(shù)學顯微鏡”。20世紀90年代中期以前，圖

23、像壓縮主要采用離散余弦變換(DCT)技術，著名的JPEG、H.263等圖像壓縮國際標準均采用DCT方法實現(xiàn)圖像壓縮。而DCT最大的缺陷是當壓縮比較大時，會出現(xiàn)馬賽克效應，因而影響圖像壓縮質(zhì)量。最近幾年來，由于小波變換具有DCT無可比擬的良好壓縮性質(zhì)，在最新推出的靜態(tài)圖像壓縮國際標準JPEG2000中，9/7雙正交小波變換已經(jīng)正式取代DCT而作為新的標準變換方法。（4）分形（FractalTransform）變換：基于塊的分形編碼是一種利用圖像的自相似性來減少圖象冗余度的新型編碼技術，它具有以下特點：較高的壓縮比。解碼圖象的分辨率無關性。可按任意高于或低于原編碼圖象的分辨率來進行解碼。當要解碼成

24、較高分辨率圖象時，引入的細節(jié)會與整個圖象大致和諧一致，從而比象素復制或插值方法得到的圖象看起來更自然。這種縮放能力也可以用作圖象增強工具。解碼速度快。分形壓縮是一非對稱過程，雖然編碼很耗時，但解碼速度快，因此較適用于一次編碼多次解碼的應用中。編碼時間過長，實時性差，從而阻礙了該方法在實際中的廣泛應用。還有很多其他的編碼方法，這里就不再一一介紹了。補充3：香農(nóng)第二定理信道編碼定理1、有噪信道編碼定理如一個離散無記憶信道，信道容量為C。當信息傳輸率RC時，只要碼長足夠長，總可以找到一種信道編碼方法，使信道輸出端的平均錯誤譯碼概率達到任意小。2、有噪信道編碼逆定理如一個離散無記憶信道，信道容量為C。

25、當信息傳輸率RC時，則無論碼長n多長，總找不到一種編碼方法，使信道輸出端的平均錯誤譯碼概率達到任意小。這個定理是信道編碼的理論依據(jù)，可以看出：信道容量是一個明確的分界點，當取分界點以下的信息傳輸率時，信道輸出端誤碼率以指數(shù)趨進于0；當取分界點以下的信息傳輸率時，輸出端誤碼率以指數(shù)趨進于1；因此在任何信道中，信道容量都是可達的、最大的可靠信息傳輸率。這個定理是一個存在定理，它沒有給出一個具體可構造的編碼方法，在它的證明過程中，碼書是隨機的選取的，它有助于指導各種通信系統(tǒng)的設計，有助于評價各種系統(tǒng)及編碼的效率。補充4：無噪信道編碼定理無失真信源編碼定理失真信源編碼定理通常又稱為無噪信道編碼定理。此

26、定理可以表述為：若信道的信息傳輸率R不大于信道容量C，總能對信源的輸出進行適當?shù)木幋a，使得在無噪無損信道上能無差錯地以最大傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯地傳輸信息是不可能的。補充5：若有一信源每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸(假設信道是無噪無損的)，二信道每秒鐘傳遞二個二元符號。試問此信源不通過編碼能否直接與信道連接？若通過適當編碼能否在信道中進行無失真?zhèn)鬏敚咳裟苓B接，使說明如何編碼并說明原因。解：信源其信源熵比特/符號而其每秒鐘發(fā)2.66個信源符號，所以信源輸出的信息速率為送入一個二元無噪無損信道，此信道的最大信息傳輸率(

27、信道容量)C=1比特/符號。而信道每秒鐘只傳送兩個二元符號，所以信道的最大信息傳輸速率可見，根據(jù)無噪信道編碼定理（即無失真信源編碼定理），因為，所以總能對信源的輸出進行適當?shù)木幋a，使此信源在此信道中進行無失真?zhèn)鬏敗Ｈ绻麑π旁床贿M行編碼，直接將信源符號s1以0符號傳送，s2以1符號傳送，這時因為信源輸出為2.66二元信源符號/秒，大于2二元信道符號/秒，就會使信道輸入端造成信源符號的堆積，信息不能按時發(fā)送出去。所以，不通過編碼此信源不能直接與信道連接。若要連接，必須對信源的輸出符號序列進行編碼，也就是對此信源的N次擴展信源進行編碼。但擴展次數(shù)N越大，編碼越復雜，設備代價越大，所以盡量使擴展次數(shù)N

28、小，而又能使信源在此信道中無失真?zhèn)鬏敗Ｏ瓤紤]N=2，并對二次擴展信源進行哈夫曼編碼，得得二元符號/信源序列二元符號/信源符號二次擴展編碼后，送入信道的傳輸速率為所以，必須考慮N=3即對三次擴展信源進行哈夫曼編碼，得得二元符號/信源序列二元符號/信源符號二次擴展編碼后，送入信道的傳輸速率為此時，就可以在此信道中進行無失真?zhèn)鬏斄恕Ｑa充6：若有一信源每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸(假設信道是無噪無損的)，二信道每秒鐘傳遞二個二元符號。(1)試問此信源能否在此信道中無失真?zhèn)鬏敗?2)若此信源失真測度定義為漢明失真，問允許信源平均失真為多大時，此信源就可以在

29、此信道中傳輸。解：(1)信源其信源熵比特/符號而其每秒鐘發(fā)2.66個信源符號，所以信源輸出的信息速率為送入一個二元無噪無損信道，此信道的最大信息傳輸率(信道容量)C=1比特/符號。而信道每秒鐘只傳送兩個二元符號，所以信道的最大信息傳輸速率可見，根據(jù)無噪信道編碼定理（即無失真信源編碼定理），因為，所以不論進行任何編碼此信源都不可能在此信道中實現(xiàn)無失真的傳輸，所以信源在此信道中傳輸會引起錯誤和失真。（2）若此信源失真測度定義為漢明失真，因為是二元信源，輸入是等概分布，所以信源地信息率失真函數(shù)為比特/信源符號比特/秒若則此信源在此信道中傳輸時不會引起錯誤。也就是不會因為信道而增加信源新的失真。總的信源的失真是信源壓縮編碼所造成的允許失真D。所以有故D=0.0415允許信源平均失真為D=0.0415時，此信源就可以在此信道中傳輸補充7：為了傳輸一個由字母A，B，C，D組成的符號集，把每個字母編碼成二元碼脈沖序列，以“00”代表A，“01”代表B，“10”代表C，“11”代表D，每個二元碼脈沖寬度為5ms，不同字母等概率出現(xiàn)時，計算傳輸?shù)男畔⑺俾剩咳裘總€字母出現(xiàn)的概率分別為，試計算傳輸?shù)男畔⑺俾省＝猓海?）不同字母等概率出現(xiàn)時，符號集的概率空間為：每個符號含有的平均信息量即熵為：比特/符號（字母）現(xiàn)在用兩個二元碼脈沖代表1個字母，每個二元碼脈沖