5-1有一信源，它有六種可能的輸出，其概率分布如下表所示，表中給出了對(duì)應(yīng)的六種編碼和。（1）求這些碼中哪些是唯一可譯碼；（2）求哪些是非延長(zhǎng)碼（即時(shí)碼）；（3）對(duì)所有唯一可譯碼求出其平均碼長(zhǎng)。消息概率1/20000001011/40010110100000011/1601001111011010011001/160110111111011000101011/16100011111111010011101101/161010111111111101111110111解：（1）1,2,3,6是唯一可譯碼；(2)1,3,6是即時(shí)碼。5-2證明若存在一個(gè)碼長(zhǎng)為的唯一可譯碼，則一定存在具有相同碼長(zhǎng)的即時(shí)碼。證明：由定理可知若存在一個(gè)碼長(zhǎng)為的唯一可譯碼，則必定滿足kraft不等式1。由定理4可知若碼長(zhǎng)滿足kraft不等式，則一定存在這樣碼長(zhǎng)的即時(shí)碼。所以若存在碼長(zhǎng)的唯一可譯碼，則一定存在具有相同碼長(zhǎng)P（y=0）的即時(shí)碼。5-3設(shè)信源，。將此信源編碼成為r元唯一可譯變長(zhǎng)碼（即碼符號(hào)集），其對(duì)應(yīng)的碼長(zhǎng)為（）=（1，1，2，3，2，3），求r值的最小下限。解：要將此信源編碼成為

r元唯一可譯變長(zhǎng)碼，其碼字對(duì)應(yīng)的碼長(zhǎng)（l1,l2,l3,l4,l5,l6）=(1,1,2,3,2,3)必須滿足克拉夫特不等式，即所以要滿足，其中r是大于或等于1的正整數(shù)。可見(jiàn)，當(dāng)r=1時(shí)，不能滿足Kraft不等式。當(dāng)r=2,，不能滿足Kraft。當(dāng)r=3,，滿足Kraft。所以，求得r的最大值下限值等于3。5-4設(shè)某城市有805門公務(wù)電話和60000門居民電話。作為系統(tǒng)工程師，你需要為這些用戶分配電話號(hào)碼。所有號(hào)碼均是十進(jìn)制數(shù)，且不考慮電話系統(tǒng)中0、1不可用在號(hào)碼首位的限制。（提示：用異前綴碼概念）（1）如果要求所有公務(wù)電話號(hào)碼為3位長(zhǎng)，所有居民電話號(hào)碼等長(zhǎng)，求居民號(hào)碼長(zhǎng)度的最小值；（2）設(shè)城市分為A、B兩個(gè)區(qū)，其中A區(qū)有9000門電話，B區(qū)有51000門電話。現(xiàn)進(jìn)一步要求A區(qū)的電話號(hào)碼比B區(qū)的短1位，試求A區(qū)號(hào)碼長(zhǎng)度的最小值。解：(a)805門電話要占用1000個(gè)3位數(shù)中的805個(gè)，即要占用首位為0～7的所有數(shù)字及以8為首的5個(gè)數(shù)字。因?yàn)橐缶用耠娫捥?hào)碼等長(zhǎng)，以9為首的數(shù)字5位長(zhǎng)可定義10000個(gè)號(hào)碼，6位長(zhǎng)可定義100000個(gè)號(hào)碼。所以。 或由Craft不等式，有 解得 ，即 (b)在(a)的基礎(chǔ)上，將80為首的數(shù)字用于最后5個(gè)公務(wù)電話，81～86為首的6位數(shù)用于B區(qū)51000個(gè)號(hào)碼，以9為首的5位數(shù)用于A區(qū)9000個(gè)號(hào)碼。所以，。或由Draft不等式，有 或 解得即 5-5求概率分布為的信源的二元霍夫曼碼。討論此碼對(duì)于概率分布為的信源也是最佳二元碼。第二種情況：我們采用霍夫曼可編為1/2編為1；1/4編為01，1/8編為000和001，脈沖數(shù)顯然。5-11若某一信源有個(gè)符號(hào)，并且每個(gè)符號(hào)等概率出現(xiàn)，對(duì)這信源用最佳霍夫曼碼進(jìn)行二元編碼，問(wèn)當(dāng)和（是正整數(shù)）時(shí)，每個(gè)碼字的長(zhǎng)度等于多少？平均碼長(zhǎng)是多少？解：當(dāng)時(shí)用霍夫曼編碼方法進(jìn)行最佳編碼，由于每個(gè)符號(hào)是等概率分布的，所以每個(gè)符號(hào)碼長(zhǎng)應(yīng)相等，這樣平均碼長(zhǎng)最短，而且信源符號(hào)個(gè)數(shù)正好等于，則滿足：，所以每個(gè)碼字的碼長(zhǎng)。當(dāng)個(gè)1時(shí)，因?yàn)槊總€(gè)符號(hào)等概率分布出現(xiàn)，所以每個(gè)符號(hào)的碼長(zhǎng)也應(yīng)該基本相等，但現(xiàn)在信源符號(hào)個(gè)數(shù)不是正好等于，所以必須有兩個(gè)信源符號(hào)的碼長(zhǎng)延長(zhǎng)一位碼長(zhǎng)，這樣平均碼長(zhǎng)最短。所以時(shí)個(gè)碼字的碼長(zhǎng)為，其余2個(gè)碼字的碼長(zhǎng)為。平均碼長(zhǎng)。5-12若有一信源每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某一個(gè)二元信道中進(jìn)行傳輸（假設(shè)信道是無(wú)噪無(wú)損的），而信道每秒鐘只傳遞2個(gè)二元符號(hào)。試問(wèn)信源不通過(guò)編碼能否直接與信道連接？若通過(guò)適當(dāng)編碼能否在此信道中進(jìn)行無(wú)失真?zhèn)鬏敚咳裟苓B接，試說(shuō)明如何編碼并說(shuō)明原因。解：信源 ，其信源熵 而其每秒鐘發(fā)出2.66個(gè)信源符號(hào)，所以信源輸出的信息速率為：送入一個(gè)二元無(wú)噪無(wú)損信道，此信道的最大信息傳輸率（信道容量）。而信道每秒鐘只傳輸兩個(gè)二元符號(hào)，所以信道的最大信息傳輸速率為：可見(jiàn)：。根據(jù)無(wú)噪信道編碼定理（即無(wú)失真信源編碼定理），因。所以總能對(duì)信源的輸出進(jìn)行適當(dāng)?shù)木幋a，使此信源能在此信道中進(jìn)行無(wú)失真地傳輸。如果對(duì)信源不進(jìn)行編碼，直接將信源符號(hào)以“0”符號(hào)傳送，以“1”符號(hào)傳送，這時(shí)因?yàn)樾旁摧敵鰹?.66（二元信源符號(hào)/秒），大于2（二元信道符號(hào)/秒），就會(huì)使信道輸入端造成信源符號(hào)的堆積，信息不能按時(shí)發(fā)送出去。所以，不通過(guò)編碼此信源不能直接與信道連接。若要連接，必須對(duì)信源的輸出符號(hào)序列進(jìn)行編碼，也就是對(duì)此信源的N次擴(kuò)展信源進(jìn)行編碼。但擴(kuò)展次數(shù)越大，編碼越復(fù)雜，設(shè)備的代價(jià)也越大，所以盡量使擴(kuò)展的次數(shù)N少，而又能使信源在此信道中無(wú)失真?zhèn)鬏敗Ｏ瓤紤]，并對(duì)二次擴(kuò)展信源進(jìn)行霍夫曼編碼，得：二元霍夫曼碼 得： 二次擴(kuò)展編碼后，送入信道的傳輸速率為：所以，必須考慮即對(duì)三次擴(kuò)展信源進(jìn)行霍夫曼編碼，得：二元霍夫曼碼得： 三次擴(kuò)展碼后，送入信道額傳輸速率為：此時(shí)，就可以在信道中進(jìn)行無(wú)失真?zhèn)鬏斄恕?-13現(xiàn)有一幅已離散量化后的圖像，圖像的灰度量化分成8級(jí)，如下表所示。表中數(shù)字為相應(yīng)像素上的灰度級(jí)。1111111111111111111111111111111111111111222222222222222222223333333333444444444455555566667777788888另有一無(wú)噪無(wú)損二元信道，單位時(shí)間（秒）內(nèi)傳輸100個(gè)二元符號(hào)。（1）現(xiàn)將圖像通過(guò)給定的信道傳輸，不考慮圖像的任何統(tǒng)計(jì)特性，并采用二元等長(zhǎng)碼，問(wèn)需多長(zhǎng)時(shí)間才能傳送完這幅圖像？（2）若考慮圖像的統(tǒng)計(jì)特性（不考慮圖像的像素之間的依賴性），求這圖像的信源熵，并對(duì)每個(gè)灰度級(jí)進(jìn)行霍夫曼最佳二元編碼，問(wèn)平均每個(gè)像素需用多少二元碼符號(hào)來(lái)表示？這時(shí)需多少時(shí)間才能傳送完這幅圖像？（3）從理論上簡(jiǎn)要說(shuō)明這幅圖像還可以壓縮，而且平均每個(gè)像素所需的二元碼符號(hào)數(shù)可以小于比特。解：（1）3秒。（2）2.59秒。5-14設(shè)某無(wú)記憶二元信源，概率=P(1)=0.1，=P(0)=0.9，采用下述游程編碼方案:第一步，根據(jù)0的游程長(zhǎng)度編成8個(gè)碼字，第二步，將8個(gè)碼字變換成二元變長(zhǎng)碼，如下表所示：信源符號(hào)序列中間碼二元碼字1S0100001S11001001S210100001S3101100001S41100000001S511010000001S6111000000001S7111100000000S80試問(wèn)最后的二元變長(zhǎng)碼是否是唯一可譯碼；試求中間碼對(duì)應(yīng)的信源序列的平均長(zhǎng)度；試求中間碼對(duì)應(yīng)的變長(zhǎng)碼二元碼碼字的平均長(zhǎng)度；計(jì)算比值，解釋它的意義，并計(jì)算這種游程編碼的編碼效率；（5）若用霍夫曼編碼，對(duì)信源的四次擴(kuò)展信源進(jìn)行直接編碼，求它的平均碼長(zhǎng)(對(duì)應(yīng)于每一個(gè)信源符號(hào))，并計(jì)算編碼效率，試將此方法與游程編碼方法進(jìn)行比較；（6）將上述游程編碼方法一般化，可把個(gè)信源序列(上例中s=3)變換成二元變長(zhǎng)碼，即個(gè)連零的信源序列編為碼字0，而其他信源序列都編成s+1位的碼字.若信源輸出零的概率為，求/的一般表達(dá)式，并求=0.995時(shí)s的最佳值。解:(1)根據(jù)唯一可譯碼的判斷方法可知，最后的二元變長(zhǎng)碼是非延長(zhǎng)碼(即時(shí)碼，所以它是唯一可譯碼。(2)因?yàn)樾旁词嵌獰o(wú)記憶信源，所以有P(si)=P(si1)P(s2)…P(sin)其中si=(si1si2…sin)si1,si2,…sin{0,1}已知p1=P(1)=0.1，p0=P(0)=0.9，可求得信源符號(hào)序列的概率P(si)。根據(jù)編碼，可排出下列表信源符號(hào)序列序列的概率P(si)信源符號(hào)序列長(zhǎng)度l1i中間碼二元碼碼長(zhǎng)l2i10.11S04010.092S140010.0813S2400010.07294S34000010.065615S440000010.0590496S5400000010.05314417S64000000010.047829698S74000000000.430467218S84根據(jù)表可計(jì)算1=≈5.6953信源符號(hào)/中間碼(3)根據(jù)表計(jì)算2=≈2.7086二元碼/中間碼(4)≈0.4756二元碼/信源符號(hào)此值為每個(gè)信源符號(hào)所需的二元碼符號(hào)數(shù)，也就是無(wú)記憶二元信源采用游程編碼后每個(gè)二元信源符號(hào)所需的平均碼長(zhǎng)。可計(jì)算無(wú)記憶二元信源的信息熵 H(S)=-≈0.4690比特/信源符號(hào)所以，這種游程編碼的效率 η=≈0.986≈98.6%(其中因?yàn)槎幋a所以Hr(S)=H(S))(5)若對(duì)無(wú)記憶二元信源的次擴(kuò)展信源直接進(jìn)行霍夫曼編碼，可得S4P(si)碼字Wi碼長(zhǎng)liS4P(si)碼字Wi碼長(zhǎng)li00000.65610110010.00811111010700010.0729110310100.00811111011700100.0729100311000.00811111110701000.0729101301110.0009111111100910000.07291110410110.0009111111101900110.0081111110611010.0009111111110901010.00811111000711100.000911111111101001100.00811111001711110.00011111111111104=≈1.9702二元碼/4個(gè)信源符號(hào)得 =0.4926二元碼/信源符號(hào)編碼效率η=≈0.952≈95.2%此編碼效率低于游程編碼方法。這是因?yàn)榛舴蚵a只考慮N=4(固定值)時(shí)進(jìn)行壓縮，使概率大的對(duì)應(yīng)于短碼，概率小的對(duì)應(yīng)于長(zhǎng)碼。但無(wú)記憶二元信源符號(hào)“0”出現(xiàn)的概率p0很大，所以在信源輸出序列中符號(hào)“0”連續(xù)出現(xiàn)的概率較大，而連續(xù)出現(xiàn)符號(hào)“1”的概率極小。游程編碼正是考慮了這些特性，使N較長(zhǎng)(N=8)的連續(xù)出現(xiàn)的符號(hào)“0”序列壓縮成一個(gè)二元碼符號(hào)。所以，游程編碼的編碼效率較高。當(dāng)然，當(dāng)N很大時(shí)(N=8)霍夫曼編碼效率會(huì)提高，但其編碼方法沒(méi)有游程編碼方法來(lái)得簡(jiǎn)單。(6)一般游程編碼方法是將2s+1個(gè)信源序列中一個(gè)2s個(gè)連續(xù)為零的序列編成碼字0，而其他信源序列編成碼長(zhǎng)為s+1的碼字，所以根據(jù)表中類似計(jì)算可得 1=其中p0為信源中符號(hào)“0”出現(xiàn)的概率，p1為符號(hào)“1”出現(xiàn)的概率，有p0+p1=1。展開(kāi)上式，得 1=p0+2p1p0+3p1+…++ =(1-p0)[(1+2p0+3+…+)]+ =(1+2p0+3+…++)-(p0+2+3+…+) =(1+p0++…+) =根據(jù)表中類似計(jì)算，得2=(s+1) =(s+1)[(1-p0)(1+p0++…+)]+ =(s+1)(1-)+ =1+s(1-)得的一般表達(dá)式為 ==當(dāng)p0=0.995，p1=0.005時(shí)，求s的最佳值，也就是求s取某值時(shí)最短。可采用將對(duì)s求偏導(dǎo)來(lái)解，但所得為超越方程，所以我們采用數(shù)值求解方法。令s=22s=4=0.262s=32s=8=0.1422s=42s=16=0.0849s=52s=32=0.0587s=62s=64=0.482s=72s=128=0.0456s=82s=256=0.0469所以得最佳 當(dāng)p0=0.995時(shí)二元信源的信息熵 H(S)=H(0.995)≈0.0454比特/信源符號(hào) 可見(jiàn)，當(dāng)s=7時(shí)，已極接近H(S)，編碼效率達(dá)到99.5%5-15有兩個(gè)信源和如下：（1）分別用霍夫曼碼編成二元變長(zhǎng)唯一可譯碼，并計(jì)算編碼效率；（2）分別用香農(nóng)編碼法編成二元變長(zhǎng)唯一可譯碼，并計(jì)算編碼效率；（3）分別用費(fèi)諾編碼法編成二元變長(zhǎng)唯一可譯碼，并計(jì)算編碼效率；（4）從，兩種不同信源來(lái)比較這三種編碼方法的優(yōu)缺點(diǎn)。5-16將幅度為3.25V、頻率為800Hz的正弦信號(hào)輸入采樣頻率為8000Hz采樣保持器后，通過(guò)一個(gè)如題圖5-16所示量化數(shù)為8的中升均勻量化器。試畫(huà)出均勻量化器的輸出波形。題圖5-165-17已知某采樣時(shí)刻的信號(hào)值x的概率密度函數(shù)如題圖5-17所示，將x通過(guò)一個(gè)量化數(shù)為4的中升均勻量化器得到輸出。試求：輸出的平均功率;量化噪聲的平均功率；量化信噪比。題圖5-175-18在CD播放機(jī)中，假設(shè)音樂(lè)是均勻分布，采樣頻率為44.1kHz，采用16比特的中升均勻量化器進(jìn)行量化。試確定50分鐘音樂(lè)所需要的比特?cái)?shù)，并