..信息論與編碼習(xí)題參考答案單符號(hào)離散信源信息論與編碼作業(yè)是74頁(yè),1.1的〔1〔5,1.3,1.4,1.6,1.13,1.14還有證明熵函數(shù)的連續(xù)性、擴(kuò)展性、可加性1.1同時(shí)擲一對(duì)均勻的子,試求：<1>"2和6同時(shí)出現(xiàn)"這一事件的自信息量；<2>"兩個(gè)5同時(shí)出現(xiàn)"這一事件的自信息量；<3>兩個(gè)點(diǎn)數(shù)的各種組合的熵；<4>兩個(gè)點(diǎn)數(shù)之和的熵；<5>"兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1"的自信息量。解：<3>信源空間：X<1,1><1,2><1,3><1,4><1,5><1,6>P<X>1/362/362/362/362/362/36X<2,2><2,3><2,4><2,5><2,6>P<x>1/362/362/362/362/36X<3,3><3,4><3,5><3,6>P<x>1/362/362/362/36X<4,4><4,5><4,6>P<x>1/362/362/36X<5,5><5,6><6,6>P<x>1/362/361/36<4>信源空間：X23456789101112P<x>1/362/363/364/365/366/365/364/363/362/361/36<5>1.2如有6行、8列的棋型方格,若有兩個(gè)質(zhì)點(diǎn)A和B,分別以等概落入任一方格內(nèi),且它們的坐標(biāo)分別為〔Xa,Ya,〔Xb,Yb,但A,B不能同時(shí)落入同一方格內(nèi)。若僅有質(zhì)點(diǎn)A,求A落入任一方格的平均信息量；若已知A已落入,求B落入的平均信息量；若A,B是可辨認(rèn)的,求A,B落入的平均信息量。解：1.3從大量統(tǒng)計(jì)資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.如果你問(wèn)一位男士："你是否是紅綠色盲？"他的回答可能是："是",也可能"不是"。問(wèn)這兩個(gè)回答中各含有多少信息量？平均每個(gè)回答中各含有多少信息量？如果你問(wèn)一位女士,則她的答案中含有多少平均信息量？解：1.4某一無(wú)記憶信源的符號(hào)集為｛0,1｝,已知求符號(hào)的平均信息量；由1000個(gè)符號(hào)構(gòu)成的序列,求某一特定序列〔例如有m個(gè)"0",〔1000-m個(gè)"1"的自信量的表達(dá)式；計(jì)算〔2中序列的熵。解：1.5設(shè)信源X的信源空間為：求信源熵,并解釋為什么H<X>>log6,不滿足信源熵的極值性。解：1.6為了使電視圖象獲得良好的清晰度和規(guī)定的對(duì)比度,需要用5×105個(gè)像素和10個(gè)不同的亮度電平,并設(shè)每秒要傳送30幀圖象,所有的像素是獨(dú)立的,且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率〔bit/s。解：1.7設(shè)某彩電系統(tǒng),除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外,還必須有30個(gè)不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。證:1.8每幀電視圖像可以認(rèn)為是由3×105個(gè)像素組成,所以像素均是獨(dú)立變化,且每像素又取128個(gè)不同的亮度電平,并設(shè)亮度電平是等概出現(xiàn)。問(wèn)每幀圖像含有多少信息量？若現(xiàn)在有一個(gè)廣播員,在約10000個(gè)漢字中選1000個(gè)字來(lái)口述這一電視圖像,試問(wèn)若要恰當(dāng)?shù)孛枋龃藞D像,廣播員在口述中至少需要多少漢字？解:1.9給定一個(gè)概率分布和一個(gè)整數(shù)m,。定義,證明：。并說(shuō)明等式何時(shí)成立？證：1.10找出兩種特殊分布:p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H<p1,p2,p3,…,pn>=H<p1,p2,p3,…,pm>。解：1.15兩個(gè)離散隨機(jī)變量X和Y,其和為Z＝X＋Y,若X和Y統(tǒng)計(jì)獨(dú)立,求證：H<X>≤H<Z>,H<Y>≤H<Z>H<XY>≥H<Z>證明：第二章單符號(hào)離散信道2.1設(shè)信源通過(guò)一信道,信道的輸出隨機(jī)變量Y的符號(hào)集,信道的矩陣：試求：信源X中的符號(hào)1和2分別含有的自信息量；收到消息Y＝b1,Y＝b2后,獲得關(guān)于1、2的互交信息量：I<1;b1>、I<1;b2>、I<2;b1>、I<2;b2>；信源X和信宿Y的信息熵；信道疑義度H<X/Y>和噪聲熵H<Y/X>；接收到消息Y后獲得的平均互交信息量I<X;Y>。解:2.2某二進(jìn)制對(duì)稱信道,其信道矩陣是：設(shè)該信道以1500個(gè)二進(jìn)制符號(hào)/秒的速度傳輸輸入符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二進(jìn)制符號(hào),并設(shè)在這消息中p<0>=p<1>=0.5。問(wèn)從消息傳輸?shù)慕嵌葋?lái)考慮,10秒鐘內(nèi)能否將這消息序列無(wú)失真的傳送完。解:2.3有兩個(gè)二元隨機(jī)變量X和Y,它們的聯(lián)合概率為P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定義另一隨機(jī)變量Z=XY,試計(jì)算：H<X>,H<Y>,H<Z>,H<XZ>,H<YZ>,H<XYZ>;H<X/Y>,H<Y/X>,H<X/Z>,H<Z/X>,H<Y/Z>,H<Z/Y>,H<X/YZ>,H<Y/XZ>,H<Z/XY>;I<X;Y>,I<X;Z>,I<Y;Z>,I<X;Y/Z>,I<Y;Z/X>,I<X;Z/Y>。解:2.4已知信源X的信源空間為某信道的信道矩陣為：b1b2b3b4試求：<1>"輸入3,輸出b2的概率"；<2>"輸出b4的概率"；<3>"收到b3條件下推測(cè)輸入2"的概率。解：2.5已知從符號(hào)B中獲取關(guān)于符號(hào)A的信息量是1比特,當(dāng)符號(hào)A的先驗(yàn)概率P<A>為下列各值時(shí),分別計(jì)算收到B后測(cè)A的后驗(yàn)概率應(yīng)是多少。P<A>=10-2；P<A>=1/32；P<A>=0.5。解：2.6某信源發(fā)出8種消息,它們的先驗(yàn)概率以及相應(yīng)的碼字如下表所列。以a4為例,試求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16碼字000001010011100101110111在W4＝011中,接到第一個(gè)碼字"0"后獲得關(guān)于a4的信息量I<a4;0>；在收到"0"的前提下,從第二個(gè)碼字符號(hào)"1"中獲取關(guān)于a4的信息量I<a4;1/0>；在收到"01"的前提下,從第三個(gè)碼字符號(hào)"1"中獲取關(guān)于a4的信息量I<a4;1/01>；從碼字W4＝011中獲取關(guān)于a4的信息量I<a4;011>。解：2.13把n個(gè)二進(jìn)制對(duì)稱信道串接起來(lái),每個(gè)二進(jìn)制對(duì)稱信道的錯(cuò)誤傳輸概率為p<0<p<1>,試證明：整個(gè)串接信道的錯(cuò)誤傳輸概率pn=0.5[1-<1-2p>n]。再證明：n→∞時(shí),limI<X0;Xn>=0。信道串接如下圖所示：XX0X1XnX2…BSCIIBSCNBSCI解：2.18試求下列各信道矩陣代表的信道的信道容量：解：2.19設(shè)二進(jìn)制對(duì)稱信道的信道矩陣為：若p<0>=2/3,p<1>=1/3,求H<X>,H<X/Y>,H<Y/X>和I<X;Y>；求該信道的信道容量及其達(dá)到的輸入概率分布。解：2.20設(shè)某信道的信道矩陣為試求：該信道的信道容量C；I<a3;Y>；I<a2;Y>。解:2.21設(shè)某信道的信道矩陣為試求：<1>該信道的信道容量C；<2>I<a1;Y>；<3>I<a2;Y>。解:2.22設(shè)某信道的信道矩陣為試該信道的信道容量C；解:2.23求下列二個(gè)信道的信道容量,并加以比較<其中0<p,q<1,p+q=1>解:2.27設(shè)某信道的信道矩陣為其中P1,P2,…,PN是N個(gè)離散信道的信道矩陣。令C1,C2,…,CN表示N個(gè)離散信道的容量。試證明,該信道的容量比特/符號(hào),且當(dāng)每個(gè)信道i的利用率pi＝2Ci-C<i＝1,2,…,N>時(shí)達(dá)其容量C。證明:第三章多符號(hào)離散信源與信道3.1設(shè)X＝X1X2…XN是平穩(wěn)離散有記憶信源,試證明：H<X1X2…XN>=H<X1>+H<X2/X1>+H<X3/X1X2>+…+H<XN/X1X2…XN-1>。<證明詳見p161-p162>3.2試證明：logr≥H<X>≥H<X2/X1>≥H<X3/X1X2>≥…≥H<XN/X1X2…XN-1>。證明:3.3試證明離散平穩(wěn)信源的極限熵：<證明詳見p165-p167>3.4設(shè)隨機(jī)變量序列<XYZ>是馬氏鏈,且X：{a1,a2,…,ar},Y：{b1,b2,…,bs},Z:{c1,c2,…,cL}。又設(shè)X與Y之間的轉(zhuǎn)移概率為p<bj/ai><i=1,2,…,r;j=1,2,…,s>；Y與Z之間的轉(zhuǎn)移概率為p<ck/bj><k=1,2,…,L;j=1,2,…,s>。試證明：X與Z之間的轉(zhuǎn)移概率：證明:3.5試證明：對(duì)于有限齊次馬氏鏈,如果存在一個(gè)正整數(shù)n0≥1,對(duì)于一切i,j＝1,2,…,r,都有pij<n0>>0,則對(duì)每個(gè)j＝1,2,…,r都存在狀態(tài)極限概率：<證明詳見:p171~175>3.6設(shè)某齊次馬氏鏈的第一步轉(zhuǎn)移概率矩陣為：試求：該馬氏鏈的二步轉(zhuǎn)移概率矩陣；平穩(wěn)后狀態(tài)"0"、"1"、"2"的極限概率。解：3.7設(shè)某信源在開始時(shí)的概率分布為P{X0=0}=0.6;P{X0=1}=0.3;P{X0=2}=0.1。第一個(gè)單位時(shí)間的條件概率分布分別是：P{X1=0/X0=0}=1/3;P{X1=1/X0=0}=1/3;P{X1=2/X0=0}=1/3;P{X1=0/X0=1}=1/3;P{X1=1/X0=1}=1/3;P{X1=2/X0=1}=1/3;P{X1=0/X0=2}=1/2;P{X1=1/X0=2}=1/2;P{X1=2/X0=2}=0.后面發(fā)出的Xi概率只與Xi-1有關(guān),有P<Xi/Xi-1>=P<X1/X0><i≥2>試畫出該信源的香農(nóng)線圖,并計(jì)算信源的極限熵H∞。解：香農(nóng)線圖如下：22011/21/21/31/31/31/31/31/33.8某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示,信源符號(hào)集為X：{0,1,2},并定義0012p/2p/2p/2p/2p/2p/2試求信源平穩(wěn)后狀態(tài)"0"、"1"、"2"的概率分布p<0>、p<1>、p<2>；求信源的極限熵H∞；p取何值時(shí)H∞取得最大值。解：3.9某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示,信源符號(hào)集為X：{0,1,2}。試求：<1>試求信源平穩(wěn)后狀態(tài)"0"、"1"、"2"的概率分布p<0>、p<1>、p<2>；<2>求信源的極限熵H∞；<3>求當(dāng)p=0,p=1時(shí)的信息熵,并作出解釋。pppp012解:3.10設(shè)某馬爾柯夫信源的狀態(tài)集合S：{S1S2S3},符號(hào)集X：{α1α2α3}。在某狀態(tài)Si<i=1,2,3>下發(fā)發(fā)符號(hào)αk<k=1,2,3>的概率p<αk/Si><i=1,2,3;k=1,2,3>標(biāo)在相應(yīng)的線段旁,如下圖所示.求狀態(tài)極限概率并找出符號(hào)的極限概率;計(jì)算信源處在Sj<j=1,2,3>狀態(tài)下輸出符號(hào)的條件熵H<X/Sj>;信源的極限熵H∞.αα2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/4解:3.12下圖所示的二進(jìn)制對(duì)稱信道是無(wú)記憶信道,其中,試寫出N=3次擴(kuò)展無(wú)記憶信道的信道矩陣[P].000pXYp11解:第五章多維連續(xù)信源與信道5.8設(shè)X<?>是時(shí)間函數(shù)x<t>的頻譜,而函數(shù)在T1<t<T2區(qū)間以為的值均為零.試證:<頻域抽樣定理,證明詳見p263-p265>5.9設(shè)隨機(jī)過(guò)程x<t>通過(guò)傳遞函數(shù)為K<?>的線性網(wǎng)絡(luò),如下圖所示.若網(wǎng)絡(luò)的頻寬為F,觀察時(shí)間為T.試證明:輸入隨機(jī)過(guò)程的熵h<X>和輸出隨機(jī)過(guò)程的熵h<Y>之間的關(guān)系為:網(wǎng)絡(luò)網(wǎng)絡(luò)K<?>x<t>y<t><證明詳見p283-p287>5.11證明:加性高斯白噪聲信道的信道容量:信息單位/N維其中N=2FT,б2X是信號(hào)的方差<均值為零>,б2N是噪聲的方差<均值為零>.再證:單位時(shí)間的最大信息傳輸速率信息單位/秒<證明詳見p293-p297>5.12設(shè)加性高斯白噪聲信道中,信道帶寬3kHz,又設(shè){<信號(hào)功率+噪聲功率>/噪聲功率}=10dB.試計(jì)算改信道的最大信息傳輸速率Ct.解:5.13在圖片傳輸中,每幀約有2.25×106個(gè)像素,為了能很好的重現(xiàn)圖像,需分16個(gè)量度電平,并假設(shè)量度電平等概率分布,試計(jì)算每分鐘傳輸一幀圖片所需信道的帶寬<信噪功率比為30dB>.解:5.14設(shè)信號(hào)的信息率為5.6×104比特/秒.在一個(gè)噪聲功率譜為N0=5×10-6mW/Hz,限頻F、限輸入功率P的高斯信道中傳送,若F=4kHz,問(wèn)無(wú)差錯(cuò)傳輸所需的最小功率P是多少W?若F→∞則P是多少W?解:5.15已知一個(gè)高斯信道,輸入信噪功率比為3dB,頻帶為3kHz,求最大可能傳送的信息率是多少?若信噪比提高到15dB,求理論上傳送同樣的信息率所需的頻帶.解:5.17設(shè)某加性高斯白噪聲信道的通頻帶足夠?qū)?lt;F→∞>,輸入信號(hào)的平均功率Ps=1W,噪聲功率譜密度N0=10-4W/Hz,,若信源輸出信息速率Rt=1.5×104比特/秒.試問(wèn)單位時(shí)間內(nèi)信源輸出的信息量是否全部通過(guò)信道?為什么?解:第六章無(wú)失真信源編碼6.3設(shè)平穩(wěn)離散有記憶信源X＝X1X2…XN,如果用r進(jìn)制符號(hào)集進(jìn)行無(wú)失真信源編碼.試證明當(dāng)N→∞時(shí),平均碼長(zhǎng)<每信源X的符號(hào)需要的碼符號(hào)數(shù)>的極限值:其中,H∞r(nóng)表示r進(jìn)制極限熵.證明:6.4設(shè)某信源S:{s1,s2,s3,s4,s5,s6},其概率分布如下表所示,表中也給出了對(duì)應(yīng)的碼1,2,3,4,5,6.<1>試問(wèn)表中哪些碼是單義可譯碼?<2>試問(wèn)表中哪些碼是非延長(zhǎng)碼?<3>求出表中單義可譯碼的平均碼長(zhǎng).sipiW<1>W<2>W<3>W<4>W<5>W<6>s11/200000000s21/400101100110100s31/8010011110001110101s41/160110111111000011110110s41/321000111111110000011011111s61/321010111111111100000011101011解:<1>W<1>是定長(zhǎng)非奇異碼,單義可譯,W<2>是延長(zhǎng)碼,單義可譯,W<3>是即時(shí)碼,單義可譯;<2>W<1>、W<3>是非延長(zhǎng)碼;<3>6.5某信源S的信源空間為:若用U:{0,1}進(jìn)行無(wú)失真信源編碼,試計(jì)算平均碼長(zhǎng)的下限值;把信源S的N次無(wú)記憶擴(kuò)展信源SN編成有效碼,試求N=2,3,4時(shí)的平均碼長(zhǎng);計(jì)算上述N=1,2,3,4,這四種碼的信息率.解:對(duì)其進(jìn)行Huffman編碼:碼長(zhǎng)編碼信符0101010110S220.64210S210.163110S120.163111S110.08碼長(zhǎng)編碼信符信符概率0101010101010101010110S2220.5123100S2210.1283111S2120.1283110S1220.128511100S112010.03201511101S1210.032511110S211010.03201511111S1110.008碼長(zhǎng)編碼信符信符概率0.59040.38560.18080.08840.20480.20480.10240.59040.38560.18080.08840.20480.20480.10240.05120.05120.01280.05120.014410S2222010101010101010101010101010101013100S22210.10243101S22120.102441100S21220.102441101S12220.10246111000S21120.02566111001S21210.02566111010S22110.02566111010S12210.02566111100S12120.02566111101S11220.025671111100S11120.006471111101S11210.006471111110S12110.0064811111110S21110.0064811111111S11110.00016<3>6.6設(shè)信源S的信源空間為符號(hào)集U:{0,1,2},試編出有效碼,并計(jì)算其平均碼長(zhǎng).解:進(jìn)行Huffman編碼:r=3,q=8,因?yàn)?lt;q-r>mod<r-1>=5mod2=1≠0,所以插入m=<r-1>-<q-r>mod<r-1>=2-1=1個(gè)虛假符號(hào),令其為S9,則:碼長(zhǎng)編碼信符信符概率10S30101201201201211S10.2220S40.2221S20.13220S50.053221S60.0542220S70.0542221S80.0542222S9〔不使用06.7設(shè)信源S的N次擴(kuò)展信源SN,用霍夫曼編碼法對(duì)它編碼,而碼符號(hào)U:{α1,α2,…,αr},編碼后所得的碼符號(hào)可以看作一個(gè)新的信源試證明:當(dāng)N→∞時(shí),.證明:6.8設(shè)某企業(yè)有四種可能出現(xiàn)的狀態(tài)盈利、虧本、發(fā)展、倒閉,若這四種狀態(tài)是等概率的,那么發(fā)送每個(gè)狀態(tài)的消息量最少需要的二進(jìn)制脈沖數(shù)是多少?又若四種狀態(tài)出現(xiàn)的概率分別是:1/2,1/8,1/4,1/8,問(wèn)在此情況下每消息所需的最少脈沖數(shù)是多少?應(yīng)如何編碼?解:設(shè)S:{S1="盈利",S2="虧本",S3="發(fā)展",S4="倒閉"},<1>若四種情況等概率出現(xiàn)時(shí),即p<S1>=p<S2>=p<S3>=p<S4>=0.25時(shí),用脈沖來(lái)表示各信息可視為對(duì)信源S進(jìn)行編碼,由平均碼長(zhǎng)界限定理知:所以發(fā)送每個(gè)狀態(tài)的信息最少需要2個(gè)二進(jìn)制脈沖.<2>p<S1>=1/2,p<S2>=1/8,p<S3>=1/4,p<S4>=1/8時(shí),由平均碼長(zhǎng)界限定理:所以此情況下每消息所需的最少脈沖數(shù)是1.75個(gè).達(dá)到此下限時(shí)要求各消息對(duì)應(yīng)碼長(zhǎng)ni與出現(xiàn)概率p<Si>關(guān)系為:p<Si>=2-ni,則n1=1,n2=3,n3=2,n4=3.對(duì)信源進(jìn)行Huffman編碼:碼長(zhǎng)編碼信符信符概率10S11/21/20101210S3010101011/23100S21/81/43101S21/8可見上面編碼符號(hào)最小碼長(zhǎng)條件,可使發(fā)送每信息的脈沖數(shù)最少.6.9設(shè)某信源的信源空間為:試用U:{0,1}作碼符號(hào)集,采取香農(nóng)編碼方法進(jìn)行編碼,并計(jì)算其平均碼長(zhǎng).解:碼長(zhǎng)編碼信符信符概率10s11/21/21/21/21/2011/201210s21/41/41/4010101011/23110s31/81/81/81/81/441110s41/16010101011/8511110s501011/321/166111110s61/641/326111111s71/64第七章抗干擾信道編碼7.4設(shè)有一離散信道,其信道矩陣為：當(dāng)信源X的概率分布為р<1>＝2/3,р<2>＝р<3>＝1/6時(shí),按最大后驗(yàn)概率準(zhǔn)則選擇譯碼函數(shù),并計(jì)算其平均錯(cuò)誤譯碼概率Pemin．當(dāng)信源是等概信源時(shí),按最大似然譯碼準(zhǔn)則選擇譯碼函數(shù),并計(jì)算其平均錯(cuò)誤譯碼概率Pemin．解：7.5某信道的輸入符號(hào)集X：{0,1/2,1},輸出符號(hào)集Y：{0,1},信道矩陣為：現(xiàn)有四個(gè)消息的信源通過(guò)這信道,設(shè)信息等概出現(xiàn)。若對(duì)信源進(jìn)行編碼,我們選這樣一種碼：C:{<x1,x2,1/2,1/2>},xi=0,1<i=1,2>其碼長(zhǎng)n=4,并選取這樣的譯碼原則：?<y1,y2,y3,y4>=<y1,y2,1/2,1/2>這樣的編碼后信息傳輸效率等于多少？證明在選用的編碼規(guī)則下,對(duì)所有碼字有Pe＝0。解：7.6考慮一個(gè)碼長(zhǎng)為4的二進(jìn)制碼,其碼字為w1=0000；w2=0011；w3=1100；w4=1111。若碼字送入一個(gè)二進(jìn)制對(duì)稱信道〔其單符號(hào)的誤傳概率為p,p<0.01,而碼字的輸入是不等概率的,其概率為：p<w1>=1/2,p<w2>=1/8,p<w3>=1/8,p<w4>=1/4試找出一種譯碼規(guī)則使平均錯(cuò)誤概率Pemin=Pe。解：由于信道為二進(jìn)制對(duì)稱信道,所以先驗(yàn)概率等于后驗(yàn)概率,且p<0.01,故可以根據(jù)信道輸出的24個(gè)碼字的最大后驗(yàn)概率選擇譯碼規(guī)則,即可使平均錯(cuò)誤概率Pemin=Pe。發(fā)送概率收到碼字w1=0000w2=0011w3=1100w4=1111譯碼規(guī)則0000F<0000>=00000001F<0001>=00000010F<0010>=00000011F<0011>=00110100F<0100>=00000101F<0101>=00000110F<0110>=00000111F<0111>=11111000F<1000>=00001001F<1001>=00001010F<1010>=00001011F<1011>=11111100F<1100>=11001101F<1101>=11111110F<1110>=11111111F<1111>=11117.7設(shè)一離散無(wú)記憶信道,其信道矩陣為：計(jì)算信道容量C；找出一個(gè)長(zhǎng)度為二的碼,其信息傳輸率為0.5log5〔即五個(gè)字符,如果按最大似然譯碼準(zhǔn)則設(shè)計(jì)譯碼器,求譯碼器輸出端平均錯(cuò)誤譯碼的概率Pe〔輸入字符等概；有無(wú)可能存在一個(gè)長(zhǎng)度為2的碼而使每個(gè)碼字的平均誤譯概率Pe<i>＝0〔i=1,2,3,4,5,也即使平均錯(cuò)譯概率Pe＝0？如存在的話請(qǐng)找出來(lái)。解：7.8設(shè)有二個(gè)等概信息A和B,對(duì)它們進(jìn)行信道編碼,分別以w1=000,w2=111表示。若二進(jìn)制對(duì)稱信道的正確傳遞概率p`>>錯(cuò)誤傳遞概率p。試選擇譯碼函數(shù),并使平均錯(cuò)誤概率Pe=Pemin,寫出Pemin的表達(dá)式。解：000001010100011101110111因?yàn)檎_傳遞概率p`>>錯(cuò)誤傳遞概率p,所以選擇譯碼函數(shù)如下：F<000>=F<010>=F<100>=F<001>=000F<111>=F<011>=F<101>=F<110>=F<111>=1117.9設(shè)離散無(wú)記憶信道的輸入符號(hào)集X：{0,1},輸出符號(hào)集Y：{0,1,2},信道矩陣為：若某信源輸出兩個(gè)等概消息s1和s2,現(xiàn)在用信道輸入符號(hào)集中的符號(hào)對(duì)s1和s2進(jìn)行信道編碼,以w1=00代表s1,w2=11代表s2。試寫出能使平均錯(cuò)誤譯碼概率Pe=Pemin的譯碼規(guī)則,并計(jì)算Pemin。解：7.10設(shè)某信道的信道矩陣為：其輸入符號(hào)等概分布,在最大似然譯碼準(zhǔn)則下,有三種不同的譯碼規(guī)則,試求之,并計(jì)算出它們對(duì)應(yīng)的平均錯(cuò)誤概率。解：輸入符號(hào)等概分布,在最大似然譯碼準(zhǔn)則下,有三種不同的譯碼規(guī)則:<1>F<b1>=1,F<b2>=1,F<b3>=2<2>F<b1>=1,F<b2>=2,F<b3>=2<3>F<b1>=1,F<b2>=3,F<b3>=2第八章限失真信源編碼8.1設(shè)信源X的概率分布P<X>:{p<1>,p<2>,…,p<r>},失真度為d<i,j>