PAGEPAGE1信息論與編碼試題集與答案考試必看信息論與編碼試題集與答案考試必看在無失真的信源中，信源輸出由H(X)來度量；在有失真的信源中，信源輸出由R(D)來度量。1.要使通信系統做到傳輸信息有效、可靠和保密，必須首先信源編碼，然后_____加密____編碼，再______信道_____編碼，最后送入信道。2.帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的香農公式是；當歸一化信道容量C/W趨近于零時，也即信道完全喪失了通信能力，此時Eb/N0為-1.6dB，我們將它稱作香農限，是一切編碼方式所能達到的理論極限。3.保密系統的密鑰量越小，密鑰熵H(K)就越小，其密文中含有的關于明文的信息量I(M；C)就越大。4.已知n＝7的循環碼，則信息位長度k為3，校驗多項式h(x)=。5.設輸入符號表為X＝{0，1}，輸出符號表為Y＝{0，1}。輸入信號的概率分布為p＝(1/2，1/2)，失真函數為d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，則Dmin＝0，R(Dmin)＝1bit/symbol，相應的編碼器轉移概率矩陣[p(y/x)]＝；Dmax＝0.5，R(Dmax)＝0，相應的編碼器轉移概率矩陣[p(y/x)]＝。6.已知用戶A的RSA公開密鑰(e,n)=(3,55)，,則40，他的秘密密鑰(d,n)＝(27,55)。若用戶B向用戶A發送m=2的加密消息，則該加密后的消息為8。二、判斷題1.可以用克勞夫特不等式作為唯一可譯碼存在的判據。（?）2.線性碼一定包含全零碼。（?）3.算術編碼是一種無失真的分組信源編碼，其基本思想是將一定精度數值作為序列的編碼，是以另外一種形式實現的最佳統計匹配編碼。（×）4.某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，就有信息量。（×）5.離散平穩有記憶信源符號序列的平均符號熵隨著序列長度L的增大而增大。（×）6.限平均功率最大熵定理指出對于相關矩陣一定的隨機矢量X，當它是正態分布時具有最大熵。（?）7.循環碼的碼集中的任何一個碼字的循環移位仍是碼字。（?）8.信道容量是信道中能夠傳輸的最小信息量。（×）9.香農信源編碼方法在進行編碼時不需要預先計算每個碼字的長度。（×）10.在已知收碼R的條件下找出可能性最大的發碼作為譯碼估計值，這種譯碼方法叫做最佳譯碼。（?）三、計算題某系統（7，4）碼其三位校驗位與信息位的關系為：（1）求對應的生成矩陣和校驗矩陣；（2）計算該碼的最小距離；（3）列出可糾差錯圖案和對應的伴隨式；（4）若接收碼字R=1110011，求發碼。解：1.2.dmin=33.SE000000000000100000010100000010100000010010100010001110010000011010000011010000004.RHT=[001]接收出錯E=0000001R+E=C=1110010(發碼)四、計算題已知的聯合概率為：求，，，解:0.918bit/symbol=1.585bit/symbol0.251bit/symbol五、計算題一階齊次馬爾可夫信源消息集，狀態集，且令，條件轉移概率為，(1)畫出該馬氏鏈的狀態轉移圖；(2)計算信源的極限熵。解：(1)（2）→H(X|S1)=H(1/4,1/4,1/2)=1.5比特/符號H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符號H(X|S3)=H(2/3,1/3)=0.918比特/符號比特/符號六、計算題若有一信源，每秒鐘發出2.55個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸（假設信道是無噪無損的，容量為1bit/二元符號），而信道每秒鐘只傳遞2個二元符號。（1）試問信源不通過編碼（即x1?0,x2?1在信道中傳輸）（2）能否直接與信道連接？（3）若通過適當編碼能否在此信道中進行無失真傳輸？（4）試構造一種哈夫曼編碼(兩個符號一起編碼)，（5）使該信源可以在此信道中無失真傳輸。解：1.不能，此時信源符號通過0，1在信道中傳輸，2.55二元符號/s2二元符號/s2.從信息率進行比較，2.55*=1.841*2可以進行無失真傳輸3.1.56二元符號/2個信源符號此時1.56/2*2.55=1.989二元符號/s2二元符號/s七、計算題兩個BSC信道的級聯如右圖所示：（1）寫出信道轉移矩陣；（2）求這個信道的信道容量。解：（1）（2）信息理論與編碼試卷Ａ答案中南大學考試試卷200--2010學年上學期期末考試試題時間100分鐘信息論基礎課程32學時學分考試形式：閉卷專業年級：通信07級總分100分，占總評成績70%注：此頁不作答題紙，請將答案寫在答題紙上一填空題（本題20分，每小題2分）1無失真信源編碼的中心任務是編碼后的信息率壓縮接近到1限失真壓縮中心任務是在給定的失真度條件下，信息率壓縮接近到2。2信息論是應用近代數理統計方法研究信息的傳輸、存儲與處理的科學，故稱為3；1948年香農在貝爾雜志上發表了兩篇有關的“通信的數學理論”文章，該文用熵對信源的4的度量，同時也是衡量5大小的一個尺度；表現在通信領域里，發送端發送什么有一個不確定量，通過信道傳輸，接收端收到信息后，對發送端發送什么仍然存在一個不確定量，把這兩個不確定量差值用6來表示，它表現了通信信道流通的7,若把它取最大值，就是通信線路的8，若把它取最小值，就是9。3若分組碼H陣列列線性無關數為n,則糾錯碼的最小距離dmin為10。二簡答題（本題20分，每小題4分）1.根據信息理論當前無失真壓宿在壓宿空間和速度兩個方向還有研究價值嗎？2.我們知道，“貓”(調制解調器的俗稱)是在模擬鏈路上傳輸數字數據的設備，它可以在一個音頻電話線上傳輸二進制數據，并且沒有太高的錯誤率。現在，我們上網用的“貓”的速度已可達到56Kbps了，但是，如果你用網絡螞蟻或其它軟件從網上下載東西時，你會發現很多時候網絡傳輸的速度都很低，遠低于56Kbps（通常音頻電話連接支持的頻率范圍為300Hz到3300Hz，而一般鏈路典型的信噪比是30dB）（摘自中新網）3.結合信息論課程針對”信息”研究對象,說明怎樣研究一個對象.4.用糾錯編碼基本原理分析由下列兩種生成矩陣形成線性分組碼的優劣（1）（2）5.新華社電,2008年5月16日下午6時半，離汶川地震發生整整100個小時。虛弱得已近昏迷的劉德云被救援官兵抬出來時，看到了自己的女兒。隨即，他的目光指向自己的左手腕。女兒撲上去，發現父親左手腕上歪歪扭扭寫著一句話：“我欠王老大3000元。”請列出上面這段話中信號、消息、信息。三計算編碼題（本題60分）1.從大量統計資料知道，男性中紅綠色盲的發病率為7%，女性發病率為0.5%。（10分）（1）若問一位女士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量？從計算的結果得出一個什么結論？（2）如果問一位女士，問她回答（是或否）前平均不確定性和回答（是或否）后得到的信息量各為多少？2．黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設黑色出現的概率為P(黑)=0.5，白色出現的概率為P(白)=0.5。（10分）(1)假設圖上黑白消息出現前后沒有關聯，求信源的H∞熵；(2)假設消息只前后有關聯，其依賴關系為P(白/白)=0.8，P(黑/白)=0.2，P(白/黑)=0.4，P(黑/黑)=0.6，求信源的H∞熵;（3)比較上面兩個H∞的大小，并說明其物理含義。3．離散無記憶信源P(x1)=8/16；P(x2)=3/16；P(x3)=4/16；P(x4)=1/16；（10分）(1)計算對信源的逐個符號進行二元定長編碼碼長和編碼效率；(2)對信源編二進制哈夫曼碼，并計算平均碼長和編碼效率。(3)你對哈夫曼碼實現新信源為等概的理解。4．設二元對稱信道的傳遞矩陣為若P(0)=3/4,P(1)=1/4，求該信道的信道容量及其達到信道容量時的輸入概率分布；并說明物理含義。（10分）5．設信源通過一干擾信道，接收符號為Y={y1,y2}，信道轉移矩陣為，求：（10分）(1)收到消息yj(j=1)后，獲得的關于xi(i=2)的信息量；(2)信源X和信宿Y的信息熵；信道疑義度H(X/Y)和噪聲熵H(Y/X)；(3)接收到信息Y后獲得的平均互信息量。6二元(7，4)漢明碼校驗矩陣H為：（10分）（1）寫出系統生成矩陣G，列出錯誤形式和伴隨矢量表，你能發現他們之間有什么聯系，若沒有這個表怎么譯碼，（2）若收到的矢量0000011，請列出編碼后發送矢量、差錯矢量、和編碼前信息矢量。一、填空題(每空２分，共２0分)１．設Ｘ的取值受限于有限區間［a,b］，則X服從均勻分布時，其熵達到最大；如X的均值為，方差受限為，則X服從高斯分布時，其熵達到最大。2．信息論不等式：對于任意實數，有，當且僅當時等式成立。3．設信源為X={0，1}，P（0）=1/8，則信源的熵為比特/符號，如信源發出由m個“0”和（100-m）個“1”構成的序列，序列的自信息量為比特/符號。4．離散對稱信道輸入等概率時，輸出為等概分布。5．根據碼字所含的碼元的個數，編碼可分為定長編碼和變長編碼。6．設DMS為，用二元符號表對其進行定長編碼，若所編的碼為{000，001，010，011，100，101}，則編碼器輸出碼元的一維概率0.747,0.253。二、簡答題（30分）１．設信源為，試求（1）信源的熵、信息含量效率以及冗余度；（2）求二次擴展信源的概率空間和熵。解：（1）（2）二次擴展信源的概率空間為：X＼X1/163/163/169/16２．什么是損失熵、噪聲熵？什么是無損信道和確定信道？如輸入輸出為，則它們的分別信道容量為多少？答：將H（X|Y）稱為信道的疑義度或損失熵，損失熵為零的信道就是無損信道，信道容量為logr。將H（Y|X）稱為信道的噪聲熵，噪聲熵為零的信道就是確定信道，信道容量為logs。３．信源編碼的和信道編碼的目的是什么？答：信源編碼的作用：（1）符號變換：使信源的輸出符號與信道的輸入符號相匹配；（2）冗余度壓縮：是編碼之后的新信源概率均勻化，信息含量效率等于或接近于100%。信道編碼的作用：降低平均差錯率。４．什么是香農容量公式？為保證足夠大的信道容量，可采用哪兩種方法？答：香農信道容量公式：，B為白噪聲的頻帶限制，為常數，輸入X（t）的平均功率受限于。由此，為保證足夠大的信道容量，可采用（1）用頻帶換信噪比；（2）用信噪比換頻帶。５．什么是限失真信源編碼？答：有失真信源編碼的中心任務：在允許的失真范圍內把編碼的信息率壓縮到最小。三、綜合題（20+15+15）１．設隨機變量和的聯合概率空間為定義一個新的隨機變量(普通乘積)（1）計算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）計算條件熵H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；（3）計算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）X＼Y0101/83/81/213/81/81/21/21/2（2）X＼Z0101/201/213/81/81/27/81/8Y＼Z0101/201/213/81/81/27/81/8(3)２．設二元對稱信道的輸入概率分布分別為，轉移矩陣為，（１）求信道的輸入熵，輸出熵，平均互信息量；（２）求信道容量和最佳輸入分布；（３）求信道剩余度。解：（1）信道的輸入熵；（2）最佳輸入分布為，此時信道的容量為(3)信道的剩余度：３．設有ＤＭＣ，其轉移矩陣為，若信道輸入概率為，試確定最佳譯碼規則和極大似然譯碼規則，并計算出相應的平均差錯率。解：最佳譯碼規則：，平均差錯率為1-1/4-1/6-1/8=11/24；極大似然規則：，平均差錯率為1-1/4-1/8-1/8=1/2。五、（8分）求右圖所示的信道的容量及達到信道容量時的輸入分布。解：由右圖可知，該信道的轉移概率矩陣為可以看到，當該信道的輸入分布取時，此時而，此分布滿足。因此這個信道的容量為C=lb2=1（bit/符號），而達到信道容量的輸入分布可取。12．信息論不等式：對于任意實數，有，當且僅當時等式成立。3．設信源為X={0，1}，P（0）=1/8，則信源的熵為比特/符號，如信源發出由m個“0”和（100-m）個“1”構成的序列，序列的自信息量為比特/符號。4．離散對稱信道輸入等概率時，輸出為等概分布。5．根據碼字所含的碼元的個數，編碼可分為定長編碼和變長編碼。6．設DMS為，用二元符號表對其進行定長編碼，若所編的碼為{000，001，010，011，100，101}，則編碼器輸出碼元的一維概率0.747,0.253。４．設有ＤＭＣ，其轉移矩陣為，若信道輸入概率為，試確定最佳譯碼規則和極大似然譯碼規則，并計算出相應的平均差錯率。解：最佳譯碼規則：，平均差錯率為1-1/4-1/6-1/8=11/24；極大似然規則：，平均差錯率為1-1/4-1/8-1/8=1/21．信息的基本概念在于它的不確定性。2．按照信源發出的消息在時間和幅度上的分布情況，可將信源分成離散信源和連續信源兩大類。3．一個隨機事件的自信息量定義為其出現概率對數的負值。4．按樹圖法構成的碼一定滿足即時碼的定義。5．有擾離散信道編碼定理稱為香農第二極限定理。6．糾錯碼的檢、糾錯能力是指檢測、糾正錯誤碼元的數目。7．信道一般指傳輸信息的物理媒介，分為有線信道和無線信道。8．信源編碼的主要目的是提高通信系統的有效性。得分評卷人二、選擇題（共10分，每題2分）1.給定xi條件下隨機事件yj所包含的不確定度和條件自信息量p(yj/xi)，（D）A．數量上不等，單位不同B．數量上不等，單位相同C．數量上相等，單位不同D．數量上相等，單位相同2.條件熵和無條件熵的關系是：（C）A．H(Y/X)＜H(Y)B．H(Y/X)＞H(Y)C．H(Y/X)≤H(Y)D．H(Y/X)≥H(Y)3.根據樹圖法構成規則，（D）A．在樹根上安排碼字B．在樹枝上安排碼字C．在中間節點上安排碼字D．在終端節點上安排碼字4.下列說法正確的是：（C）A．奇異碼是唯一可譯碼B．非奇異碼是唯一可譯碼C．非奇異碼不一定是唯一可譯碼D．非奇異碼不是唯一可譯碼5.下面哪一項不屬于熵的性質：（B）A．非負性B．完備性C．對稱性D．確定性得分評卷人三、名詞解釋（共15分，每題5分）1.奇異碼包含相同的碼字的碼稱為奇異碼。2.碼距兩個等長碼字之間對應碼元不相同的數目，稱為碼距。3.輸出對稱矩陣轉移概率矩陣的每一列都是第一列的置換（包含同樣元素），則該矩陣稱為輸出對稱矩陣。得分評卷人三、簡答題（共20分，每題10分）1.簡述信息的特征。答：信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對它的內容是不知道的，所以信息是新知識、新內容。信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識。信息可以產生，也可以消失，同時信息可以被攜帶、貯存及處理。信息是可以量度的，信息量有多少的差別。2.簡單介紹哈夫曼編碼的步驟。①將信源消息符號按其出現的概率大小依次排列p(x1)≥p(x2)≥…≥p(xn)②取兩個概率最小的符號分別配以0和1，并將這兩個概率相加作為一個新符號的概率，與未分配碼元的符號重新排隊。③對重排后的兩個概率最小符號重復步驟2的過程。④繼續上述過程，直到最后兩個符號配以0和1為止。⑤從最后一級開始，向前返回得到各個信源符號所對應的碼元序列，即相應的碼字。得分評卷人四、計算題（共35分）1.設有一個二進制一階馬爾可夫信源，其信源符號為X∈(0,1)，條件概率為p(0/0)=p(1/0)=0.5p(1/1)=0.25p(0/1)=0.75畫出狀態圖并求出各符號穩態概率。（15分）0.25010.50.50.752.設輸入符號與輸出符號為X＝Y∈{0,1,2,3}，且輸入符號等概率分布。設失真函數為漢明失真。求Dmax和Dmin及R(Dmax)和R(Dmin)（20分）解：失真矩陣的每一行都有0，因此Dmin=0一、填空題1.設信源X包含4個不同離散消息，當且僅當X中各個消息出現的概率為___1/4___時，信源熵達到最大值，為__2__，此時各個消息的自信息量為__2__。2.如某線性分組碼的最小漢明距dmin=4，則該碼最多能檢測出___3____個隨機錯，最多能糾正__1____個隨機錯。3.克勞夫特不等式是唯一可譯碼___存在___的充要條件。4.平均互信息量I(X;Y)與信源熵和條件熵之間的關系是___(X;Y)=H(X)-H(X/Y)___。5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__編碼的目的是保證通信的安全性。6.信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。7.設信源X包含8個不同離散消息，當且僅當X中各個消息出現的概率為__1/8__時，信源熵達到最大值，為___3____。8.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越_小___。9.信源的冗余度來自兩個方面，一是信源符號之間的__相關性__，二是信源符號分布的__不均勻性__。10.最大后驗概率譯碼指的是譯碼器要在已知r的條件下找出可能性最大的發碼作為譯碼估值，即令=maxP(|r)___。11.常用的檢糾錯方法有__前向糾錯___、反饋重發和混合糾錯三種。二、單項選擇題1.下面表達式中正確的是（A）。A.B.C.D.2.彩色電視顯像管的屏幕上有5×105個像元，設每個像元有64種彩色度，每種彩度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出現，并且各個組合之間相互獨立。每秒傳送25幀圖像所需要的信道容量（C）。A.50′106B.75′106C.125′106D.250′1063.已知某無記憶三符號信源a,b,c等概分布，接收端為二符號集，其失真矩陣為d=,則信源的最大平均失真度為（D）。A.1/3B.2/3C.3/3D.4/34.線性分組碼不具有的性質是（C）。A.任意多個碼字的線性組合仍是碼字B.最小漢明距離等于最小非0重量C.最小漢明距離為3D.任一碼字和其校驗矩陣的乘積cmHT=05.率失真函數的下限為（B）。A.H(U)B.0C.I(U;V)D.沒有下限6.糾錯編碼中，下列哪種措施不能減小差錯概率（D）。A.增大信道容量B.增大碼長C.減小碼率D.減小帶寬7.一珍珠養殖場收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經測量恰好找出了假珠，不巧假珠又滑落進去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結果確是如此，這一事件給出的信息量（A）。A.0bitB.log6bitC.6bitD.log240bit8.下列陳述中，不正確的是（D）。A.離散無記憶信道中，H（Y）是輸入概率向量的凸函數B.滿足格拉夫特不等式的碼字為惟一可譯碼C.一般地說，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯、糾錯能力越強D.滿足格拉夫特不等式的信源是惟一可譯碼9.一個隨即變量x的概率密度函數P(x)=x/2，，則信源的相對熵為（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit10.下列離散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)11.下列不屬于消息的是（B）。A.文字B.信號C.圖像D.語言12.為提高通信系統傳輸消息有效性，信源編碼采用的方法是（A）。A.壓縮信源的冗余度B.在信息比特中適當加入冗余比特C.研究碼的生成矩陣D.對多組信息進行交織處理13.最大似然譯碼等價于最大后驗概率譯碼的條件是（D）。A.離散無記憶信道B.無錯編碼C.無擾信道D.消息先驗等概14.下列說法正確的是（C）。A.等重碼是線性碼B.碼的生成矩陣唯一C.碼的最小漢明距離等于碼的最小非0重量D.線性分組碼中包含一個全0碼字15.二進制通信系統使用符號0和1，由于存在失真，傳輸時會產生誤碼，用符號表示下列事件，u0:一個0發出u1:一個1發出v0:一個0收到v1:一個1收到則已知收到的符號，被告知發出的符號能得到的信息量是（A）。A.H(U/V)B.H(V/U)C.H(U,V)D.H(UV)16.同時扔兩個正常的骰子，即各面呈現的概率都是1/6，若點數之和為12，則得到的自信息為（B）。A.－log36bitB.log36bitC.－log(11/36)bitD.log(11/36)bit17.下列組合中不屬于即時碼的是（A）。A.{0，01，011}B.{0，10，110}C.{00，10，11}D.{1，01，00}18.已知某（6，3）線性分組碼的生成矩陣，則不用計算就可判斷出下列碼中不是該碼集里的碼是（D）。A.000000B.110001C.011101D.11111119.一個隨即變量x的概率密度函數P(x)=x/2，，則信源的相對熵為（C）。A.0.5bit/符號B.0.72bit/符號C.1bit/符號D.1.44bit/符號20.設有一個無記憶信源發出符號A和B，已知，發出二重符號序列消息的信源，無記憶信源熵為（A）。A.0.81bit/二重符號B.1.62bit/二重符號C.0.93bit/二重符號D.1.86bit/二重符號三、判斷題1.確定性信源的熵H(0,0,0,1)=1。（錯）2.信源X的概率分布為P(X)={1/2,1/3,1/6}，對其進行哈夫曼編碼得到的碼是唯一的。（錯）3.離散無記憶序列信源中平均每個符號的符號熵等于單個符號信源的符號熵。（對）4.非奇異的定長碼一定是唯一可譯碼。（錯）5.信息率失真函數R(D)是在平均失真不超過給定失真限度D的條件下，信息率容許壓縮的最小值。（對）6.信源X的概率分布為P(X)={1/2,1/3,1/6}，信源Y的概率分布為P(Y)={1/3,1/2,1/6}，則信源X和Y的熵相等。（對）7.互信息量I(X;Y)表示收到Y后仍對信源X的不確定度。（對）8.對信源符號X={a1,a2,a3,a4}進行二元信源編碼，4個信源符號對應碼字的碼長分別為K1=1，K2=2，K3=3，K3=3，滿足這種碼長組合的碼一定是唯一可譯碼。（錯）9.DMC信道轉移概率矩陣為，則此信道在其輸入端的信源分布為P(X)={1/2,1/2}時傳輸的信息量達到最大值。（錯）10.設C={000000,001011,010110,011101,100111,101100,110001,111010}是一個二元線性分組碼，則該碼最多能檢測出3個隨機錯誤。（錯）四、名詞解釋1.極限熵:2.信道容量:3.平均自信息量:五、計算題1.設離散無記憶信源其發生的消息為（202120130213001203210110321010020320011223210），（1）根據“離散無記憶信源發出的消息序列的自信息等于消息中各個符號的自信息之和”，求此消息的自信息量；（2）在此消息中平均每個符號攜帶的信息量是多少？2.已知一個二元信源連接一個二元信道，如圖所示。其中，。試求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。3.設輸入信號的概率分布為P=(1/2,1/2)，失真矩陣為。試求Dmin，Dmax，R(Dmin)，R(Dmax)。4.信源共有6個符號消息，其概率分布為={0.37，0.25，0.18，0.10，0.07，0.03}。（1）對這6個符號進行二進制哈夫曼編碼（給出編碼過程），寫出相應碼字，并求出平均碼長和編碼效率。（2）哈夫曼編碼的結果是否唯一？如果不唯一，請給出原因。5.二進制通信系統使用符號0和1，由于存在失真，傳輸時會產生誤碼，用符號表示下列事件。x0：一個0發出；x1：一個1發出y0：一個0收到；y1：一個1收到給定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。（1）求信源的熵H(X)；（2）已知發出的符號，求收到符號后得到的信息量H(Y/X)；（3）已知發出和收到的符號，求能得到的信息量H(X,Y)。6.設DMC信道的傳輸情況如下圖所示。（1）試寫出該信道的轉移概率矩陣；（2）求該信道的信道容量。7.設輸入信號的概率分布為P=(1/2,1/2)，失真矩陣為。試求，，，。8.設有離散無記憶信源共有5個符號消息，其概率分布為={0.4，0.2，0.2，0.1，0.1}。（1）對這5個符號進行二進制哈夫曼編碼（給出編碼過程），寫出相應碼字，并求出平均碼長和編碼效率；（2）哈夫曼編碼的結果是否唯一？如果不唯一，請給出原因。、平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息表示從Y獲得的關于每個X的平均信息量，也表示發X前后Y的平均不確定性減少的量，還表示通信前后整個系統不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。3、最大熵值為。4、通信系統模型如下：5、香農公式為為保證足夠大的信道容量，可采用（1）用頻帶換信噪比；（2）用信噪比換頻帶。6、只要，當N足夠長時，一定存在一種無失真編碼。7、當R＜C時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規則，使譯碼錯誤概率無窮小。8、在認識論層次上研究信息的時候，必須同時考慮到形式、含義和效用三個方面的因素。9、1948年，美國數學家香農發表了題為“通信的數學理論”的長篇論文，從而創立了信息論。按照信息的性質，可以把信息分成語法信息、語義信息和語用信息。按照信息的地位，可以把信息分成客觀信息和主觀信息。人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。信息的可度量性是建立信息論的基礎。統計度量是信息度量最常用的方法。熵是香農信息論最基本最重要的概念。事物的不確定度是用時間統計發生概率的對數來描述的。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。11、一個隨機事件發生某一結果后所帶來的信息量稱為自信息量，定義為其發生概率對數的負值。12、自信息量的單位一般有比特、奈特和哈特。13、必然事件的自信息是0。14、不可能事件的自信息量是∞。15、兩個相互獨立的隨機變量的聯合自信息量等于兩個自信息量之和。16、數據處理定理：當消息經過多級處理后，隨著處理器數目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。17、離散平穩無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。18、離散平穩有記憶信源的極限熵，。19、對于n元m階馬爾可夫信源，其狀態空間共有nm個不同的狀態。20、一維連續隨即變量X在[a，b]區間內均勻分布時，其信源熵為log2（b-a）。21、平均功率為P的高斯分布的連續信源，其信源熵，Hc（X）=。22、對于限峰值功率的N維連續信源，當概率密度均勻分布時連續信源熵具有最大值。23、對于限平均功率的一維連續信源，當概率密度高斯分布時，信源熵有最大值。24、對于均值為0，平均功率受限的連續信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率之比。25、若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。26、m元長度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27、若把擲骰子的結果作為一離散信源，則其信源熵為log26。28、同時擲兩個正常的骰子，各面呈現的概率都為1/6，則“3和5同時出現”這件事的自信息量是log218（1+2log23）。29、若一維隨即變量X的取值區間是[0，∞]，其概率密度函數為，其中：，m是X的數學期望，則X的信源熵。30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為。31、根據輸入輸出信號的特點，可將信道分成離散信道、連續信道、半離散或半連續信道。32、信道的輸出僅與信道當前輸入有關，而與過去輸入無關的信道稱為無記憶信道。33、具有一一對應關系的無噪信道的信道容量C=log2n。34、強對稱信道的信道容量C=log2n-Hni。35、對稱信道的信道容量C=log2m-Hmi。36、對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。37、對于N個對立并聯信道，其信道容量CN=。38、多用戶信道的信道容量用多維空間的一個區域的界限來表示。39、多用戶信道可以分成幾種最基本的類型：多址接入信道、廣播信道和相關信源信道。40、廣播信道是只有一個輸入端和多個輸出端的信道。41、當信道的噪聲對輸入的干擾作用表現為噪聲和輸入的線性疊加時，此信道稱為加性連續信道。42、高斯加性信道的信道容量C=。43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真傳遞信息的條件是信息率小于信道容量。44、信道矩陣代表的信道的信道容量C=1。45、信道矩陣代表的信道的信道容量C=1。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。47、對于具有歸并性能的無燥信道，達到信道容量的條件是p（yj）=1/m）。48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct=10kHz。49、信息率失真理論是量化、數模轉換、頻帶壓縮和數據壓縮的理論基礎。50、求解率失真函數的問題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號的失真度或失真函數d（xi，yj）表示信源發出一個符號xi，信宿再現yj所引起的誤差或失真。54、漢明失真函數d（xi，yj）=。55、平方誤差失真函數d（xi，yj）=（yj-xi）2。56、平均失真度定義為失真函數的數學期望，即d（xi，yj）在X和Y的聯合概率空間P（XY）中的統計平均值。57、如果信源和失真度一定，則平均失真度是信道統計特性的函數。58、如果規定平均失真度不能超過某一限定的值D，即：。我們把稱為保真度準則。59、離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。60、試驗信道的集合用PD來表示，則PD=。61、信息率失真函數，簡稱為率失真函數，即：試驗信道中的平均互信息量的最小值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個零元素。63、平均失真度的上限Dmax取{Dj：j=1，2，···，m}中的最小值。64、率失真函數對允許的平均失真度是單調遞減和連續的。65、對于離散無記憶信源的率失真函數的最大值是log2n。66、當失真度大于平均失真度的上限時Dmax時，率失真函數R（D）=0。67、連續信源X的率失真函數R（D）=。68、當時，高斯信源在均方差失真度下的信息率失真函數為。69、保真度準則下的信源編碼定理的條件是信源的信息率R大于率失真函數R（D）。70、某二元信源其失真矩陣D=，則該信源的Dmax=a/2。71、某二元信源其失真矩陣D=，則該信源的Dmin=0。72、某二元信源其失真矩陣D=，則該信源的R（D）=1-H（D/a）。73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。74、信源編碼的目的是：提高通信的有效性。75、一般情況下，信源編碼可以分為離散信源編碼、連續信源編碼和相關信源編碼。76、連續信源或模擬信號的信源編碼的理論基礎是限失真信源編碼定理。77、在香農編碼中，第i個碼字的長度ki和p（xi）之間有關系。78、對信源進行二進制費諾編碼，其編碼效率為1。79、對具有8個消息的單符號離散無記憶信源進行4進制哈夫曼編碼時，為使平均碼長最短，應增加2個概率為0的消息。80、對于香農編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是香農編碼。81、對于二元序列0011100000011111001111000001111111，其相應的游程序列是23652457。82、設無記憶二元序列中，“0”和“1”的概率分別是p0和p1，則“0”游程長度L（0）的概率為。83、游程序列的熵等于原二元序列的熵。84、若“0”游程的哈夫嗎編碼效率為η0，“1”游程的哈夫嗎編碼效率為η1，且η0η1對應的二元序列的編碼效率為η，則三者的關系是η0ηη1。85、在實際的游程編碼過程中，對長碼一般采取截斷處理的方法。86、“0”游程和“1”游程可以分別進行哈夫曼編碼，兩個碼表中的碼字可以重復，但C碼必須不同。87、在多符號的消息序列中，大量的重復出現的，只起占時作用的符號稱為冗余位。88、“冗余變換”即：將一個冗余序列轉換成一個二元序列和一個縮短了的多元序列。89、L-D編碼是一種分幀傳送冗余位序列的方法。90、L-D編碼適合于冗余位較多或較少的情況。91、信道編碼的最終目的是提高信號傳輸的可靠性。92、狹義的信道編碼即：檢、糾錯編碼。93、BSC信道即：無記憶二進制對稱信道。94、n位重復碼的編碼效率是1/n。95、等重碼可以檢驗全部的奇數位錯和部分的偶數位錯。96、任意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=。97、若糾錯碼的最小距離為dmin，則可以糾正任意小于等于t=個差錯。98、若檢錯碼的最小距離為dmin，則可以檢測出任意小于等于l=dmin-1個差錯。99、線性分組碼是同時具有分組特性和線性特性的糾錯碼。100、循環碼即是采用循環移位特性界定的一類線性分組碼。三、判斷（每題1分）（50道）必然事件和不可能事件的自信息量都是0。錯自信息量是的單調遞減函數。對單符號離散信源的自信息和信源熵都具有非負性。對單符號離散信源的自信息和信源熵都是一個確定值。錯單符號離散信源的聯合自信息量和條件自信息量都是非負的和單調遞減的。對自信息量、條件自信息量和聯合自信息量之間有如下關系：對自信息量、條件自信息量和互信息量之間有如下關系：對當隨即變量X和Y相互獨立時，條件熵等于信源熵。對當隨即變量X和Y相互獨立時，I（X；Y）=H（X）。錯10、信源熵具有嚴格的下凸性。錯11、平均互信息量I（X；Y）對于信源概率分布p（xi）和條件概率分布p（yj/xi）都具有凸函數性。對12、m階馬爾可夫信源和消息長度為m的有記憶信源，其所含符號的依賴關系相同。錯13、利用狀態極限概率和狀態一步轉移概率來求m階馬爾可夫信源的極限熵。對14、N維統計獨立均勻分布連續信源的熵是N維區域體積的對數。對15、一維高斯分布的連續信源，其信源熵只與其均值和方差有關。錯16、連續信源和離散信源的熵都具有非負性。錯17、連續信源和離散信源都具有可加性。對18、連續信源和離散信源的平均互信息都具有非負性。對19、定長編碼的效率一般小于不定長編碼的效率。對20、若對一離散信源（熵為H（X））進行二進制無失真編碼，設定長碼子長度為K，變長碼子平均長度為，一般K。錯21、信道容量C是I（X；Y）關于p（xi）的條件極大值。對22、離散無噪信道的信道容量等于log2n，其中n是信源X的消息個數。錯23、對于準對稱信道，當時，可達到信道容量C。錯24、多用戶信道的信道容量不能用一個數來代表。對25、多用戶信道的信道容量不能用一個數來代表，但信道的信息率可以用一個數來表示。錯26、高斯加性信道的信道容量只與信道的信噪有關。對27、信道無失真傳遞信息的條件是信息率小于信道容量。對28、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi）），使信道所能傳送的信息率的最大值。錯29、對于具有歸并性能的無燥信道，當信源等概率分布時（p（xi）=1/n），達到信道容量。錯30、求解率失真函數的問題，即：在給定失真度的情況下，求信息率的極小值。對31、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越小，獲得的信息量就越小。錯32、當p（xi）、p（yj/xi）和d（xi，yj）給定后，平均失真度是一個隨即變量。錯33、率失真函數對允許的平均失真度具有上凸性。對34、率失真函數沒有最大值。錯35、率失真函數的最小值是0。對36、率失真函數