2024年大學試題(計算機科學)-信息論與編碼筆試考試歷年高頻考點試題摘選含答案第1卷一.參考題庫(共75題)1.考慮GF（2）上的下列生成矩陣 這個碼能糾多少個錯誤？2.離散平穩有記憶信源符號序列的平均符號熵隨著序列長度L的增大而增大。3.某氣象員報告氣象狀態，有四種可能的消息：晴、去、雨和霧。若每個消息是等概率的，那么發送每個消息最少所需的二元脈沖數是多少？又若四個消息出現的概率分別為問在此情況下消息所需的二元脈沖數是多少？如何編碼？4.兩個實驗X和Y，X={x1x2x3}，Y={y1y2y3}，l聯合概率為。 （1）如果有人告訴你X和Y的實驗結果，你得到的平均信息量是多少？? （2）如果有人告訴你Y的實驗結果，你得到的平均信息量是多少？? （3）在已知Y實驗結果的情況下，告訴你X的實驗結果，你得到的平均信息量是多少？5.單符號離散信源的自信息和信源熵都是一個確定值。6.已知用戶A的RSA公開密鑰（e，n）=（3，55），，則（），他的秘密密鑰（d，n）＝（27，55）。若用戶B向用戶A發送m=2的加密消息，則該加密后的消息為（）。7.設有一批電阻，按阻值分70%是2kΩ，30%是5kΩ；按功耗分64%是1/8W，其余是1/4W。現已知2kΩ阻值的電阻中80%是1/8W。問通過測量阻值可以平均得到的關于瓦數的信息量是多少？8.一個馬爾可夫信源有3個符號{u1，u2，u3}，轉移概率為：p（u1|u1）=1/2，p（u2|u1）=1/2，p（u3|u1）=0，p（u1|u2）=1/3，p（u2|u2）=0，p（u3|u2）=2/3，p（u1|u3）=1/3，p（u2|u3）=2/3，p（u3|u3）=0，畫出狀態圖并求出各符號穩態概率。9.構造C={00000，10101，01010，11111}的生成矩陣。因為這個G不是唯一的，給出另一個能生成這個碼字集合的生成矩陣。10.某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，就有信息量。11.若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為（）。12.設信道輸入是連續型隨機序列X1X2...XN，輸出也是連續型隨機序列Y1Y2...YN，信道傳遞概率密度為p（y|x）。試證明： （1）當信源是無記憶時，有 （1）當信源是無記憶時，有 13.信道的分類方法有哪些？14.簡述隨機事件的不確定度和它的自信息量之間的關系及區別，單符號離散信源的數學模型，自信息量、條件自信息量、聯合自信息量的含義。15.離散信源或數字信號的信源編碼的理論基礎是限失真信源編碼定理。16.當信道的噪聲對輸入的干擾作用表現為噪聲和輸入的線性疊加時，此信道稱為（）。17.差錯控制的基本方式大致可以分為（）、（）和（）。18.用rH來表示二元漢明碼的碼率，求。19.簡述加密編碼的基本概念。20.簡述多用戶信道的分類。21.狹義的信道編碼即：（）。22.簡述幾種信息分類的準則和方法。23.請給出平均碼長界定定理及其物理意義。24.當隨即變量X和Y相互獨立時，條件熵等于信源熵。25.簡述信源的冗余度的定義和含義。26.連續信源和離散信源的熵都具有非負性。27.L-D編碼適合于冗余位（）的情況。28.簡述信道的數學模型和分類。29.簡述信息論的起源、歷史與發展。30.考慮下圖所示的二元信道，設發送二元符號的先驗概率為P0和P1，其中P0+P1=1，求后驗概率和 31.簡單介紹哈夫曼編碼的步驟。32.簡述信源輸出的平均功率受限的最大連續熵定理。33.狹義的信道編碼既是指：信道的檢、糾錯編碼。34.對于一個一般的通信系統，試給出其系統模型框圖，并結合此圖，解釋數據處理定理。35.在圖片傳輸中，每幀約有2.25×106個像素，為了能很好地重現圖像，能分16個亮度電平，并假設亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。36.選擇幀長N=63，對001000000000000000000000000000000100000000000000000000000000000編碼。37.等重碼可以檢驗（）。38.設是X=X1，X2，...，XN平穩離散有記憶信源，試證明： 39.考慮GF（2）上的下列生成矩陣 這是一個線性碼？40.有兩個二元隨機變量X和Y，它們的聯合概率為： 并定義另一隨機變量Z?=?XY（一般乘積），試計算：? （1）H（X），H（Y），H（Z），?H（XZ），?H（YZ）和H（XYZ）；? （2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）；? （3）I（X；Y），I（X；Z），I（Y；Z），?I（X；Y/Z），?I（Y；Z/X）和I（X；Z/Y）。41.居住某地區的女孩中有25%是大學生，在女大學生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數一半。假如我們得知“身高1.6米以上的某女孩是大學生”的消息，問獲得多少信息量？42.離散平穩無記憶信源X的N次擴展信源的熵等于離散信源X的熵的（）。43.簡述最大離散熵定理及理解。44.互信息I（X；Y）與信息熵H（Y）的關系為：I（X；Y）（）（大于、小于或者等于）H（Y）。45.設二元霍夫曼碼為（00，01，10，11）和（0，10，110，111），求出可以編得這樣霍夫曼碼的信源的所有概率分布。46.信道編碼的最終目的是（）。47.若有一信源 每秒鐘發出2.66個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸（假設信道是無噪無損的），而信道每秒鐘只傳遞兩個二元符號。試問信源不通過編碼能否直接與信道連接？若通過適當編碼能否中在信道中進行無失真傳輸？若能連接，試說明如何編碼并說明原因。48.簡述失真函數、平均失真度的定義及其含義。49.設離散無記憶信源，其發出的消息為（202120130213001203210110321010021032011223210），求 （1）求每個符號的自信息量； （2）若信源發出一消息符號序列為(202120130213001203210110321010021032011223210)，求該消息序列的自信息量及平均每個符號攜帶的信息量。50.已知（8，5）線性分組碼的生成矩陣為 （1）證明該碼為循環碼； （2）求該碼的生成多項式g（x），一致校驗多項式h（x）和最小碼距d。51.信道容量是信道中能夠傳輸的最小信息量。52.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越（）53.下列不屬于消息的是（）。A、文字B、信號C、圖像D、語言54.在現代通信系統中，信源編碼主要用于解決信息傳輸中的（）性，信道編碼主要用于解決信息傳輸中的（）性，加密編碼主要用于解決信息傳輸中的（）性。55.在已知收碼R的條件下找出可能性最大的發碼作為譯碼估計值，這種譯碼方法叫做最佳譯碼。56.平均錯誤概率不僅與信道本身的（）特性有關，還與（）規則和（）方法有關57.按照不同的編碼目的，編碼可以分為三類：分別是（）、（）和（）。58.由符號集{0，1}組成的二階馬爾可夫鏈，其轉移概率為：p（0|00）=0.8，p（0|11）=0.2，p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。畫出狀態圖，并計算各狀態的穩態概率。59.線性碼一定包含全零碼。60.設二元對稱信道的傳遞矩陣為 （1）若P（0）=3/4，?P（1）=1/4，求H（X），H（X/Y），H（Y/X）和I（X；Y）；? （2）求該信道的信道容量及其達到信道容量時的輸入概率分布。61.考慮下圖所示的二元編碼器。 給出該編碼器的奇偶校驗矩陣H。62.簡述平均互信息量的定義及物理意義、疑義度及噪聲熵。63.對于離散無記憶強對稱信道，信道矩陣為： 試證明對于此信道，最小距離譯碼準則等價于最大似然譯碼準則。64.率失真函數對允許的平均失真度具有上凸性。65.簡述離散信源和連續信源的最大熵定理。66.對信源編碼器有些什么基本要求？編碼效率的定義？如何提高編碼效率？67.有一信源發出恒定寬度，但不同幅度的脈沖，幅度值處在a1和a2之間，此信源連至某信道，信道接收端接收脈沖的幅度y處在b1和b2之間。已知隨機變量X和Y的聯合概率密度函數： 試計算h（X），h（Y），h（XY）和I（X；Y）。68.等重碼和奇（偶）校驗碼都可以檢出全部的奇數位錯69.求下列各離散信道的容量： 70.有兩個二元隨機變量X和Y，它們的聯合概率為 并定義另一隨機變量Z=XY（一般乘積）。試計算： 71.信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越小，獲得的信息量就越小。72.信道的輸出僅與信道當前輸入有關，而與過去輸入無關的信道稱為（）信道。73.設有一離散信道，其信道傳遞矩陣為 并設試分別按最小錯誤概率準則與最大似然譯碼準則確定譯碼規則，并計算相應的平均錯誤概率。74.連續隨機變量X和Y的聯合概率密度為：，求H（X），?H（Y），?H（XYZ）和I（X；Y）。75.設有一個信源，它產生0，1序列的信息。它在任意時間而且不論以前發生過什么符號，均按p（0）=0.4，p（1）=0.6的概率發出符號。 （1）試問這個信源是否是平穩的？ （2）試計算及； （3）試計算H（X4）并寫出X4信源中可能有的所有符號。第2卷一.參考題庫(共75題)1.簡述Shannon第二定理（信道編碼定理）及其含義。2.對于BSC信道，信道編碼應當是一對一的編碼，因此，消息m的長度等于碼字c的長度。3.在圖片傳輸中，每幀約2.25×106個像素，為了能很好地重現圖像，需分16個亮度電平，并假設亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬（信噪功率比為30dB）。4.若某一信源有N個符號，并且每個符號等概率出現，對這信源用最佳霍夫曼碼進行二元編碼，問當N=2i和N=2i+1（i是正整數）時，每個碼字的長度等于多少？平均碼長是多少？5.簡述連續信源的熵的定義。6.設信源 將此信源編碼為r元惟一可譯變長碼（即碼符號集X={1，2，r}），其對應的碼長為（l1，l2，l6）=（1，1，2，3，2，3），求r值的下限。7.簡述信源輸出值受限的最大連續熵定理。8.最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi）），使信道所能傳送的信息率的最大值。9.證明一個離散信源在它的輸出符號等概率的情況下其熵達到最大值。10.如某線性分組碼的最小漢明距dmin=4，則該碼最多能檢測出（）個隨機錯，最多能糾正（）個隨機錯。11.在認識論層次上研究信息的時候，必須同時考慮到（）、（）和（）三個方面的因素。12.若有二個串接的離散信道，它們的信道矩陣都是 設第一個信道的輸入符號X?{a1,a2,a3,a4}是等概率分布，輸出符號用Z表示。第二個信道輸出用Y表示。求I(X;Z)和I(X;Y)，并加以比較。13.若X、Y和Z是三個隨機變量，試證明： （1）I（X；YZ）=I（X；Y）+I（X；Z|Y）=I（X；Z）+I（X；Y|Z） （2）I（X；Y|Z）=I（Y；X|Z）=H（X|Z）?H（X|YZ） （3）I（X；Y|Z）≥0當且僅當（X，Z，Y）是馬氏鏈時等式成立。14.一個糾錯碼消息與碼字的對應關系如下： （00）—（00000），（01）—（00111），（10）—（11110），（11）—（11001） （1）證明該碼是線性分組碼 （2）求該碼的碼長，編碼效率和最小碼距。 （3）求該碼的生成矩陣和一致校驗矩陣。15.簡述離散平穩信源的定義，平均符號熵、極限熵的定義，含義與理解。16.求下列兩個信道的信道容量，并加以比較： 17.同時擲出兩個正常的骰子，也就是各面呈現的概率都為1/6，求：? （1）“3和5同時出現”這事件的自信息；? （2）“兩個1同時出現”這事件的自信息；? （3）兩個點數的各種組合（無序）對的熵和平均信息量；? （4）兩個點數之和（即2，?3，?…?，?12構成的子集）的熵；? （5）兩個點數中至少有一個是1的自信息量。18.信源熵具有嚴格的下凸性。19.互信息量I（X；Y）表示收到Y后仍對信源X的不確定度。20.求圖中信道的信道容量及其最佳的輸入概率分布，并求當e=0和1/2時的信道容量C的大小。 21.信源編碼是提高通信有效性為目的的編碼。22.設有一個無記憶信源發出符號A和B，已知，發出二重符號序列消息的信源，無記憶信源熵為（）。A、0.81bit/二重符號B、1.62bit/二重符號C、0.93bit/二重符號D、1.86bit/二重符號23.把n個二元對稱信道串接起來，每個二元對稱信道的錯誤傳遞概率為p。證明這n個串接信道可以等效于一個二元對稱信道，其錯誤傳遞概率為： 24.按照信息的地位，可以把信息分成（）和（）。25.按照信源發出的消息在時間和幅度上的分布情況，可將信源分成（）信源和（）信源兩大類。26.證明：若（X，Y，Z）是馬氏鏈，則（Z，Y，X）也是馬氏鏈。27.證明定理：若存在一個碼長為l1，l2，lq的惟一可譯碼，則一定存在具有相同碼長的即時碼。28.設多項式 為GF（2）上分組長度為15的一個循環碼的生成多項式。這個碼能檢測多少個錯誤？29.簡述廣義的信道編碼的分類及各類編碼的作用。30.下列離散信源，熵最大的是（）。A、H（1/3，1/3，1/3）；B、H（1/2，1/2）；C、H（0.9，0.1）；D、H（1/2，1/4，1/8，1/8）31.一個DMS只有三個輸出符號，它們的概率為{0.5，0.4，0.1}。 （1）給出此信源的霍夫曼碼并確定編碼效率。 （2）每次考慮兩個符號時，給出此信源的霍夫曼碼并確定編碼效率。 （3）每次考慮三個符號時，給出此信源的霍夫曼碼并確定編碼效率。32.居住某地區的女孩子有是大學生，在女大學生中有是身高160厘米上的，而女孩子中身高160厘米以上的占總數的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息，問獲得多少信息量？33.簡述平均互信息量關于信源概率和信道轉移概率的凸性定理。34.簡述線性分組碼的定義、構造、性質。35.簡述離散信道容量的一般計算方法及其步驟。36.信源編碼的目的是提高通信的（），信道編碼的目的是提高通信的（），加密編碼的目的是保證通信的（）。37.簡述香農第一編碼定理的物理意義？38.對二元（2n，1）重復碼，設計一種合適的譯碼規則，并求出它的譯碼平均錯誤概率PE。39.將下表所列的某六進制信源進行二進制編碼，試問： （1）這些碼中哪些是唯一可譯碼？? （2）哪些碼是非延長碼？? （3）對所有唯一可譯碼求出其平均碼長和編譯效率。40.廣播信道是只有（）的信道。41.從平均互信息的表達式證明，當信道和信源都是無記憶時，有： 42.對于均值為0，平均功率受限的連續信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率（）。43.連續信源或模擬信號的信源編碼的理論基礎是（）。44.其發出的消息為（202120130213001203210110321010021032011223210），求 （1）此消息的自信息是多少？ （2）在此消息中平均每個符號攜帶的信息量是多少？45.證明二元（2n+1，1）重復碼當采用最大似然譯碼準則時，譯碼的平均錯誤概率為 式中，p為二元對稱信道的錯誤傳輸率，并計算當n=5，7，9，11時PE的近似值。46.對于限峰值功率的N維連續信源，當概率密度（）時連續信源熵具有最大值。47.信息率失真理論是量化、數模轉換、頻帶壓縮和（）的理論基礎。48.簡要說明下面幾種譯碼準則： （1）最優譯碼準則； （2）最大似然譯碼準則49.已知一個高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳送的信息率。若信噪比提高到15，理論上傳送同樣的信息率所需的頻帶為多少？50.簡述二元哈夫曼編碼的編碼步驟。51.設信源求此信源的熵，并解釋為什么H（X）>log6，不滿足信源熵的極值性。52.離散無噪信道的信道容量等于log2n，其中n是信源X的消息個數。53.試證明多維連續無記憶信道的充要條件為： 54.為了使電視圖象獲得良好的清晰度和規定的對比度，需要用5×105個像素和10個不同的亮度電平，并設每秒要傳送30幀圖象，所有的像素是獨立的，且所有亮度電平等概出現。求傳輸此圖象所需要的信息率（bit/s）。55.設C={000000，001011，010110，011101，100111，101100，110001，111010}是一個二元線性分組碼，則該碼最多能檢測出3個隨機錯誤。56.事物的不確定度是用時間統計發生（）來描述的。57.有一個一階平穩馬爾可夫鏈X1，X2，X3，Xr，各Xr取值于集合A={a1，a2，a3}，已知起始概率P（Xr）為p1=1/2，p2=p3=1/4，轉移概率如下圖所示： （1）求（X1，X2，X3）的聯合熵和平均符號熵? （2）求這個鏈的極限平均符號熵 （3）求H0，H1，H2和它們說對應的冗余度58.信息反饋（IRQ）方式59.信源與信道達到匹配的含義以及如何實現？信道剩余度的概念及計算？60.什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？61.設給定兩隨機變量X1和X2，它們的聯合概率密度為： 求隨機變量Y1=X1+X2的概率密度函數，并計算變量Y的熵h（Y）。62.四進制、八進制脈沖所含信息量分別是二進制脈沖的（）倍。63.信息的重要性質有哪些？64.簡述強對稱，對稱，準對稱信道的含義及其C。65.設有二個離散信道，其分別輸入為X1和X2，輸出為Y1和Y2，對應這二個信道的傳遞概率為p1(y/x)和p2(y/x)，如圖所示。其X1和X2的概率分布分別為P1(x)和P2(x)。 66.采用13折線A律非均勻量化編碼，設最小量化間隔為Δ，已知某采樣時刻的信號值x=635Δ。 （1）試求該非均勻量化編碼c，并求其量化噪聲； （2）試求對應于該非均勻量化編碼的12位均勻量化編碼c′。67.“0”游程和“1”游程可以分別進行哈夫曼編碼，兩個碼表中的碼字可以重復，但（）必須不同。68.在實際的游程編碼過程中，對長碼一般采取（）處理的方法。69.確定下列比特流的Lempel-Ziv碼：01001111100101000001010101100110000從碼字流恢復原來的序列。70.（）是信息度量最常用的方法71.高斯加性信道的信道容量只與信道的信噪有關。72.對于二元序列0011100000011111001111000001111111，其相應的游程序列是（）。73.同時扔一對均勻的骰子，當得知“兩骰子面朝上點數之和為2”或“面朝上點數之和為8”或“兩骰子面朝上點數是3和4”時，試問這三種情況分別獲得多少信息量？74.在無失真的信源中，信源輸出由（）來度量；在有失真的信源中，信源輸出由（）來度量。75.L-D編碼是一種（）的方法。第1卷參考答案一.參考題庫1.參考答案： 能糾正不多于t個錯誤應滿足d*≥2t+1 這個碼能糾0個錯誤。2.參考答案：錯誤3.參考答案： 4.參考答案：5.參考答案：錯誤6.參考答案：40;87.參考答案： 8.參考答案：9.參考答案： 10.參考答案：錯誤11.參考答案：312.參考答案： 13.參考答案： 根據載荷消息的媒體不同（郵遞信道、電信道、光信道、聲信道）。根據信息傳輸的方式（輸入和輸出信號的形式。信道的統計特性、信道的用戶多少）。根據信道的用戶多少：兩端（單用戶）信道、多端（多用戶）信道。根據信道輸入端和輸出端的關聯（無反饋信道、反饋信道）根據信道的參數與時間的關系（固定參數信道、時變參數信道。根據輸入和輸出信號的特點（離散信道、連續信道、半離散或半連續信道波形信道）14.參考答案：15.參考答案：錯誤16.參考答案：加性連續信道17.參考答案：前向糾錯；反饋重發；混合糾錯18.參考答案： 根據二元漢明碼的性質可知： 其中m是任意正整數。 則由碼率的定義可知： 19.參考答案：20.參考答案： 多址接入信道、廣播信道和相關信源的多用戶信道21.參考答案：檢、糾錯編碼22.參考答案： 狹義信息論、一般信息論、廣義信息論23.參考答案： 24.參考答案：正確25.參考答案：26.參考答案：錯誤27.參考答案：較多或較少28.參考答案：29.參考答案：30.參考答案： 31.參考答案： ①將信源消息符號按其出現的概率大小依次排列 p（x1）≥p（x2）≥…≥p（xn） ②取兩個概率最小的符號分別配以0和1，并將這兩個概率相加作為一個新符號的概率，與未分配碼元的符號重新排隊。 ③對重排后的兩個概率最小符號重復步驟2的過程。 ④繼續上述過程，直到最后兩個符號配以0和1為止。 ⑤從最后一級開始，向前返回得到各個信源符號所對應的碼元序列，即相應的碼字。32.參考答案：33.參考答案：正確34.參考答案： 35.參考答案：36.參考答案： 37.參考答案：全部的奇數位錯和部分的偶數位錯38.參考答案： 39.參考答案： {00000，01010，10011，11001，10100，11110，00111，01101} 線性碼的性質： 1、兩個屬于該碼的碼字的和仍是屬于該碼的碼字 滿足第一條性質 2、全零碼字總是一個碼字 {00000，01010，10011，11001，10100，11110，00111，01101} 滿足第二條性質 3、一個線性碼的兩個碼字之間的最小距離等于任何非零碼字的最小重量，即d*=w* 這個碼的最小距離為2等于該碼的最小重量 滿足第三條性質 所以，這個碼是線性碼。40.參考答案：41.參考答案： 42.參考答案：N倍43.參考答案：44.參考答案：小于45.參考答案： 46.參考答案：提高信號傳輸的可靠性47.參考答案： 48.參考答案：49.參考答案：50.參考答案： （1）生成矩陣作初等行變換：第5行加到第4行，第4行加到第3行，第3行加到第2行，第2行和第5行加到第1行。得 （2）生成多項式為，一致校驗多項式為 一致校驗矩陣為 該矩陣的任意1列線性無關，但存在某2列線性相關，故最小碼距為2。51.參考答案：錯誤52.參考答案：小53.參考答案：B54.參考答案：有效；可靠；安全55.參考答案：正確56.參考答案：統計；譯碼；編碼57.參考答案：信源編碼;信道編碼;安全編碼58.參考答案：59.參考答案：正確60.參考答案：61.參考答案： 將5個矩陣進行變換得： 其中，I為k0*k0階單位矩陣，即3*3階單位矩陣。 P1，P2，P3，P4為k0*（n0-k0）階矩陣，即3*（4-3），也就是3*1階矩陣。 于是，該編碼器的奇偶校驗矩陣可寫為： 其中分別為P1，P2，P3，P4的轉置。0為k0*k0階矩陣，即3*3階矩陣。62.參考答案：63.參考答案： 64.參考答案：正確65.參考答案： 離散無記憶信源，等概率分布時熵最大。連續信源，峰值功率受限時，均勻分布的熵最大。平均功率受限時，高斯分布的熵最大。均值受限時，指數分布的熵最大。66.參考答案：67.參考答案： 68.參考答案：正確69.參考答案： （1）按一般離散信道容量的計算步驟進行 （2）信道為準對稱離散信道，當輸入端取等概率，即p（a1）=p（a2）=1/2時，達到信道容量，此時信宿端的概率為 70.參考答案： 71.參考答案：錯誤72.參考答案：無記憶73.參考答案： 74.參考答案：75.參考答案： （1）是平穩信源。 （2）信源熵H（X）=-0.4log20.4-0.6log20.6=0.971比特/信源符號，H（X2）=2H（X）=1.942比特/信源符號，由題設知道這個信源是無記憶信源，因此條件熵和極限熵都等于信源熵。 （3）H（X4）=4×0.971=3.884比特/信源符號， X4信源中可能的符號共16個。第2卷參考答案一.參考題庫1.參考答案：2.參考答案：錯誤3.參考答案： 4.參考答案： 5.參考答案：連續信源的不確定度應為無窮大，是相對熵，或叫差熵。在取兩熵之間的差時才具有信息的所有特性。6.參考答案： 7.參考答案：限峰功率最大熵定理：對于定義域為有限的隨機變量X，當它是均勻分布時，具有最大熵。8.參考答案：錯誤9.參考答案： 若二元離散信源的統計特性為 P=Q=1，H（X）=-[P*log（P）+（1-P）*log（1-P）] 對H（X）求導求極值，由dH（X）/d（P）=0可得 可知當概率P=Q=1/2時，有信源熵 對于三元離散信源，當概率時，信源熵 此結論可以推廣到N元的離散信源。10.參考答案：3；111.參考答案：形式；含義；效用12.參考答案： 13.參考答案： 14.參考答案： （1）任意兩個碼字的和是另一個碼字且全零向量為碼字。 （2）碼長為向量長，即n=5。碼字數為4，故 最小碼距即最小非零碼字的重量為minw=d=3。 （3）在碼字中取[10]對應的碼字和[01]對應的碼字即可組成生成矩陣 因為G與H正交，即GHT=0，解得H的一種可能情況等于 或：對生成矩陣做初等行變換，得，可表示為[Q，I2]，則相應的一致校驗矩陣H可取為[I3，QT]，即15.參考答案：16.參考答案： 17.參考答案：18.參考答案：錯誤19.參考答案：正確20.參考答案：21.參考答案：正確22.參考答案：A23.參考答案： 24.參考答案：客觀信息；主觀信息25.參考答案：離散;連續26.參考答案： 27.參考答案： 28.參考答案： 建立如下表格： 由該表格可以看出，該碼的最小距離為7。 即：d*=7 故可知，該碼可以檢測d*-1=6個錯誤。29.參考答案： 1、按照信道特性進行劃分，信道編碼可以分為：以糾獨立隨機差錯為主的信道編碼、以糾突發差錯為主的信道編碼、和糾混合差錯的信道編碼。 2、從功能上看，信道編碼可以分為糾錯碼與檢錯碼兩類，糾錯碼一定能檢錯，檢錯嗎不一定能糾錯，平常所說的糾錯碼是兩者的統稱。30.參考答案：D31.參考答案： （1）本題的霍夫曼編碼如下圖所示： （2）把符號每兩個分一組，重新應用霍夫曼編碼算法，如下表所示： （3）依題意，把符合每三個分