第四章離散信道及其信道容量信道

——信息傳輸的通道

信息論中與信源并列的另一個主要研究對象研究的主要內容:

★信道的建模

★信道容量

★不同條件下充分利用信道容量的方法一.數學模型

干擾信道輸入信號x輸出信號yp(y|x)第一節信道模型及其分類p(y|x)：反映信道的統計特性，即輸入輸出的依賴關系，又稱信道的傳遞概率、轉移概率或傳輸概率。信道的數學模型：

{X，p(y|x)，Y}1.按其輸入/輸出信號在幅度和時間上的取值是離散或連續來分：幅度時間信道名稱離散離散離散信道(discretechannel)，也稱數字信道(digitalchannel)連續離散連續信道(continuouschannel)連續連續模擬信道(analogchannel)，也稱波形信道(waveformchannel)離散連續理論、實用價值很小二.分類2.按其輸入/輸出之間關系的記憶性劃分：無記憶信道：有記憶信道：3.按其輸入/輸出信號之間是否是確定關系來分：有噪信道：無噪信道：在某一時刻信道的輸出消息僅與當前信道的輸入消息有關，而與之前時刻的信道輸入無關在任一時刻信道的輸出不僅與當前輸入有關，而且還與以前時刻輸入有關存在噪聲，不存在確定關系

——實用價值大，研究的理想對象不存在噪聲，存在確定關系

——實用價值小4.按其輸入/輸出信號個數來分：兩端信道(兩用戶信道):只有一個輸入端和一個輸出端的單向通信的信道,又稱為單路信道.多端信道(多用戶信道):信道的輸入輸出至少有一個具有兩個或兩個以上的信號.多元接入信道廣播信道5.按信道的統計特性分：恒參信道變參信道一.定義1.定義——輸入/輸出在幅度和時間上都是離散的，并且在某一時刻信道的輸出消息只與當前信道的輸入有關，而與之前時刻的信道輸入無關。2.數學模型：

離散信道對任意N長的輸入、輸出序列有如果有

，則信道為平穩的離散無記憶信道DMC。第二節離散無記憶信道DMC1.定義：2.傳輸概率

p(y|x)——可描述信道中干擾影響的大小，干擾存在，傳輸時可能發生錯誤。二.單符號離散無記憶信道——完全反映信道的特性3.信道矩陣P4.信道輸出與輸入之間的關系

例4-1：其中：p表示傳輸中發生錯誤的概率二元對稱信道(BSC)(二進制對稱信道)

其中：p、q表示正確傳輸的概率

二元刪除信道(二進制刪除信道)1.信道疑義度(損失熵)表示：由于信道的干擾，導致信道輸出端收到Y后，對輸入X仍然存在的平均不確定度。也可表示：由于信道干擾導致信息量的損失。信道X

Y三.信道疑義度和平均互信息信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y后獲得的關于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)?定理1：

對于固定信道，I(X;Y)是信源概率分布p(x)的上凸函數。2.平均互信息定理2:

對于固定的信源分布，I(X;Y)是信道傳遞概率P(y|x)的下凸函數。

例4-2：考慮二元對稱信道，其信源概率空間為

信道XY（0，1）（0，1）求其平均互信息解:應用全概率公式則有：則平均互信息：當信道固定，即p為一個固定常數時，可得到I(X;Y)是信源輸出分布ω的上凸函數。

當信源固定，即ω是一個常數時,可得到I(X;Y)是信道傳遞概率p的下凸函數。當p=0.5時，I(X;Y)=0，在接收端未獲得信息量。

當ω=1/2

時，即取極大值.例4-3：擲色子，如果結果是1，2，3，4，則拋一次硬幣；如果結果是5、6，則拋兩次硬幣。試計算從拋硬幣的結果可以得到多少擲色子的信息量。解：設擲色子結果是1，2，3，4為事件X=0，結果是5、6為事件X=1；Y=0表示拋硬幣出現0次正面,Y=1表示拋硬幣出現1次正面,Y=2表示拋硬幣出現2次正面。信源概率空間為信道矩陣為輸出符號的概率空間為則有：四.離散無記憶信道的N次擴展信道N次擴展信道信道例4-4：求二元無記憶對稱信道的二次擴展信道。解：輸入擴展為：00，01，10，11輸出擴展為：00，01，10，11傳遞矩陣擴展為：請問：與I（X；Y）之間的關系？

定理1:若信道的輸入、輸出分別為N長序列X和Y，且信道是無記憶的，即：用兩個定理回答這個問題定理2：若信道的輸入、輸出分別為N長序列X和Y，且信源是無記憶的，即：由定理1和定理2當信源和信道都是無記憶時有：

當每個序列中的分量Xi取值于同一信源符號集，且具有同一種概率分布，則輸出Y的分量Yi也取值同一符號集，則各I（Xi；Yi）是相等的。即：對于N次擴展，則有一.級聯信道（串聯信道）第三節信道組合消息依次通過幾個信道串行傳輸：信道1信道2XYZp(y|x)p(z|xy)級聯信道的平均互信息存在兩個定理:

定理1:級聯信道中的平均互信息滿足以下關系

Y確定后,Z不再與X有關,只取決于信道2的轉移概率矩陣,則I(X;Z|Y)=0,這意味著X,Y,Z構成一個一階馬爾可夫鏈.定理2:若隨機變量X,Y,Z構成一個馬爾可夫鏈,則有可得：在任何信息傳輸系統中，最后獲得的信息至多是信源所提供的信息。如果一旦丟失信息，以后系統不管如何處理，如果不涉及到該信道過程的輸入端，都不能恢復已丟失的信息——信息不增性原理。當信道不斷級聯時，信道的最終傳輸信息量趨于0串聯信道的總信道矩陣定理2表明：通過串聯信道的傳輸只會丟失信息，至多保持原來的信息量。例4-5：下圖中的X、Y、Z滿足馬氏鏈，求該串聯信道的總信道矩陣。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由圖可知——多個信道聯合起來使用12N并用信道

當待發送的消息比較多時，可用多個信道并行傳送，香農稱之為平行信道有各自的輸入和輸出，最后總和。二.并聯信道信道1信道2信道N輸入并接信道

一個輸入多個輸出，且為相同的輸入。缺點是信道的利用率低，但可提高信息傳輸的可靠性。信道1信道2信道N和信道

傳輸信息時，每次只使用其中一個信道，它的信道矩陣：一.基本概念：

1.信道容量C：信道能無錯誤地傳送的最大信息率第四節信道容量2.信道的信息傳輸率R

：信道中平均每符號所能傳送的信息量3.信道的信息傳輸速率：信道在單位時間內平均傳輸信息量信道在單位時間內傳輸的最大信息量為

例4-6：考慮二元對稱信道，其信源概率空間為求該信道的信道容量。解：信道的平均互信息

當ω=1-ω=1/2

時，I(X;Y)取極大值，即接收到的信息量最大，則信道容量為：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是傳遞概率的函數1.無損信道：一個輸入對應多個互不相交的輸出二.幾種特殊信道的信道容量H(Y|X)>0(稱噪聲熵)則：信道容量：2.確定信道：一個輸出對應多個不相交的輸入

信道疑義度H(X|Y)>0

單位：比特/符號3.無損確定信道：輸入與輸出一一對應

H(Y|X)=0H(X|Y)=0

則I(X;Y)=H(X)=H(Y)——信道中沒有損失

單位：比特/符號

可知：對于無噪信道求C的問題已從求I(X;Y)極值問題退化成求H(X)或H(Y)極值問題。如果信道矩陣的每一行(列）都是第一行（列）元素的不同排列，則稱該信道為行（列）對稱信道。如果信道矩陣的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩陣的列將信道矩陣劃分成或干對稱的子矩陣，則稱該信道為準對稱信道。若信道矩陣中，每一行(或列)都是第一行(或第一列)的元素的不同排列，則稱為離散對稱信道?！獙ΨQ信道—準對稱信道三.離散對稱信道—對稱信道1.定義：則稱此信道為均勻信道。（對稱信道的特例）如果對稱信道的輸入輸出符號個數相同，均為r，且信道中總的錯誤概率，平均分配給個輸出符號，即信道矩陣為注意：一般信道的信道矩陣的各行之和為1，各列之和不一定為1，但是均勻信道的各列之和為12.離散對稱信道的C

式中

為信道矩陣中任一行的元素。

若一個離散對稱信道具有r個輸入符號，s個輸出符號，則當輸入為等概率分布時，達到信道容量C定理：證明：則有：結論:求離散對稱信道的信道容量，實質上是求一種輸入分布p(x)使輸出熵H(Y)達最大。例4-7：求具有以下信道矩陣的信道的信道容量解：分析可知這是一個對稱信道，則信道容量為

結論：在該對稱信道中，只有當信道輸入符號等概分布時，每個符號平均能傳送的信息為0.126bit，一般情況下每個符號平均傳輸的信息都是小于0.126bit

。例4-8：求均勻信道的信道容量。為正確傳遞概率為錯誤傳遞概率對于二元對稱信道：r=2，則信道容量C：解：均勻信道是對稱信道的一種特例，則其信道容量用對稱信道的信道容量的求解公式，則

引理：對于一個離散對稱信道，只有當信道輸入分布p(x)為等概率分布時，輸出分布才能為等概率分布。證明：設該信道有r個輸入符號，當輸入等概分布時，有

根據全概率公式，輸出為

由對稱信道可知，每列元素之和相等，設為則該矩陣所有元素之和為從矩陣的行可知所有元素之和為r，則所以有：表明：對于一個離散對稱信道，當信道輸入分布p(x)為等概率分布時，輸出分布為等概率分布。3.準對稱信道的C

求準對稱信道的信道容量，首先將信道矩陣劃分為若干個互不相交的對稱子集，可以證明當輸入等概分布時，達到信道容量為式中：n為輸入符號個數；是信道矩陣中任一行元素求的信息；r是互不相交的子集個數。Nk是第k個子矩陣中行元素之和；Mk是第k個子矩陣中列元素之和；例4-9：求二元對稱刪除信道的信道容量。解：分析可知該信道分成對稱的2個子信道則該信道是一個準對稱信道

其信道容量為

其中輸入符號個數n=2，則有：λ為拉格朗日乘子，待定常數根據高數知識,首先構造函數：設有一離散無記憶信道的輸入X取值于在的約束條件下求I(X;Y)的極值.信道矩陣P=輸出Y取值于四.一般離散無記憶信道的C對p(ai)

求偏導，并令偏導等于0，即：，代入I(X;Y)求出C根據約束條件，求出pi例4-10：設有擾離散信道的傳輸情況如圖所示，求C以及達到C時的輸入概率分布.利用對稱信道的信道容量公式求得：解：I(X;Y)=H(Y)-H(Y|X)則有：達到C時的輸入分布：解：N個二元對稱信道級聯后的總信道矩陣為例4-11：求N個相同的二元對稱信道組成的級聯信道容量

12N單個二元對稱信道的信道矩陣為五.組合信道的C1.級聯信道此時C=02.輸入并接信道信道1信道2信道NC大于任意一個組成信道的信道容量。上界為3.并用信道(獨立并聯信道)12N4.和信道信道1信道2信道N

即C為各組成信道的信道容量之和六.N次擴展離散無記憶信道的信道容量

表示某時刻通過離散無記憶信道傳輸的最大信息量。則：

對于離散無記憶信道有：對于N次擴展信道，任何時刻是相同的。七.香農信道容量公式

限帶、加性白色高斯噪聲的信道容量

——著名的信道容量的香農公式S：輸入信號平均功率B：信道通帶帶寬：噪聲的邊帶功率譜密度：信噪比

在這種信道中，輸入輸出信號和噪聲都被限制在一定的頻帶中，一般設此頻帶為［０，B］。信道傳輸的費用就是信號的功率。又設信道的噪聲為加性的、高斯的且具有平坦的功率譜，均值為０。

例4-12:

已知信道的帶寬B為3kHz,信號在信道傳輸中受到單邊功率譜密度為的加性白高斯噪聲的干擾,信號的平均功率S為9W.

(1)求信道的容量;(2)若信道帶寬增加到原來的10倍,并保持信道容量不變,那么信號平均功率要改變多少dB?解:

(1)信道容量為(2)帶寬變為10B,而C保持不變,假設此時對應的信號功率為則無損信道的剩余度第五節信源與信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相對剩余度=1-R/C對于無損信道C=logr無損信道的相對剩余度信源的剩余度

對于無損信道，可通過信源編碼，減小信源的剩余度，提高信道的信息傳輸率使之達到C。例4-13：有一個二元對稱信道，其信道矩陣如圖所示。設該信道以1500個二元符號/秒的速度傳輸輸入符號?，F有一消息序列共有14000個二元符號，并設在這消息中p(1)=p(0)=1/2。問從信息傳輸的角度來考慮，10秒內能否將這消息序列無失真傳送完。1000.980.020.98