第五章：信道與信道容量

楊杰第五章：信道與信道容量楊杰1本章節達到的目的了解信息論研究信道的目的、內容了解信道的基本分類并掌握信道的基本描述方法掌握信道容量/信道容量代價函數的概念，以及與互信息、信道輸入概率分布、信道轉移函數的關系能夠計算簡單信道的信道容量/信道容量代價函數（對稱離散信道、無記憶加性高斯噪聲信道）了解信道容量/容量代價函數在研究通信系統中的作用理解香農第一定理又稱無噪信道編碼的物理意義進一步從信息論的角度理解香農公式及其用途本章節達到的目的了解信息論研究信道的目的、內容2概念問題熵熵率無失真信源編碼定理中的作用互信息信道容量信道編碼定理中的作用概念問題熵熵率無失真信源編碼定理中的作用3回顧－互信息函數的性質1互信息與信道輸入概率分布的關系性質1：I(X;Y)是信道輸入概率分布p(x)的上凸函數.回顧－互信息函數的性質1互信息與信道輸入概率分布的關系4回顧－互信息函數的性質2信息量與信道轉移概率分布的關系性質2：I(X;Y)是信道轉移概率分布p(y/x)的下凹函數.回顧－互信息函數的性質2信息量與信道轉移概率分布的關系5回顧－互信息函數的性質3信息量與信道輸入符號相關性的關系

性質3:信道的輸入是離散無記憶的,回顧－互信息函數的性質3信息量與信道輸入符號相關性的關系6回顧－互信息函數的性質4信息量與信道輸入符號相關性的關系

性質4:信道是離散無記憶的,回顧－互信息函數的性質4信息量與信道輸入符號相關性的7回顧－互信息函數的性質5性質3、性質4的推論：信道的輸入和信道本身都是離散無記憶的回顧－互信息函數的性質5性質3、性質4的推論：8信道與信道容量概述信道的分類與描述離散無記憶信道及其容量連續信道及其容量容量代價函數C(F)

信道與信道容量概述9§5.1:概述信息論對信道研究的內容什么是信道？信道的作用研究信道的目的§5.1:概述信息論對信道研究的內容10§5.1:概述－1信息論對信道研究的內容：信道的建模：用恰當的輸入/輸出兩個隨機過程來描述信道容量不同條件下充分利用信道容量的各種辦法§5.1:概述－1信息論對信道研究的內容：11§5.1:概述－2什么是信道？ 信道是傳送信息的載體——信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發間的空間就是信道。§5.1:概述－2什么是信道？12§5.1:概述－3信道的作用 在信息系統中信道主要用于傳輸與存儲信息，而在通信系統中則主要用于傳輸。§5.1:概述－3信道的作用13§5.1:概述－4研究信道的目的實現信息傳輸的有效性和可靠性有效性：充分利用信道容量可靠性：通過信道編碼降低誤碼率 在通信系統中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。通信技術研究－－信號在信道中傳輸的過程所遵循的物理規律，即傳輸特性信息論研究－－信息的傳輸問題（假定傳輸特性已知）§5.1:概述－4研究信道的目的14§5.2:信道的分類與描述信道分類信道描述§5.2:信道的分類與描述信道分類15§5.2:信道分類與描述－1信道分類 從工程物理背景——傳輸媒介類型； 從數學描述方式——信號與干擾描述方式； 從信道本身的參數類型——恒參與變參； 從用戶類型——單用戶與多用戶；§5.2:信道分類與描述－1信道分類16§5.2:信道分類與描述－2§5.2:信道分類與描述－217§5.2:信道分類與描述－3§5.2:信道分類與描述－318§5.2:信道分類與描述－4§5.2:信道分類與描述－419§5.2:信道分類與描述－5§5.2:信道分類與描述－520

§5.2:信道分類與描述－6

信道劃分是人為的，比如其中：c1為連續信道，調制信道； c2為離散信道，編碼信道； c3為半離散、半連續信道； c4為半連續、半離散信道。

§5.2:信道分類與描述－6

信道劃分是人為的，比如21§5.2:信道分類與描述－7信道描述信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉移矩陣：P即：{，P，}，它可簡化為：。§5.2:信道分類與描述－7信道描述22§5.2:信道分類與描述－8其中：而 而§5.2:信道分類與描述－823§5.2:信道分類與描述－9當K=1時，退化為單個消息（符號）信道；進一步當n=m=2時，退化為二進制單個消息信道。若它滿足對稱性，即構成最常用的二進制單消息對稱信道BSC：且,,§5.2:信道分類與描述－9當K=1時，退化為單個消息（符號24§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容量離散無記憶信道容量的計算離散無記憶信道的信道容量定理對稱的離散無記憶信道容量香農第一定理的物理意義§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容25§5.3:離散無記憶信道及其信道容量-1離散消息序列信道

§5.3:離散無記憶信道及其信道容量-1離散消息序列信道26§5.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信道容量

由消息序列互信息性質對離散無記憶信道，有：（性質4）則當且僅當信源(信道入)無記憶時，“等號”成立（性質3、4推論）

§5.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信27§5.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信道容量的進一步理解Cmax存在互信息性質1，上凸函數極值存在達到Cmax時的兩個條件：信道輸入（信源）是離散無記憶的信道輸入的概率分布是使I(X,Y)達到最大的分布C的值不是由信源的p(x)決定的，而是由p決定的C是信道作為信息傳輸通道的性能度量只有信道輸入（信源）X（x1x2…xn)滿足一定條件時，才能充分利用信道傳輸信息的能力§5.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信28§5.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的計算思路：問題轉化為：有界閉區域上求約束極值方法：1、求區域內極值2、求邊界極值3、求前兩者的最大值具體實現：1、簡單情況下求解（如單符號信道、對稱信道）2、解方程3、迭代法4、其他§5.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的29§5.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道容量定理

定理5.1：對前向轉移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是

其中：

是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。§5.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道30§5.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道容量定理理解在這種分布下，每個概率>0的字母提供的互信息＝C，每個概率＝0的字母提供的互信息≤C當且僅當這種分布時，可使I(p,Q)達到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反復調整p(ak)，使I(x=ak;Y)相等且都等于C此時I(X,Y)＝C定理只給出了可使I(X,Y)＝C的p(x)的充要條件，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的C§5.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道31§5.3:離散無記憶信道及其信道容量-7對稱的離散無記憶信道信道容量對稱的離散無記憶信道輸出字母的集合可以劃分為若干子集，對每個子集有：矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。定理5.2：對于對稱的離散無記憶信道，當信道輸入字母為等概率分布時達到信道容量。§5.3:離散無記憶信道及其信道容量-7對稱的離散無記憶信道32§5.3:離散無記憶信道及其信道容量-8對稱信道§5.3:離散無記憶信道及其信道容量-8對稱信道33§5.3:離散無記憶信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2§5.3:離散無記憶信道及其信道容量-9a1a2b1b2b334§5.3:離散無記憶信道及其信道容量-10BSC信道信道容量的計算a1a2b1b21-ε1-εεε§5.3:離散無記憶信道及其信道容量-10BSC信道信道容量35§5.3:離散無記憶信道及其信道容量-11由定理5.2，當輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

這里：§5.3:離散無記憶信道及其信道容量-11由定理5.2，當輸36§5.3:離散無記憶信道及其信道容量-12二元刪除信道信道容量的計算a1a2b1b21-ε1-εεεb3§5.3:離散無記憶信道及其信道容量-12二元刪除信道信道容37§5.3:離散無記憶信道及其信道容量-13由定理5.2，當輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

§5.3:離散無記憶信道及其信道容量-13由定理5.2，當輸38§5.3:離散無記憶信道及其信道容量-140.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲線b:二進制刪除信道的信道容量曲線§5.3:離散無記憶信道及其信道容量-140.51.000.39§5.3:離散無記憶信道及其信道容量-15香農第一定理（變長無失真信源編碼定理）的物理意義

（達到極限時等號成立）從信道的角度看，信道的信息傳輸率（達到極限時等號成立）

§5.3:離散無記憶信道及其信道容量-15香農第一定理（變長40§5.3:離散無記憶信道及其信道容量-16香農第一定理（變長無失真信源編碼定理）的物理意義無噪無損信道的信道容量：C=logM再看當平均碼長達到極限值時此時信道的信息傳輸率R＝無噪信道的信道容量C無失真信源編碼的實質：對離散信源進行適當變換，使變換后新的碼符號信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含的信息量達到最大，從而使信道的信息傳輸率R達到信道容量C，實現信源與信道理想的統計匹配。又稱：無噪信道編碼定理若信道的信息傳輸率R不大于信道容量C，總能對信源的輸出進行適當的編碼，使得在無噪無損信道上能無差錯地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯地傳輸信息則是不可能的。§5.3:離散無記憶信道及其信道容量-16香農第一定理（變長41信道容量InformationsourceEncoderSXDiscreteCommunicationChannelX={x1,x2,…,xr}DecoderXSInformationreceiver信道容量InformationsourceEncoderD42連續信道－－模擬信道連續信道：特點1：時間離散、幅度連續特點2：每個時刻是取值連續的單個隨機變量（vs離散序列)研究方法：N個自由度的隨機變量，取研究平均在每個自由度上的C模擬信道：特點1：時間連續、幅度連續特點2：一族時間樣本函數，每個時間樣本函數都是時間、幅度取值連續的研究方法：1、限頻、限時時離散、量化為離散隨機矢量2、為避免有記憶隨機矢量研究的困難，找到一組正交完備函數集，展開為級數，使所得到系數組成的隨機矢量相互獨立或線性無關。注意：1、限時－－頻譜無限，限頻－－時間無限。2、認為函數在F以上或T以外取值很小，限時、限頻不會引起函數的嚴重失真連續信道－－模擬信道43Analogsource模擬通信系統SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter01101…01110010…01111010…01101…Analog模擬通信系統SourceChannelAnal44§5.4:連續信道及其容量－1－回顧連續隨機變量的熵－微分熵（VS離散隨機變量）連續隨機變量最大熵分布－－依賴于約束條件（VS離散隨機變量）峰值功率受限條件下－－均勻分布的隨機變量具有最大微分熵平均功率受限條件下－－高斯分布的隨機變量具有最大微分熵連續信道的輸入所取的值域不足以完全表示對信道輸入的限制還有約束條件C＝max[h(Y)-h(n)]C取決于信道的統計特性（加性信道即噪聲的統計特性）輸入隨機矢量X所受的限制條件（一般考慮平均功率受限時）C的單位為：比特/N個自由度連續信道信道容量－－容量費用函數描述§5.4:連續信道及其容量－1－回顧連續隨機變量的熵－微分熵45§5.4:連續信道及其容量－2C.F吳&朱&傅－－信道容量吳：信道容量：離散信道容量、連續信道容量容量代價函數：離散信道、連續信道朱：信道容量：離散信道容量費用函數：連續信道&模擬信道傅：信道容量：離散信道容量、連續信道容量§5.4:連續信道及其容量－2C.F吳&朱&傅－－信道容46§5.4:連續信道及其容量－3研究連續信道容量的方法基本、簡單的信道：無記憶加性噪聲信道信道噪聲為高斯時何種分布輸入能達到對信道的充分利用信道輸入為高斯時何種分布噪聲對信道傳輸信息影響最大§5.4:連續信道及其容量－3研究連續信道容量的方法47§5.4:連續信道及其容量－4一些基礎知識：對于加性信道Y=X+NX：信道輸入N：信道噪聲Y：信道輸出信道的轉移概率分布函數就是N的分布函數b(x)是信道輸入為x時對應的費用如果X、Y、N中有兩個是高斯分布，另一個也是高斯分布的高斯分布的隨機變量的微分熵h(XG)＝高斯分布的連續隨機變量的微分熵h(XG)的值只與方差有關，與均值無關§5.4:連續信道及其容量－4一些基礎知識：對于加性信道Y48加性信道ErrorSource+EXOutputInput加性信道ErrorSource+EXOutputInput49§5.4:連續信道及其容量－5定義：容量費用函數若上確界在I(X,Y)存在最大值時對于無記憶信道：因為有：§5.4:連續信道及其容量－5定義：容量費用函數50§5.4:連續信道及其容量－6無記憶加性噪聲信道的信道容量費用函數無記憶加性噪聲信道的前向轉移概率密度函數就是N的概率密度函數，即：其中

§5.4:連續信道及其容量－6無記憶加性噪聲信道的信道容量費51§5.4:連續信道及其容量－7于是有：取信道輸入信號的平均功率E(X2)作為信息傳輸的費用則有：無記憶加性噪聲信道的信道容量費用函數為：因h(N)與px(x)無關，求解C(PS)問題轉化為只需對h(Y)進行§5.4:連續信道及其容量－7于是有：52§5.4:連續信道及其容量－8無記憶加性高斯噪聲信道的信道容量費用函數條件：ZZG問題：求使C(PS)最大時的X的概密分布函數求解步驟：因為C(PS)

所以要求使C(PS)最大求使h(Y)最大而在PS約束條件下，當YYG時h(Y)達到最大此時XXG，且C(PS)＝結論：當信道輸入信號為高斯分布信號時，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。換句話說：在無記憶加性高斯噪聲信道中傳輸信息時，高斯分布的信號是最有效的§5.4:連續信道及其容量－8無記憶加性高斯噪聲信道的信道容53§5.4:連續信道及其容量－9無記憶加性噪聲信道對高斯分布的輸入信號的影響條件：XXG，，約束條件PS問題：考察何種概密分布的N使I(X;Y)最小求解步驟：因為而當NNG時，YYG此時：可以證明：結論：無記憶加性高斯噪聲信道對高斯分布的輸入信號具有最大的破壞力。高斯分布特性：作為信道輸入信號的概密分布時，有利于信息傳輸作為加性信道噪聲概密分布時，不利于信息傳輸§5.4:連續信道及其容量－9無記憶加性噪聲信道對高斯分布的54§5.4:連續信道及其容量－10一般無記憶加性噪聲信道的信道容量費用函數無法給出解析形式的解，但可以給出其上下界表達式下界：根據前面的討論很容易得上界：當輸入信號功率限制在PS以下，噪聲功率限制在PN以下則輸出信號功率將<=PS＋PN。此時所以有：§5.4:連續信道及其容量－10一般無記憶加性噪聲信道的信道55§5.4連續信道及其容量－11§5.4連續信道及其容量－1156§5.5:模擬信道及其容量模擬信道下的信道容量費用函數及其計算廣義平穩的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。Shannon公式Shannon公式的物理意義Shannon公式的用途§5.5:模擬信道及其容量模擬信道下的信道容量費用函數及其計57§5.5:模擬信道及其容量－4廣義平穩的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C

對限頻(F)、限時(T)的連續過程信源可展成下列取樣函數序列：現將這2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。§5.5:模擬信道及其容量－4廣義平穩的限頻(F)、限時(T58§5.5:模擬信道及其容量－Shannon公式1Shannon公式定理5.3：滿足限頻(F)、限時(T)的廣義平穩隨機過程信源X(t,w)，當它通過一個功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式。則單位時間T=1時的容量為：§5.5:模擬信道及其容量－Shannon公式1Shann59§5.5:模擬信道及其容量－Shannon公式2證明：前面已求得單個連續消息（第k個）通過高斯信道以后的容量值為：同時，在消息序列的互信息中已證明當信源、信道滿足無記憶時，下列結論成立：由信道容量定義，有§5.5:模擬信道及其容量－Shannon公式2證明：前面60§5.5:模擬信道及其容量－Shannon公式3Shannon公式的物理意義它給出了決定信道容量C的是三個信號物理參量：F、T、之間的辯證關系。三者的乘積是一個“可塑”性體積（三維）。三者間可以互換。§5.5:模擬信道及其容量－Shannon公式3Shann61§5.5:模擬信道及其容量－Shannon公式4－Shannon公式的用途一

用頻帶換取信噪比：擴頻通信原理。雷達信號設計中的線性調頻脈沖，模擬通信中，調頻優于調幅，且頻帶越寬，抗干擾性就越強。數字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。深空通信中（功率受能源限制，頻譜資源相對豐富），采用兩電平數字通信方式有效利用信道容量。注意：有極限§5.5:模擬信道及其容量－Shannon公式4－Shan62歸一化信道容量關于信噪比SNR的關系圖歸一化信道容量關于信噪比SNR的關系圖63歸一化信道帶寬關于信噪比SNR的關系圖歸一化信道帶寬關于信噪比SNR的關系圖64

－Shannon公式另一種形式：

其中，為噪聲密度，即單位帶寬的噪聲強度，σ2=N0F;

Eb

表示單位符號信號的能量，Eb=STb=S/F；Eb/N0

稱為歸一化信噪比.也稱為能量信噪比.當Eb/N0<<1時，

≈Eb/N0

(nat)＝(bit)結論：低信噪比時，信道容量近似地決定于能量信噪比的值

－Shannon公式另一種形式：結論：低信噪比時，信道容量65極限：

傳送1bit信息所需的能量至少是0.693N0極限：

傳送1bit信息所需的能量至少是0.693N066§5.5:模擬信道及其容量－Shannon公式5－Shannon公式的用途二用信噪比換取頻帶多進制多電平多維星座調制方式的基本原理衛星、數字微波中常采用的有：多電平調制、多相調制、高維星座調制(M-QAM)等等，它利用高質量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。§5.5:模擬信道及其容量－Shannon公式5－Shan67§5.5:模擬信道及其容量－Shannon公式6Shannon公式的用途三

用時間換取信噪比重傳、弱信號累積接收基于這一原理。t=T0

為分界線。信號功率S有規律隨時間線性增長，噪聲功率σ2無規律，隨時間呈均方根增長。§5.5:模擬信道及其容量－Shannon公式6Shann68§5.5:模擬信道及其容量－Shannon公式7Shannon公式的用途四

用時間換取頻帶或用頻帶換取時間擴頻－－縮短時間：通信電子對抗、潛艇通信窄帶－－增加時間：電話線路傳準活動圖象§5.5:模擬信道及其容量－Shannon公式7Shann69§5.5:模擬信道及其容量－Shannon公式8討論信道容量及容量費用函數的目的：不是為了實現可靠傳輸（這是信道編碼的目的）只是為了實現最大限度達到信道的信息傳輸能力可以給出信道編碼的界關于Shannon公式條件是加性高斯白噪聲（AWGN)信道下給出的是S、N、W與信道容量（最大信息傳輸速率）的關系沒有給出S、N、W與差錯概率的關系§5.5:模擬信道及其容量－Shannon公式8討論信道容70－1.59dB－1.59dB71例1、已知信道轉移概率矩陣如下，求此信道的信道容量。X\Y012301/31/31/61/611/61/31/61/3解：由定理5.2，當輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

例1、已知信道轉移概率矩陣如下，求此信道的信道容量。72例2、在圖片傳輸中，每幀約為2.25×106個像素，為了能很好地重現圖像，需分16個亮度電平，并假設亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。解：高斯白噪聲加性信道單位時間的信道容量：(比特/秒）

要求的信息傳輸率為：Ct=2.25×106×log16×30=2.7×108（bit/s)=Wlog(1+S/N)而：10lg(S/N)=30dBS/N=103W=(2.7×108)/log(1+103)≈2.7×107(HZ)

例2、在圖片傳輸中，每幀約為2.25×106個像素，為了能很73曹志剛《現代通信原理》關于香農公式的一些結論信道容量：單位時間內信道上所能傳輸的最大信息量香農公式：香農公式結論：提高信號與噪聲功率之比能增加信道容量當噪聲功率N0時，信道容量C,這意味著無干擾信道容量為無窮大。增加信道頻帶W并不能無限制地使信道容量增大。信道容量一定時，帶寬W與信噪比S/N之間可以彼此互換曹志剛《現代通信原理》關于香農公式的一些結論信道容量：74信道與信道容量重點課件75結論－－解釋在特定信道（加性高斯白噪聲）下，信道容量的數值可以用發送信號的某些參量計算獲得。提高信噪比，意味著改變了信道的噪聲特性，因此可以改變信道的容量無噪信道定理（香農第一定理）說明：無噪無損信道的容量等于信道輸入信號的熵，而連續信源的熵（非微分熵）為無窮大，因此無噪無損信道的容量為無窮大。通信原理對香農公式的研究是考慮發送信號的帶寬、信噪比與最大信息傳輸率的關系信息論對香農公式的研究是考慮給定信道情況下，發送信號的帶寬、信噪比以及發送時間三者的辯證關系結論－－解釋在特定信道（加性高斯白噪聲）下，信道容量的數值可76§5.6:信道冗余度－1信道冗余度類似于信源效率有：稱ηc為信道效率。同理：

稱Rc為信道相對冗余度。顯然，對于無干擾信道：I(X;Y)=H(X),maxI(X;Y)=maxH(X)=logn則.§5.6:信道冗余度－1信道冗余度77§5.6:信道冗余度－2設：信道編碼后的碼子數為

M；碼長為n；碼符號空間的數目為r信息傳輸率

碼子的總數

最大信息傳輸率二進制符號：R=1（bit/symbol）二進制符號：M=2n二進制符號：§5.6:信道冗余度－2設：信道編碼后的碼子數為M；碼長為78若信息傳輸率＝

Rmax,不能進行檢糾錯要檢糾錯:R<Rmax

信道傳輸效率

冗余度

信道編碼的目的通過增加冗余度實現傳輸的可靠性§5.6:信道冗余度－3若信息傳輸率＝Rmax,不能進行檢糾錯要檢糾錯:R79§5.6:信道冗余度－4

例3：（10，5）分組碼；碼子總數M＝25；n＝10；r=2;101011010101010110011100100110……

§5.6:信道冗余度－4

例3：（10，5）分組碼；碼子總數80第五章：信道與信道容量

楊杰第五章：信道與信道容量楊杰81本章節達到的目的了解信息論研究信道的目的、內容了解信道的基本分類并掌握信道的基本描述方法掌握信道容量/信道容量代價函數的概念，以及與互信息、信道輸入概率分布、信道轉移函數的關系能夠計算簡單信道的信道容量/信道容量代價函數（對稱離散信道、無記憶加性高斯噪聲信道）了解信道容量/容量代價函數在研究通信系統中的作用理解香農第一定理又稱無噪信道編碼的物理意義進一步從信息論的角度理解香農公式及其用途本章節達到的目的了解信息論研究信道的目的、內容82概念問題熵熵率無失真信源編碼定理中的作用互信息信道容量信道編碼定理中的作用概念問題熵熵率無失真信源編碼定理中的作用83回顧－互信息函數的性質1互信息與信道輸入概率分布的關系性質1：I(X;Y)是信道輸入概率分布p(x)的上凸函數.回顧－互信息函數的性質1互信息與信道輸入概率分布的關系84回顧－互信息函數的性質2信息量與信道轉移概率分布的關系性質2：I(X;Y)是信道轉移概率分布p(y/x)的下凹函數.回顧－互信息函數的性質2信息量與信道轉移概率分布的關系85回顧－互信息函數的性質3信息量與信道輸入符號相關性的關系

性質3:信道的輸入是離散無記憶的,回顧－互信息函數的性質3信息量與信道輸入符號相關性的關系86回顧－互信息函數的性質4信息量與信道輸入符號相關性的關系

性質4:信道是離散無記憶的,回顧－互信息函數的性質4信息量與信道輸入符號相關性的87回顧－互信息函數的性質5性質3、性質4的推論：信道的輸入和信道本身都是離散無記憶的回顧－互信息函數的性質5性質3、性質4的推論：88信道與信道容量概述信道的分類與描述離散無記憶信道及其容量連續信道及其容量容量代價函數C(F)

信道與信道容量概述89§5.1:概述信息論對信道研究的內容什么是信道？信道的作用研究信道的目的§5.1:概述信息論對信道研究的內容90§5.1:概述－1信息論對信道研究的內容：信道的建模：用恰當的輸入/輸出兩個隨機過程來描述信道容量不同條件下充分利用信道容量的各種辦法§5.1:概述－1信息論對信道研究的內容：91§5.1:概述－2什么是信道？ 信道是傳送信息的載體——信號所通過的通道。 信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話，電話線就是信道；看電視，聽收音機，收、發間的空間就是信道。§5.1:概述－2什么是信道？92§5.1:概述－3信道的作用 在信息系統中信道主要用于傳輸與存儲信息，而在通信系統中則主要用于傳輸。§5.1:概述－3信道的作用93§5.1:概述－4研究信道的目的實現信息傳輸的有效性和可靠性有效性：充分利用信道容量可靠性：通過信道編碼降低誤碼率 在通信系統中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。通信技術研究－－信號在信道中傳輸的過程所遵循的物理規律，即傳輸特性信息論研究－－信息的傳輸問題（假定傳輸特性已知）§5.1:概述－4研究信道的目的94§5.2:信道的分類與描述信道分類信道描述§5.2:信道的分類與描述信道分類95§5.2:信道分類與描述－1信道分類 從工程物理背景——傳輸媒介類型； 從數學描述方式——信號與干擾描述方式； 從信道本身的參數類型——恒參與變參； 從用戶類型——單用戶與多用戶；§5.2:信道分類與描述－1信道分類96§5.2:信道分類與描述－2§5.2:信道分類與描述－297§5.2:信道分類與描述－3§5.2:信道分類與描述－398§5.2:信道分類與描述－4§5.2:信道分類與描述－499§5.2:信道分類與描述－5§5.2:信道分類與描述－5100

§5.2:信道分類與描述－6

信道劃分是人為的，比如其中：c1為連續信道，調制信道； c2為離散信道，編碼信道； c3為半離散、半連續信道； c4為半連續、半離散信道。

§5.2:信道分類與描述－6

信道劃分是人為的，比如101§5.2:信道分類與描述－7信道描述信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉移矩陣：P即：{，P，}，它可簡化為：。§5.2:信道分類與描述－7信道描述102§5.2:信道分類與描述－8其中：而 而§5.2:信道分類與描述－8103§5.2:信道分類與描述－9當K=1時，退化為單個消息（符號）信道；進一步當n=m=2時，退化為二進制單個消息信道。若它滿足對稱性，即構成最常用的二進制單消息對稱信道BSC：且,,§5.2:信道分類與描述－9當K=1時，退化為單個消息（符號104§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容量離散無記憶信道容量的計算離散無記憶信道的信道容量定理對稱的離散無記憶信道容量香農第一定理的物理意義§5.3:離散無記憶信道及其信道容量離散無記憶信道及其信道容105§5.3:離散無記憶信道及其信道容量-1離散消息序列信道

§5.3:離散無記憶信道及其信道容量-1離散消息序列信道106§5.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信道容量

由消息序列互信息性質對離散無記憶信道，有：（性質4）則當且僅當信源(信道入)無記憶時，“等號”成立（性質3、4推論）

§5.3:離散無記憶信道及其信道容量-2離散無記憶信道及其信107§5.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信道容量的進一步理解Cmax存在互信息性質1，上凸函數極值存在達到Cmax時的兩個條件：信道輸入（信源）是離散無記憶的信道輸入的概率分布是使I(X,Y)達到最大的分布C的值不是由信源的p(x)決定的，而是由p決定的C是信道作為信息傳輸通道的性能度量只有信道輸入（信源）X（x1x2…xn)滿足一定條件時，才能充分利用信道傳輸信息的能力§5.3:離散無記憶信道及其信道容量-3離散無記憶信道及其信108§5.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的計算思路：問題轉化為：有界閉區域上求約束極值方法：1、求區域內極值2、求邊界極值3、求前兩者的最大值具體實現：1、簡單情況下求解（如單符號信道、對稱信道）2、解方程3、迭代法4、其他§5.3:離散無記憶信道及其信道容量-4離散無記憶信道容量的109§5.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道容量定理

定理5.1：對前向轉移概率矩陣為Q的離散無記憶信道，其輸入字母的概率分布p*能使互信息I(p,Q)取最大值的充要條件是

其中：

是信源字母ak傳送的平均互信息，C就是這一信道的信道容量。§5.3:離散無記憶信道及其信道容量-5離散無記憶信道的信道110§5.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道容量定理理解在這種分布下，每個概率>0的字母提供的互信息＝C，每個概率＝0的字母提供的互信息≤C當且僅當這種分布時，可使I(p,Q)達到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反復調整p(ak)，使I(x=ak;Y)相等且都等于C此時I(X,Y)＝C定理只給出了可使I(X,Y)＝C的p(x)的充要條件，并無具體分布及C的值，但可以幫助求解簡單情況部分信道的C§5.3:離散無記憶信道及其信道容量-6離散無記憶信道的信道111§5.3:離散無記憶信道及其信道容量-7對稱的離散無記憶信道信道容量對稱的離散無記憶信道輸出字母的集合可以劃分為若干子集，對每個子集有：矩陣中的每一行都是第一行的重排列；矩陣中的每一列都是第一列的重排列。定理5.2：對于對稱的離散無記憶信道，當信道輸入字母為等概率分布時達到信道容量。§5.3:離散無記憶信道及其信道容量-7對稱的離散無記憶信道112§5.3:離散無記憶信道及其信道容量-8對稱信道§5.3:離散無記憶信道及其信道容量-8對稱信道113§5.3:離散無記憶信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。2§5.3:離散無記憶信道及其信道容量-9a1a2b1b2b3114§5.3:離散無記憶信道及其信道容量-10BSC信道信道容量的計算a1a2b1b21-ε1-εεε§5.3:離散無記憶信道及其信道容量-10BSC信道信道容量115§5.3:離散無記憶信道及其信道容量-11由定理5.2，當輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

這里：§5.3:離散無記憶信道及其信道容量-11由定理5.2，當輸116§5.3:離散無記憶信道及其信道容量-12二元刪除信道信道容量的計算a1a2b1b21-ε1-εεεb3§5.3:離散無記憶信道及其信道容量-12二元刪除信道信道容117§5.3:離散無記憶信道及其信道容量-13由定理5.2，當輸入等概分布時，互信息達到信道容量即：p(a1)=p(a2)=1/2；有：

于是：

§5.3:離散無記憶信道及其信道容量-13由定理5.2，當輸118§5.3:離散無記憶信道及其信道容量-140.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲線b:二進制刪除信道的信道容量曲線§5.3:離散無記憶信道及其信道容量-140.51.000.119§5.3:離散無記憶信道及其信道容量-15香農第一定理（變長無失真信源編碼定理）的物理意義

（達到極限時等號成立）從信道的角度看，信道的信息傳輸率（達到極限時等號成立）

§5.3:離散無記憶信道及其信道容量-15香農第一定理（變長120§5.3:離散無記憶信道及其信道容量-16香農第一定理（變長無失真信源編碼定理）的物理意義無噪無損信道的信道容量：C=logM再看當平均碼長達到極限值時此時信道的信息傳輸率R＝無噪信道的信道容量C無失真信源編碼的實質：對離散信源進行適當變換，使變換后新的碼符號信源（信道的輸入信源）盡可能為等概分布，以使新信源的每個碼符號平均所含的信息量達到最大，從而使信道的信息傳輸率R達到信道容量C，實現信源與信道理想的統計匹配。又稱：無噪信道編碼定理若信道的信息傳輸率R不大于信道容量C，總能對信源的輸出進行適當的編碼，使得在無噪無損信道上能無差錯地以最大信息傳輸率C傳輸信息；但要使信道的信息傳輸率R大于C而無差錯地傳輸信息則是不可能的。§5.3:離散無記憶信道及其信道容量-16香農第一定理（變長121信道容量InformationsourceEncoderSXDiscreteCommunicationChannelX={x1,x2,…,xr}DecoderXSInformationreceiver信道容量InformationsourceEncoderD122連續信道－－模擬信道連續信道：特點1：時間離散、幅度連續特點2：每個時刻是取值連續的單個隨機變量（vs離散序列)研究方法：N個自由度的隨機變量，取研究平均在每個自由度上的C模擬信道：特點1：時間連續、幅度連續特點2：一族時間樣本函數，每個時間樣本函數都是時間、幅度取值連續的研究方法：1、限頻、限時時離散、量化為離散隨機矢量2、為避免有記憶隨機矢量研究的困難，找到一組正交完備函數集，展開為級數，使所得到系數組成的隨機矢量相互獨立或線性無關。注意：1、限時－－頻譜無限，限頻－－時間無限。2、認為函數在F以上或T以外取值很小，限時、限頻不會引起函數的嚴重失真連續信道－－模擬信道123Analogsource模擬通信系統SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter01101…01110010…01111010…01101…Analog模擬通信系統SourceChannelAnal124§5.4:連續信道及其容量－1－回顧連續隨機變量的熵－微分熵（VS離散隨機變量）連續隨機變量最大熵分布－－依賴于約束條件（VS離散隨機變量）峰值功率受限條件下－－均勻分布的隨機變量具有最大微分熵平均功率受限條件下－－高斯分布的隨機變量具有最大微分熵連續信道的輸入所取的值域不足以完全表示對信道輸入的限制還有約束條件C＝max[h(Y)-h(n)]C取決于信道的統計特性（加性信道即噪聲的統計特性）輸入隨機矢量X所受的限制條件（一般考慮平均功率受限時）C的單位為：比特/N個自由度連續信道信道容量－－容量費用函數描述§5.4:連續信道及其容量－1－回顧連續隨機變量的熵－微分熵125§5.4:連續信道及其容量－2C.F吳&朱&傅－－信道容量吳：信道容量：離散信道容量、連續信道容量容量代價函數：離散信道、連續信道朱：信道容量：離散信道容量費用函數：連續信道&模擬信道傅：信道容量：離散信道容量、連續信道容量§5.4:連續信道及其容量－2C.F吳&朱&傅－－信道容126§5.4:連續信道及其容量－3研究連續信道容量的方法基本、簡單的信道：無記憶加性噪聲信道信道噪聲為高斯時何種分布輸入能達到對信道的充分利用信道輸入為高斯時何種分布噪聲對信道傳輸信息影響最大§5.4:連續信道及其容量－3研究連續信道容量的方法127§5.4:連續信道及其容量－4一些基礎知識：對于加性信道Y=X+NX：信道輸入N：信道噪聲Y：信道輸出信道的轉移概率分布函數就是N的分布函數b(x)是信道輸入為x時對應的費用如果X、Y、N中有兩個是高斯分布，另一個也是高斯分布的高斯分布的隨機變量的微分熵h(XG)＝高斯分布的連續隨機變量的微分熵h(XG)的值只與方差有關，與均值無關§5.4:連續信道及其容量－4一些基礎知識：對于加性信道Y128加性信道ErrorSource+EXOutputInput加性信道ErrorSource+EXOutputInput129§5.4:連續信道及其容量－5定義：容量費用函數若上確界在I(X,Y)存在最大值時對于無記憶信道：因為有：§5.4:連續信道及其容量－5定義：容量費用函數130§5.4:連續信道及其容量－6無記憶加性噪聲信道的信道容量費用函數無記憶加性噪聲信道的前向轉移概率密度函數就是N的概率密度函數，即：其中

§5.4:連續信道及其容量－6無記憶加性噪聲信道的信道容量費131§5.4:連續信道及其容量－7于是有：取信道輸入信號的平均功率E(X2)作為信息傳輸的費用則有：無記憶加性噪聲信道的信道容量費用函數為：因h(N)與px(x)無關，求解C(PS)問題轉化為只需對h(Y)進行§5.4:連續信道及其容量－7于是有：132§5.4:連續信道及其容量－8無記憶加性高斯噪聲信道的信道容量費用函數條件：ZZG問題：求使C(PS)最大時的X的概密分布函數求解步驟：因為C(PS)

所以要求使C(PS)最大求使h(Y)最大而在PS約束條件下，當YYG時h(Y)達到最大此時XXG，且C(PS)＝結論：當信道輸入信號為高斯分布信號時，無記憶加性高斯噪聲信道的信道容量可以得到充分利用。換句話說：在無記憶加性高斯噪聲信道中傳輸信息時，高斯分布的信號是最有效的§5.4:連續信道及其容量－8無記憶加性高斯噪聲信道的信道容133§5.4:連續信道及其容量－9無記憶加性噪聲信道對高斯分布的輸入信號的影響條件：XXG，，約束條件PS問題：考察何種概密分布的N使I(X;Y)最小求解步驟：因為而當NNG時，YYG此時：可以證明：結論：無記憶加性高斯噪聲信道對高斯分布的輸入信號具有最大的破壞力。高斯分布特性：作為信道輸入信號的概密分布時，有利于信息傳輸作為加性信道噪聲概密分布時，不利于信息傳輸§5.4:連續信道及其容量－9無記憶加性噪聲信道對高斯分布的134§5.4:連續信道及其容量－10一般無記憶加性噪聲信道的信道容量費用函數無法給出解析形式的解，但可以給出其上下界表達式下界：根據前面的討論很容易得上界：當輸入信號功率限制在PS以下，噪聲功率限制在PN以下則輸出信號功率將<=PS＋PN。此時所以有：§5.4:連續信道及其容量－10一般無記憶加性噪聲信道的信道135§5.4連續信道及其容量－11§5.4連續信道及其容量－11136§5.5:模擬信道及其容量模擬信道下的信道容量費用函數及其計算廣義平穩的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C。Shannon公式Shannon公式的物理意義Shannon公式的用途§5.5:模擬信道及其容量模擬信道下的信道容量費用函數及其計137§5.5:模擬信道及其容量－4廣義平穩的限頻(F)、限時(T)、限功率(P)白色高斯信道及其容量C

對限頻(F)、限時(T)的連續過程信源可展成下列取樣函數序列：現將這2FT個樣值序列通過一個功率受限(P)的白色高斯信道并求其容量值C。§5.5:模擬信道及其容量－4廣義平穩的限頻(F)、限時(T138§5.5:模擬信道及其容量－Shannon公式1Shannon公式定理5.3：滿足限頻(F)、限時(T)的廣義平穩隨機過程信源X(t,w)，當它通過一個功率受限(P)的白色高斯信道，其容量為：這就是著名的Shannon公式。則單位時間T=1時的容量為：§5.5:模擬信道及其容量－Shannon公式1Shann139§5.5:模擬信道及其容量－Shannon公式2證明：前面已求得單個連續消息（第k個）通過高斯信道以后的容量值為：同時，在消息序列的互信息中已證明當信源、信道滿足無記憶時，下列結論成立：由信道容量定義，有§5.5:模擬信道及其容量－Shannon公式2證明：前面140§5.5:模擬信道及其容量－Shannon公式3Shannon公式的物理意義它給出了決定信道容量C的是三個信號物理參量：F、T、之間的辯證關系。三者的乘積是一個“可塑”性體積（三維）。三者間可以互換。§5.5:模擬信道及其容量－Shannon公式3Shann141§5.5:模擬信道及其容量－Shannon公式4－Shannon公式的用途一

用頻帶換取信噪比：擴頻通信原理。雷達信號設計中的線性調頻脈沖，模擬通信中，調頻優于調幅，且頻帶越寬，抗干擾性就越強。數字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。深空通信中（功率受能源限制，頻譜資源相對豐富），采用兩電平數字通信方式有效利用信道容量。注意：有極限§5.5:模擬信道及其容量－Shannon公式4－Shan142歸一化信道容量關于信噪比SNR的關系圖歸一化信道容量關于信噪比SNR的關系圖143歸一化信道帶寬關于信噪比SNR的關系圖歸一化信道帶寬關于信噪比SNR的關系圖144

－Shannon公式另一種形式：

其中，為噪聲密度，即單位帶寬的噪聲強度，σ2=N0F;

Eb

表示單位符號信號的能量，Eb=STb=S/F；Eb/N0

稱為歸一化信噪比.也稱為能量信噪比.當Eb/N0<<1時，

≈Eb/N0

(nat)＝(bit)結論：低信噪比時，信道容量近似地決定于能量信噪比的值

－Shannon公式另一種形式：結論：低信噪比時，信道容量145極限：

傳送1bit信息所需的能量至少是0.693N0極限：

傳送1bit信息所需的能量至少是0.693N0146§5.5:模擬信道及其容量－Shannon公式5－Shannon公式的用途二用信噪比換取頻帶多進制多電平多維星座調制方式的基本原理衛星、數字微波中常采用的有：多電平調制、多相調制、高維星座調制(M-QAM)等等，它利用高質量信道中富裕的信噪比換取頻帶，以提高傳輸