1、 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.1 信道的數學描述與分類4.2 單符號信道的信道容量4.3 多符號信道的信道容量4.4 連續信道的信道容量4.5 Shannon公式的應用 信 息 論 基 礎 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.6 比特能量與比特信噪比4.7 功率利用率與頻譜利用率的關系4.8 有色高斯信道的信道容量4.9 信源與信道的匹配設計 信 息 論 基 礎 第四章第四章：信道和信道容量信道和信道容量 4. 1 信道的數學描述與分類信道的數學描

2、述與分類 ( The mathematical description and classes of channel) 一、信道的數學描述一、信道的數學描述 在前面的兩章，我們主要研究了信源的固有屬性以及它的數學描述方法。而最終研究目的：主要是解決如何掌握信源發送信息的最大能力和最有效發送的條件。這一章我們將討論信息流通的重要環節，即承擔信息傳輸和存儲功能的信道。首先要解決的問題是：信道的客觀屬性及數學描述方法；其次討論信道的最大傳送或存儲信息的能力，以及如何達到充分利用信道資源的條件。 實際上我們對信道已有一定的描述，如我們在互信息、條件熵的引出時，都涉及到信道的模型。ChannelX Y

3、N 一般來講，信道都是加性信道，即YXN ，這是因為對于乘性噪聲的數學描述尤為困難，所以通常僅以加性取代。4. 1 信道的數學描述與分類信道的數學描述與分類 條件熵H(Y/X)被稱為噪聲熵(Noise entropy),是由于當已知信源X的條件下，信道的輸出還存在不定度時，則此刻它必定是由于信道本身的干擾噪聲所致。 而另一條件熵H(X/Y)則稱為損失熵(Loss entropy)，也有的書稱為信道疑義度(Channel equivocation) 。它所表達的物理意義：當信道輸出端Y收到全部的輸出符號之后，對輸入端X尚存的平均不確定度。這種對X還剩下的不定度也是由于傳送過程中，信道干擾機制所致

4、。 先分析這兩個條件熵的概念差別：噪聲熵H(Y/X)所表達的是當輸出端Y在X所有情況都確知后，變量Y的不定度。由于信道輸入除了X就是噪聲N，所以此刻Y的不定度就一定是N的熵。這也說明信道的輸出Y還有不定度時，已與信源的變量X毫無關系，完全是信道內部的干擾產生；而損失熵H(X/Y)所表達的含4. 1 信道的數學描述與分類信道的數學描述與分類義是當輸出端確知所收到的信號Y以后，仍然不明晰輸入端X的情況，即存在有疑義。雖然這也是信道干擾所致，但是由于是隨X的出現而發生，因而稱為損失熵。 從數學角度看其差別并不大，因為H(X/Y)和H(Y/X)是互通的。()() ( )()( )( )p xyP x

5、y p yP y xp xp x 但是要考慮Y=X+N的客觀因素，則條件概率P(Y/X)的物理 意義就很明確了。因為Y的不定度是由X和N所決定，當其中一個確知以后，Y的不定度是否完全有另一變量所決定？即：我們可以從數學中證明這個關系：( , )()()( )()( )YNyxnyf x nP y xpyCnf nf yxnthenWhere C=constant npxyP ？4. 1 信道的數學描述與分類信道的數學描述與分類()( )()()( )()()()( )()()NNNdnP y xpnpyxpyxp ndyH Y XH NHYXH YH Y XH N，即即噪噪聲聲熵熵。且且例例4

6、-1. 設信道噪聲為高斯噪聲，且概率密度為：設信道噪聲為高斯噪聲，且概率密度為：22211( )exp()22nnp nn222211()()exp()22()()log 2ynnnyxnP y xp yxuxduH Y XH Ne ：即即則則高高斯斯噪噪聲聲熵熵。4. 1 信道的數學描述與分類信道的數學描述與分類 因此，從信道模型來看，條件概率P(y/x)，充分表達出信道的固有干擾屬性，則應該成為其恰如其分的數學描述。或者說信道本身所存在的干擾噪聲是產生不定度的唯一來源，它對信息傳輸過程中必然引起信息的損失，這是信道本身的客觀屬性，而與信源和信宿無關。再有不同的信道應存在不同的損失，如果想利

7、用數學關系式描述這種損失，那么P(y/x)一定是最合適的。 所以這就是用P(y/x)來作為信道的數學模型的原因。而且，(; )()()( )()( ), (), ,(; )( )()I X YH XH X YH YH Y XF p x P y x A BxAyBABI X Yp xP y xwhere,如如果果給給定定集集合合 和和 ，則則就就是是關關于于和和的的函函數數。 顯然P(x)反映的是信源屬性，而P(y/x)才是信道的根本屬性。因此，互信息是與信源、信道有關的量，如果對互信息作一些數學處理，設法使它能直觀地反映信道的某種物理特性，那么它是否將比P(y/x)更具有實用價值？4. 1 信

8、道的數學描述與分類信道的數學描述與分類 雖然P(y/x)表達的是信道的數學模型，但是不能直觀地表達出信道的物理功能能力的大小，這對于評估、優化、分析等應用都不方便。比如說信息熵H(X)就是表征信源能力大小的量。但是我們不能以條件熵H(Y/X)表征信道本身功能的物理量，因為H(Y/X)僅是噪聲這種物理概念，并不能直觀地代表信道傳送信息功能的大小；而H(X/Y)是損失熵，它反映信息遭受損失的情況，也是間接反映信道的功能屬性。所以我們只得引入一個信道的物理量信道容量信道容量。二、信道容量的定義二、信道容量的定義（Definition of Channel Capacity） 前面論述了P(y/x)僅

9、能描述信道的數學屬性,而不是物理屬性。下面尋求一個既能與P(y/x)有關,又要能直觀反映信道傳輸信息的物理特征的物理量。首先，如果說給定一個信道則就意味著給定了P(y/x)以及X、Y取值的集合A和B。或者說以P(y/x)和A,B可以唯一地確定某一信道的客觀屬性。因此要想構造一個有關信道的物理量，4. 1 信道的數學描述與分類信道的數學描述與分類就要與這三個數學特征發生關系。其次就得與信道的物理功能特征發生關系。(; )( ), (), ,I X YF p x P y xA B 上式表明：互信息與信道的輸入、輸出量有關。如果我們加上一些數學限制條件，使它變成僅與 有關時，它就能變成適合于我們的物

10、理量。下面就是這種數學處理： (), ,P y xA B( )( )(;)( ),(),maxmaxdefp xp xCI X YF p xP y xA B 該式表示：在給定 的條件下，調整P(x)而使互信息達到最大時的值。這種數學處理就是求互信息的條件極值問題。(), ,P y xA B 即給定了信道，而調整(),P y xA B所引入的限制條件：給定 P(x)就意味著信源可以任意改變，是可以不用考慮實際是否允許， 而理想地變化。目的就是為了找一個互信息的最大值，也是為了測試信道的最大傳信能力。很顯然所得到的C就是我們要找的信道物理量，我們稱為信道容量( Capacity)。4. 1 信道的

11、數學描述與分類信道的數學描述與分類 求上確界是為了適應極值只能接近某一極限的情況，因此信道容量也可能是一個理論值而已。對于信道容量的定義式，我們可以用集裝箱的例子形象化地比喻出來。 ( )( )(; )()(; )()s p:umaxsupdefp xdefp xyCI X YPxyCI X YPx：，Definition嚴嚴格格的的定定義義這這里里表表示示求求上上確確界界的的數數學學處處理理。( supremum )4. 1 信道的數學描述與分類信道的數學描述與分類 信道好比集裝箱，而信源就像不同的貨物，集裝箱的容積不可改變，但是里面的貨物的組成是可以改變。調整信源就像改變貨物的組成，是可以

12、用于測試集裝箱的最大容積。 信道容量的定義是有了，但是我們還要證明這種定義是否存在和唯一，即用于定義信道容量的互信息的條件極值是否一定存在和這個極值的唯一性。 有定理可證明互信息 I(X;Y) 是信源概率分布 P(x) 的上凸函數 。1212( )(1)( )( )(1)( )01Ip xpxI p xI pxwhere,唯一性證明:要證明兩種唯一性問題，1. 互信息的極值是唯一的。2. 達到極值C的輸入分布P(x)也一定是唯一的。 這實際上就是上凸函數的充分必要條件的證明。4. 1 信道的數學描述與分類信道的數學描述與分類 三、信道的分類三、信道的分類 ( The classes of ch

13、annel ) 我們給出一種基于信道數學描述的分類方法。因為條件概率P(Y/X)是任何信道的數學模型，給定P(Y/X)也唯一確定了信道，所以我們說信道的分類應該依據P(Y/X)的性質來分。 1211221121 21 2()() 11() 1() 1() 1 0() 1()() ()()011.2.()()3()(.butbut iiiniLLLLP y xP x yP y xP y xP x yP x yorP yyyxP y xP y xP y x P y xP y xP y xP y xP y x P y xxP y xxx無干擾信道無干擾信道有干擾信道有干擾信道無記憶信道有記憶信道4.

14、 1 信道的數學描述與分類信道的數學描述與分類. 無噪無損信道 即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X與Y一一對應情況。 有的書中稱為無損確定信道。則：( )( )(;)()logmaxmaxp xp xCI X YH Xr. 確定信道之一 即 p(y/x)=1但 P(x/y)1 I(X;Y)=H(Y)H(X) X 與Y 有確定性關系，但不是一一對應。()()(;)()logmaxmaxp xp xCI X YH YsXY12xx3x4x5x1rxrx1y2ysy4. 1 信道的數學描述與分類信道的數學描述與分類XY12yy3y4y5y1ryry1x2xsx.確

15、定信道之二 與上述信道相反，一個X值可能有幾個Y值輸出，但各種X值所對應的Y 不重合，即：p(y/x)1但 P(x/y)= 1 or 0 I(X;Y)=H(X)0 and n,mLet: ;r=1Let: C=C(r,r) and Stopr=r+1npi1) 1 (),()(rrCQFromrji),(), 1(rrCrrCYesNo(1)(1, )riFrompC rr 4. 2 單符號信道的信道容量單符號信道的信道容量 五、高斯信道五、高斯信道 (Gaussian Channel) (memoryless continuous alphabet channel with a time d

16、iscrete ) 當輸入符號是一個連續取值，即：x ( ,+)且信道中的干擾噪聲為加性高斯變量 n, additive Gaussian noise2(0,)nnN22211( )exp()2NnnpnP y xyx此信道為高斯信道。22( )()( )()log ()(; )( )()( )( )( )( )max( )log 2log 2( )p xnnI X YH YH Y XH YH YH YH Np xP y xP y x dyH YCHdxp xYdxeeH N 4. 2 單符號信道的信道容量單符號信道的信道容量 顯然，噪聲熵H(N)與輸入變量x無關, 所以在求信道容量的過程中調

17、整信源分布p(x)的變化對H(N)沒有影響。為此,當H(Y)為最大時，才有互信息的最大值信道容量。又因為在求連續變量x,y的最大熵時，要有一個限定條件，故我們一般設定輸入功率受限。即：wiP averagepower constrained2max222( )log 211log 2log 2loglog 122wowinwowowiwonnnPPHYePPPCePe and 因此, 在功率受限的條件下, 只有輸入分布為高斯分布時才有可能使輸出分布為高斯分布, 而此刻的輸出熵為最大, 所以獲得高斯信道的信道容量。可以證明高斯信道是干擾最嚴重的一種單符號信道, 并且可得到加性信道的容量上下界。U

18、pper/Lower bound4. 2 單符號信道的信道容量單符號信道的信道容量證明：在信道輸入功率受限的條件下，加性信道的信道容量受限于以下不等式：211loglog(2)()22wowonPCePH NProof:()()()( )()log()( )()log()()NdefNNP y xpyxH Y Xp xP y xP y x dydxp xPyxPyx dydxH NThen2( )( )(; )( )()1max (; )max( )()log(2)()2wowop xp xI X YH YH NE yPCI X YH YH NePH N 即即，信信道道的的交交流流功功率率受受

19、限限。whenthen4. 2 單符號信道的信道容量單符號信道的信道容量以上證明的是加性信道容量的上界：1log(2)()2woCePH N以下證明它的下界： 因為在討論信道容量時可以任意假設輸入信源的分布，所以因為在討論信道容量時可以任意假設輸入信源的分布，所以可以假設輸入變量可以假設輸入變量X的分布為高斯分布。即，的分布為高斯分布。即，2( ) (0,)xpxN221( )exp()22xwiwiwixPpxPP其其中中def22222( )( )()( )()11()exp()221( )exp,22NNnnwowinwowoq yp x P y x dxp x pyx dxIfletp

20、yxyxyqywhere PPPP （因為兩個正態變量之和仍是一個正態變量。因為兩個正態變量之和仍是一個正態變量。）2( )1max (; )(; )log2wop xnPCI X YIX YLower bound，即即4. 2 單符號信道的信道容量單符號信道的信道容量( )()( )()(; )( ) ()log( )()( )()( ) ()log( ) ()log( )()( ),NX YX YX Yp xPyxq yP y xIX Yp x P y xdxdyq yPy xq y Py xp x P y xdxdyp x P y xdxdyq yP y x q y 由由于于和和都都是是

21、高高斯斯分分布布密密度度，21log2w onPLow erbound( )log ( )( )log ( )log1p xp x dxq xp x dxxx 2()( )()( )()log( ) () 1( )()( )1( )( )log102( )X YX YwonYP y xq y P y xp x P y xdxdyp x P y xdxdyq yP y x q yPq y q ydyq y= 211loglog(2)()22wowonPCePH NQ.E.D.() ( )1() ( )p y x q yp y x q y4. 2 單符號信道的信道容量單符號信道的信道容量 由此可見

22、，對于同樣的功率條件下非高斯干擾信道的容量要比高斯信道的容量要大。如果把非高斯信道看成高斯信道來考慮，這一定是比較安全的近似。因為高斯干擾是最嚴重的干擾情況，如果高斯信道可以滿足傳輸要求，那么在非高斯情況下也一定滿足要求。只不過這種工程近似是一種比較保守的估計，在非高斯條件下，有時信道容量要比高斯信道大的多。所以這種保守設計會使信道資源浪費很多，僅在沒有辦法的情況下使用為好，(即沒有條件得知信道噪聲特性的前提下)。第四章第四章：信道和信道容量信道和信道容量4. 3 多符號信道的信道容量多符號信道的信道容量 ( The Capacity of A Multi-Symbol Channel)一、一

23、、Series-Channel 串連信道也稱級聯信道也稱級聯信道Channel 1Channel 2XYZ則串連信道的數學特性為：()() ()P z xP y x P z y顯然它還是一個單符號信道，而且信道容量有以下限制，121,mi2,n,minssiiCC CCCoriN 注意，串連信道僅是單符號信道的一種擴展，其本質還是一個單符號信道。我們把它放在這里主要是為了與并聯信道好比較，而且為了引出常用的BSC信道的多級級聯公式。4. 3 多符號信道的信道容量多符號信道的信道容量例例4-7. BSC信道的多級級聯信道的多級級聯0 01 11-1-0 01 11-1-0 01 11-1-X1X

24、2X3XN-1XN111(12 )1(12 )12 1(12 )1(12 )1(12 )1(12 )log2,22:defBSCjiNNNNBSCjiNNNNSPPPPCH：設設Then 可見N次級聯后的信道仍是一個二元對稱信道，只不過誤碼率會大大增加，當N時可求得級聯后的信道容量丟失為零。4. 3 多符號信道的信道容量多符號信道的信道容量二、二、ParallelChannel 獨立并聯信道獨立并聯信道 指兩個以上的單符號信道相互并聯組合的情況，僅指各個子信道的轉移概率相互獨立的場合 ( Independent) 。 因此在這種條件下組合后的信道稱為：獨立并聯信道，其數學特性為：1 (1 2

25、)1 (1 2 )limlog2lim,221 1log2,02 2NNsNNCHHy 1x1yChannel 1Channel 2Channel Nx2xNx2yNy1()()NiiiP yxP yx 4. 3 多符號信道的信道容量多符號信道的信道容量 先討論最簡單的并聯信道：y 1x1yChannel 1Channel 2x2x2y112212()() ()pP y xP yx P yxCCC then1122(; )(;)(;)I X YI X YI X Y ：首首先先證證明明設單符號信道 Ch.1的輸入、輸出變量的取值集合為：1111121112,nmxAaaayBbbb設單符號信道

26、Ch.2的輸入、輸出變量的取值集合為：2222122212,nmxAaaayBbbb令它們的信道特性為：1122()()defdefjijij ijiPP ybxaPP ybaxnda ()jij iPyxP P 4. 3 多符號信道的信道容量多符號信道的信道容量1122121 21122( ; )(;)log:(; )loglog(;)logjijiiijijiXYjjiiiijjjjjijiijiiijijiXYXYjjjiijiiijijiXYXYjP PI X YI X X YYp P Pqpp pqq qPPI X YpPp P PqqPI X Yp Pp P Pq Note1122

27、log(; )(;)logjijjijiiijijiXYjjPqP PI X YI X Yp P Pq q 112iiiiiXXXXppp 4. 3 多符號信道的信道容量多符號信道的信道容量1122/(; )(;)(;)loglogloglogjij ijij iiijij iiijij iXYXYjjjjjjjjiijij iiijj iiXYXYjjjjI X YI X YI X YP PP Pp P Pp P Pqq qq qq qp P Pp Pqq /121212,(),()()jij ijj iijjiiiijj iijjXXwhereP PPP yb bxaaandp Pp x

28、x y yq y yq 1122log10(; )(;)(;)jjjjjjjjYYjjjjq qq qqqqqI X YI X YI X Y 可見聯合互信息不大于各子信道互信息之和，最多相等。如果適當地選取P(X1X2)的分布，而使得互信息I(X1X2;Y1Y2)為最大值，即并聯信道的信道容量，也一定滿足以上互信息間的不等式。4. 3 多符號信道的信道容量多符號信道的信道容量12PCCC，所所以以也也有有 問題是以上不等式在什么條件下等號成立，由于不等號的引入是來自不等式 Log x x-1 ，當且僅當x=1時等式成立。即，jjjjqq q時時，等等式式成成立立。121212121212121

29、211221211221112221( )()() ()( )( ) ()() ()() () ()() () () ()() ()() ()()XXXletXXXyy yp yp y yp yp yp yp x P y xp x x P y yx xp x x P yx P yxp x p xP yx P yxp x P yxp x P yxp yp ：這這說說明明了了等等式式成成立立的的條條件件可可以以變變換換成成2()y獨立并聯信道特性只有各個分量相互統計獨立4. 3 多符號信道的信道容量多符號信道的信道容量1212112212( )()() ()(; )(;)(;)Pp xp x xp

30、 xp xI X YI X YI XYCCC 只只有有當當時時，才才有有：等等式式成成立立。and 同理，以上結論很容易推廣到N個單符號信道并聯組合模式： 則N個符號的并聯信道也有，121121()(),( )() ()()( ):NjijiNPNiiNNiiPiPPCCCCCp xp x p xp xp xCNCCNCifThenor4. 3 多符號信道的信道容量多符號信道的信道容量 三、三、SumChannel 和和信道信道 這種組合信道看起來與并聯信道相似，但它們的輸入、輸出不同，前者是隨機變量 ；而后者是隨機矢量。先看它的數學描述：當輸入x的集合看成是由若干個子信道的輸入變量子集的和時

31、，即： Channel 1Channel 2Channel N1x2xNx1y2yNysXsY( )( )( )12,iiiiinxaaa12(1)(1)(1)(2)(2)(2)( )( )( )121212( )( )( )121,isiiisnnnNsssnsxaaaaaaaaaaaathen 這也表明在任何時刻，最多只有一個子信道在工作(或稱被占用)，這種通信方式在保密通信中是比較常見。如跳頻通信模式。4. 3 多符號信道的信道容量多符號信道的信道容量111111()(; )()()log()()()()()();()1;1sssssnmNjissijisssijsjssjjsjinnN

32、ssssjijiisiisP baI X Yp a P ba pp p bpp bbP bap bp a P bap ap，為為選選擇擇第第 個個子子信信道道傳傳送送的的概概率率。為為第第 個個子子信信道道被被占占用用時時，符符號號 的的出出現現概概率率。為為第第 個個子子信信道道的的數數學學s ss ss s特特性性。where,and(1)(1)(1)1(1)1(2)(2)(2)2(2)2()( ; )( )()log( )()( )()log( )jiijiijjjiijiijjPb aI X Ypa Pb a pp pbPb apa Pb a pp pb例例： N=24. 3 多符號信

33、道的信道容量多符號信道的信道容量12121222222:log222NNNCCCCCCCCCCCaaaaCifthbit/senymbol 可以證明和信道的信道容量C與各子信道的信道容量 CS 之間存在著以下關系式：211loglog2sSC -CC -CssP = aif :P2Cbit/symbolssNNCCassCaC，：，即即：如如并并且且可可證證明明當當其其中中每每個個子子信信道道被被占占用用的的概概率率為為時時和和信信道道將將達達到到其其信信道道容容量量：4. 3 多符號信道的信道容量多符號信道的信道容量 可以看出,和信道的容量資源浪費巨大,但為了安全可靠地通信，就只得以容量為代

34、價來換取某種通信性能指標的突破。利用犧牲某種指標來換取另一種指標，這在通信系統的設計中是常有的事。( )sip a 同樣可推出當達到和信道的信道容量C時C 其最佳輸入分布將與各子信道使用概率PS和達到此子信道容量的最佳輸入分布 之間存在著以下關系式：1maxosisiPa= P PaNssssCCCC；顯顯然然，而而且且，( (證證明明從從略略) )第四章第四章：信道和信道容量信道和信道容量 其實這個題目太大，我們僅討論連續信道最簡單的一種限頻（帶）、限功率的高斯信道。4. 4 連續信道的信道容量連續信道的信道容量 ( The Capacity for Gaussian Channel wit

35、h Power and Bandwidth Constrained )y 1x1yChannel 1Channel 2Channel Nx2xNx2yNyN Ch. (i)xy 問題的提出：4. 4 連續信道的信道容量連續信道的信道容量 前面我們已討論過由多個單符號信道組合成一個獨立并聯信道，已達到在單位時間內傳送多個符號的目的。注意這僅是在單位時間內位時間內, ,占用占用N個單符號信道來實現傳送個單符號信道來實現傳送N個符號的功能。要達個符號的功能。要達到這個目的到這個目的, 是否還可以設想由是否還可以設想由N個符號組成一個無記憶序列個符號組成一個無記憶序列, 由由一個單符號信道來傳送，只不

36、過將其速率提高一個單符號信道來傳送，只不過將其速率提高N倍而已。要保證倍而已。要保證在原來傳送一個符號的時間內傳送在原來傳送一個符號的時間內傳送N個符號，這種改造后的單符個符號，這種改造后的單符號信道其容量應是原來的號信道其容量應是原來的N倍。倍。 下面所要討論的時間連續信道，就是以單符號信道來過渡到多符號信道實現按序列傳輸的典型例子。采用我們一貫的把復雜問題簡單化的策略，將一隨機過程變換成隨機矢量，進而簡化成無記憶序列問題。同樣我們仍對數學描述最簡單，但實際干擾最嚴重的平穩高斯過程入手，即對時間上連續的高斯信道進行分析。 以前所提到的高斯信道是僅指對樣點具有正態分布的單符號信道(在時間上是離

37、散的)。而下面所提到的信道是指信道所允許4. 4 連續信道的信道容量連續信道的信道容量的輸入信號是一個隨機過程X(t,)，而且信道本身的干擾噪聲也是一個隨機過程N(t, )。因此我們對時間連續的高斯信道還要加一頻譜條件，這就是白色噪聲特性。總起來講，高斯信道的噪聲特征：加性白色高斯干擾噪聲。(Additive White Gaussian Noise) 因此高斯信道一般稱為AWGN信道，它是干擾最嚴重的信道。 高斯特性與白色特性，這是兩種完全不同的概念。所謂高斯噪聲是指噪聲的每一時刻樣點取值的概率分布滿足正態分布規律；這僅是針對樣點而言，而頻譜特性則是反映隨機過程不同時刻的樣點之間相互關系的量

38、。所謂白色特性是指一個隨機過程x(t), 如果其功率受限，即： ；則它的功率譜密度(power spectral density)若滿足以下條件：22( )xExt 0( )0NfBG ffB，我們則稱此頻譜條件為白色特性。4. 4 連續信道的信道容量連續信道的信道容量 而白色高斯噪聲是同時具備正態和白色兩種特性的噪聲：0n( )p n2n0Bf()G f0N2n2nBBRn22sin)(2 對于平穩隨機過程還有一時域統計規律，這就是自相關函數(autocorrelation function)它的數學定義為：( )( ) ()() ( )RE n t n tn tn t dt4. 4 連續信

39、道的信道容量連續信道的信道容量0Bf()G f0N2n2nBBRn22sin)(2 因為功率譜密度與自相關函數是一對關函數是一對Fourier Transform，所以所以知其中一個必知另一個。00( )( )2( )cos11( )( )( )cos2jjSRedRdRSedSd 0( )0NfBG ffB2sin2( )2nnBRB 4. 4 連續信道的信道容量連續信道的信道容量 顯然，當 則每個分量 之間的相關性，可以從自相關函數中得到。如果每個分量之間的時間間隔為 ，而每個 1/2F, 則自相關函數 R( )=0 , 說明每個分量之間相互獨立。123Lxx x xxix222122si

40、n2()sin()02()nnLBTBTBTBB kkR kB kk是是限限制制的的帶帶寬寬。即即取取樣樣時時間間間間隔隔因因此此, ,。ifletwhere 如果將隨機過程N(t , ),分解成由2FT個分量所構成的隨機序列，則我們一定可以將L個分量之間都彼此相互獨立，這也就為我們構造一個無記憶序列創造了條件。 給定一個AWGN信道，就是所引入的干擾噪聲N(t , )，具有白色頻譜，每個樣點具有相同的概率分布，即零均值正態分布；而對于非白高斯信道，則是頻譜特性不在保持平坦性，但概率仍是正態分布，我們則稱為有色高斯信道。 4. 4 連續信道的信道容量連續信道的信道容量 下面再討論AWGN信道的

41、信道容量問題：設輸入該信道的信號 功率受限，即：22( )1( )0 xE x tfBK ffB andWhere: K(f ) is frequency response characteristic of channel. 其中K(f)是該信道的頻響特性。有了這種頻響特性就意味信道 對其輸入的信號有了限帶要求, (相當于信號通過一個低通濾波器) ，所以輸入AWGN信道的信號也是一個帶寬受限，功率受限的信號。 我們已經了解到對于限頻、限時的隨機過程.一定可以分解成L維的隨機矢量, 而且L2BT個分量之間也可以實現彼此相互獨立。122( ,)() (0,)LlxX txx xxp xNif4.

42、 4 連續信道的信道容量連續信道的信道容量122221:( )(1,2,)AWGN1()()()exp22()()LlllllllNllnnLlllyxn tyy yyyxnlLyxP yxpyxP y xP yx 又又按按照照信信道道的的特特性性：whereand22,1log(1)2lllxlnx ynC對對于于每每個個樣樣點點，和和 可可以以構構成成單單符符號號信信道道的的容容量量： 這就是說當xl為零均值的高斯變量時，互信息I(xl;yl)才有最大值。而且當要傳送L個變量xl時，按照獨立并聯信道應得下式：4. 4 連續信道的信道容量連續信道的信道容量 由于當且僅當每個輸入變量之間相互獨

43、立，才有等號成立。22log(1)2xAWGNlnLCLC12222222( )() ()()2log(1)log(1)log(1)22LxxxAWGNnnnp xp x p xp xLBTCBTif 所以上述信道容量表達出傳輸持續時間為T，頻帶帶寬為B；且輸入功率受限的白色高斯信道的容量。有時我們常常以單位時間內的最大互信息為信道容量的標準，故：22log(1)defxTnCB如果將方差寫成功率譜的形式：220 xnSN Band220220log(1)log(1)log(1)log(1)xnxTnSCBTBTN BSCBBN B4. 4 連續信道的信道容量連續信道的信道容量 以上是AWGN

44、信道的容量公式，也稱為Shannon公式公式。它是信息論最早應用于實際工程設計的結論之一，對通信系統的設計與應用起到了不可估量的指導作用。00000000;1lim ln(1)()ln 2()ln 2xTSBNBxxSSTCB TNBNSTNSSCBNBNSN N atbitN at/secw h ebnT h enorit/sec第四章第四章：信道和信道容量信道和信道容量 Shannons Formula 它所涵蓋的幾種物理概念，對我們實際工程設計都非常有用，所以我們加重討論它的應用，以加深大家對信息論的認識。首先我們恢復這個定理的原貌及達到定理的條件。Theorem: Let the ou

45、tput of a continuous time channel be given by the sum of the input and white Gaussian noise of spectral density N0 . Let theInput be power constrained to S and let the input be constrained over some time interval T to be a linear combination of 2BT orthogonal functions. Then the capacity of the chan

46、nel per unit time is given by:4. 5 Shannon公式的應用公式的應用 ( The Application of Shannons Formula )0log(1)TSCBN B4. 5 Shannon公式的應用公式的應用This is Shannons famous formula for the capacity of a additivewhite Gaussian noise channel with a band-limited power-limitedinput .Corollary: The capacity per unit time of

47、a AWGN channel withthe input power constrained to S and with the number of degreeof freedom unconstrained is given by000/sec/seclogln 2BTSNSCeSNNNatBit4. 5 Shannon公式的應用公式的應用 以上是Shannon公式的兩種形式，這里可看出有關信道的統計特征C和實際物理量：帶寬B、持續時間T以及輸入信噪比都聯系在一起。這無疑給我們的實際應用帶來了很大的指導作用。下面我們一一分析如下： . CT is directly proportional

48、 to B . 即CT與B成正比。帶寬越寬，信道所允許傳輸的信息就越多；但當B時，則C本身將不在提高了，非常接近一常量。可見僅靠采用擴展帶寬的方法來提高信道容量，當達一定程度后就行不關于Shannon公式的討論200200log(1)log(1)loglog(1)log(1)logBnBTnSSSTCBTBTeN BNSSSCBBeN BN4. 5 Shannon公式的應用公式的應用通了，其原因：200nSBN BN B 還還要要受受到到噪噪聲聲功功率率的的約約束束。CBCT0logSeN. If B be given, then CT is directly proportional to

49、signal-noise ratio (S/ n) .2TnSC即 ，. When signal-noise ratio (S/ n) is very lower than 1, then CT is not equal to null . 當輸入信噪比遠遠地小于1時，則CT 不為零；這說明此刻信道仍具有傳輸信息的能力。即對于弱信號而言，也同樣有通信的可能性。比如人類可以從火星以外的空間收回飛船發出的信息。4. 5 Shannon公式的應用公式的應用 即，在信道容量C保持不變的條件下，信道帶寬B，傳輸時間T和輸入信噪比S/ n 之間，可以互相補償(互換)。 (). 三個物理量中當信噪比S/ n

50、 不變，則B T 反之 T B。這說明擴展帶寬可以縮短傳輸時間，而延長時間就可 以降低帶寬要求。 (). 如果傳輸時間T保持不變，則(S/ n ) B ，反之 B (S/ n ) 。即，在同樣的時間內，如果擴展帶寬，就可以 降低對信道信噪比的要求；而當壓縮帶寬時，則意味著必須提 高信噪比。顯然對于干擾嚴重的信道，在保證同樣的傳信率要 求下，則應該需要比較寬的信道傳輸。 實際上，這也反映出在信息傳輸過程中的一對矛盾：. If C be maintained at a constant , then B, T and S/ n can compensate each other .4. 5 Sha

51、nnon公式的應用公式的應用 在實際工程中我們也經常利用這三者的互換關系來達到不同的目的。比如收音機的調頻波段FM,帶寬B比調幅波段AM要寬的多，所以抗干擾性好適合于收聽音樂節目，但其傳輸效率低。又比如為了能在窄帶電纜中傳輸電視節目(因條件所限)，我們采用增加傳輸時間T來壓縮電視信號的帶寬 (目前的彩信業務也是這種機制) 。方法是先把電視信號快速錄制到錄像帶上，然后再慢放錄像帶，使得輸出頻帶降低至能使窄帶電纜傳輸的速率，最后再接收端采用慢錄快放的方式恢復原來的電視圖象。而象一般的可視電話都不可能得到實時的動態圖象，而是動畫效果。還有海軍的潛水艇上的通信手段，往往是一種突發式的通信機制(模式)

52、有效性 efficiency ：(; )defTTIX YC 可靠性 reliable ：0eSpN B4. 5 Shannon公式的應用公式的應用 就是要在極短的時間內將大量的信息發送出去，可想其收發電臺 的帶寬要求非同尋常。 .The AWGN is the must endanger for channel with additive noise . 即在加性信道的條件下，白色高斯噪聲是危害最大的干擾噪聲。因此對于那些不是白色高斯噪聲信道來說，其信道容量一定要大于Shannon公式所給出的結果。 例例48. 若市話網中的輸出信噪比大于若市話網中的輸出信噪比大于6dB時，此電時，此電話線的

53、信道容量為多少？話線的信道容量為多少？22222222log610lg0.6lglog 10log0.6 log 10 1.99wowowonnnwonPPPdBPbits4. 5 Shannon公式的應用公式的應用 23log(3400300) 1.9960007.2)woTnTPCBRGRC在（的的速速率率下下，傳傳真真機機根根本本不不可可能能在在當當時時的的市市話話網網中中應應用用。bits/seckbit/secThen226144/secnPdBISDNkbit目目前前我我們們市市話話網網的的信信噪噪比比, ,所所以以電電話話線線上上傳傳輸輸速速率率大大大大增增強強。如如果果使使用用

54、方方式式線線路路速速率率可可達達。 此例告訴我們違反常規的工程設計，就應該在計劃實施之前制止，而不是計劃實施之后。所以類示信息論的這樣的理論工作在可行性分析中能發揮出它的巨大作用。第四章第四章：信道和信道容量信道和信道容量 比特比特能量能量Eb是根據信息能量和消息中的信息比特數是根據信息能量和消息中的信息比特數計算得來。設有一計算得來。設有一 k bit的信息包含在持續有限時間的信息包含在持續有限時間T 的的消息波形消息波形S ( t ) 之中之中, 則該消息的能量為：則該消息的能量為： 4. 6 比特能量與比特信噪比比特能量與比特信噪比 ( Bit energy and Bit signal

55、 to noise ratio) 20TmES tdt則比特能量定義為：則比特能量定義為：mbEWEb itk而對于碼率為而對于碼率為R(bit/S)的數據流，則：的數據流，則：sbPER其中其中Ps 是消息的平均功率，定義為：是消息的平均功率，定義為： 0log 1log 1sbosTbTPE RNN FPCFNERCFNF則：0log 1bTECRFNF即： 設一含噪信號，其單邊功率譜為設一含噪信號，其單邊功率譜為N0 (W/Hz) ，若用，若用比特信噪比（比特誤差率）比特信噪比（比特誤差率） Eb /N0 來表示信道容量：來表示信道容量：msEPT4. 6 比特能量與比特信噪比比特能量與

56、比特信噪比如果設定如果設定r是頻譜利用率，其定義為：是頻譜利用率，其定義為： 00log1log1bbTEECRrFNFN則 ： 可見頻譜利用率可見頻譜利用率r和功率利用率和功率利用率(Eb /N0 )將作為數字將作為數字通信系統中兩個重要的質量指數通信系統中兩個重要的質量指數 。s e cd e fRb itrH zF4. 6 比特能量與比特信噪比比特能量與比特信噪比TCRFF顯然要保證可靠通信，必要確立顯然要保證可靠通信，必要確立20021log1rbbEErrNNr或第四章第四章：信道和信道容量信道和信道容量 在評估一個通信系統性能時，系統的功率利用率和在評估一個通信系統性能時，系統的功

57、率利用率和頻譜利用率是兩個最重要的指標。頻譜利用率是兩個最重要的指標。 功率利用率是在給定比特率的條件下用功率利用率是在給定比特率的條件下用比特信噪比比特信噪比（即每比特能量與白噪聲的單邊功率譜密度的比值（即每比特能量與白噪聲的單邊功率譜密度的比值Eb /N0 )來衡量，此值越小說明系統的功率利用率越高，可表明此來衡量，此值越小說明系統的功率利用率越高，可表明此系統利用所發送信號功率的能力。系統利用所發送信號功率的能力。 例如在二進制數字載波調制系統中，例如在二進制數字載波調制系統中，BPSK的功率利的功率利用率要高于用率要高于BFSK和和BASK的制式。的制式。 4. 7 功率利用率與頻譜利

58、用率的關系功率利用率與頻譜利用率的關系 ( The Relation for Power availability and Spectrum availability)一、功率和頻譜利用率的定義一、功率和頻譜利用率的定義4.7 功率利用率與頻譜利用率的關系功率利用率與頻譜利用率的關系 頻譜利用率頻譜利用率定義為系統所傳輸的信息速率定義為系統所傳輸的信息速率R與系統帶寬與系統帶寬 F 的比值的比值r，此值越高說明系統的頻譜利用率越大，因此它表明此值越高說明系統的頻譜利用率越大，因此它表明系統在單位頻帶上傳輸信息的效率。系統在單位頻帶上傳輸信息的效率。20021log1rbbEErrNNr或 例如

59、：在相同帶寬條件下，多進制調制要比二進制調制例如：在相同帶寬條件下，多進制調制要比二進制調制具有更高的頻譜利用率。具有更高的頻譜利用率。 如多電平正交調幅如多電平正交調幅(MQAM)和多電平相移鍵控和多電平相移鍵控(MPSK）。 一個好的通信系統應該是具有高的功率利用率和頻譜利用率。但是這兩個指標往往是相互矛盾的，即高的功率利用率要導致低的頻譜利用率出現，或者相反。因此在設計通信系統時往往在則兩個指標之間進行權衡考慮。021rbENr0bENr可靠通信可靠通信可能區域可能區域可靠通信可靠通信不可能區域不可能區域1122434535(W/Hz)bps/Hz4.7 功率利用率與頻譜利用率的關系功率

60、利用率與頻譜利用率的關系 對應于對應于頻譜利用率頻譜利用率與與功率利用率關系曲線功率利用率關系曲線告訴我們增加每告訴我們增加每單位帶寬的比特率單位帶寬的比特率r與隨之要增加所需的每比特的能量與隨之要增加所需的每比特的能量Eb。這就。這就是數字通信理論中能量與帶寬的交換關系。是數字通信理論中能量與帶寬的交換關系。 在固定信息速率的前提下在固定信息速率的前提下, ,增加帶寬可以降低對功率的要求。增加帶寬可以降低對功率的要求。0000limln 1(/ln 2ln 2ln693)20.xsTsbbTbxxPCbitNPE RE RRCNENS又這就是這就是AWGN信道實現可靠通信的信道實現可靠通信的