目錄3.1信道分類3.2單符號離散信道及其容量

3.2.1數(shù)學(xué)模型

3.2.2信道容量

3.2.3離散信道容量的迭代算法3.3離散序列信道及其容量3.4信源與信道的匹配3.5連續(xù)信道及其容量

3.5.1連續(xù)單符號加性信道

3.5.2多維無記憶加性連續(xù)信道

3.5.3加性高斯白噪聲波形信道信道就是信息傳輸?shù)耐ǖ?，是通信系統(tǒng)的重要組成部分，是傳輸信息的載體，其主要任務(wù)是傳輸或者存儲信息。通信的本質(zhì)就是通過信道傳輸信息，實現(xiàn)不同地點之間或者不同時間的信息交流。信道是信息論的主要研究對象之一，其主要研究內(nèi)容是在理論上能夠傳輸或者存儲的最大信息量，即信道容量。3.1信道分類

信道特點輸入、輸出信號之間不再具有明確的函數(shù)關(guān)系，而是具有統(tǒng)計依賴關(guān)系通過研究信道輸入輸出信號以及相互之間的依賴關(guān)系來研究信道信道是指信息傳輸?shù)耐ǖ缹嶋H通信系統(tǒng)中使用各種各樣的物理通道，各種存儲媒質(zhì)有線的各種線路，無線的電波傳輸空間根據(jù)研究需要，可以選擇通信系統(tǒng)中不同的信道輸入輸出點，甚至可以將其中部分子系統(tǒng)進(jìn)行簡化處理。物理信道的不同，信號傳輸過程中引入的噪聲或者干擾類型也不盡相同，所以統(tǒng)計特性的研究是通信理論的主要內(nèi)容之一統(tǒng)計特性不是信息論的研究內(nèi)容，一般認(rèn)為已經(jīng)知道信道的傳輸特性，在此基礎(chǔ)上研究信息傳輸問題不研究信號在信道中的具體傳輸過程假設(shè)信道的傳輸特性是已知的研究方法根據(jù)不同的研究需要，將噪聲或者干擾對信號傳輸?shù)挠绊懹成錇閷?yīng)形式的統(tǒng)計特性信道分類統(tǒng)計特性恒參信道隨參信道信道的統(tǒng)計特性不隨時間而變化。如衛(wèi)星信道一般視為恒參信道信道的統(tǒng)計特性隨時間而變化大多數(shù)的信道都是隨參信道，統(tǒng)計特性隨著環(huán)境、溫度、濕度等參數(shù)而變化。如短波信道、微波信道等。用戶量單用戶信道多用戶信道也稱兩端信道，該信道只有一個輸入端和一個輸出端，而且只能進(jìn)行單方向的通信也稱多端信道，輸入端或者輸出端至少有一端具有兩個或者兩個以上用戶，并且可以實現(xiàn)雙向通信輸入、輸出的取值特性離散信道連續(xù)信道半離散半連續(xù)信道也稱為數(shù)字信道，該類信道中輸入空間、輸出空間均為離散事件集合，集合中事件數(shù)量是有限的，或者有限可數(shù)的，隨機(jī)變量取值都是離散的也稱為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無限的、不可數(shù)的輸入空間、輸出空間一個為離散事件集合，而另一個則為連續(xù)事件集合，即輸入、輸出隨機(jī)變量一個是離散的，另一個是連續(xù)的波形信道也稱為時間連續(xù)信道，信道輸入、輸出都是時間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù)集合，且在時間上的取值是連續(xù)的噪聲的統(tǒng)計特性隨機(jī)差錯信道突發(fā)差錯信道信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨立的，這種噪聲相互之間不關(guān)聯(lián)，碼元錯誤不會成串出現(xiàn)信道中噪聲或者干擾對傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨立，從而使得碼元錯誤往往成串出現(xiàn)，常有的如衰落信道、碼間干擾信道。在實際中這種信道經(jīng)常出現(xiàn)，如移動通信的信道、光盤存儲器等最具有代表性的是高斯白噪聲信道3.2單符號離散信道及其容量

3.2.1數(shù)學(xué)模型單符號信道單維信道信道的輸入符號之間、輸出符號之間都不存在關(guān)聯(lián)性，即無記憶的，信道的分析可以簡化為對單個符號的信道分析如果信道的輸入、輸出隨機(jī)變量都是離散的，則該信道為單符號離散無記憶信道。輸入符號、輸出符號不存在關(guān)聯(lián)性，并不表示輸出符號與輸入符號之間不存在關(guān)聯(lián)性信道的特性可以使用條件轉(zhuǎn)移概率進(jìn)行描述;表示在輸入為ai時，通過信道后接收為bj的概率，描述了信道噪聲的特性。矩陣形式條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣r*sp(bj|ai)通常稱為前向概率p(bj|ai):后向概率表示當(dāng)接收符號為bj時，信道輸入為ai的概率，所以也稱為后驗概率貝葉斯公式后驗概率都是十分重要的，可以通過前向概率和先驗概率計算出3.2.2信道容量

單符號離散信道平均每個符號傳送的信息量定義為信道的信息傳輸率R由于信道中存在干擾，輸入符號經(jīng)過信道可能會出現(xiàn)錯誤，信道輸出端接收的符號與輸入符號之間并不是一一對應(yīng)信道輸入平均信息量H(X)并不等于信道輸出端信息量H(Y)信道的信息傳輸率R含義：能夠正確傳輸?shù)男畔⒘?/p>

對于給定信道，前向概率p(y|x)是一定的，所以信道容量就是在信道前向概率一定的情況下，尋找某種先驗概率分布，從而使得平均互信息量最大，這種先驗分布概率稱為最佳分布。定義3.1

設(shè)某信道的平均互信息量為I(X;Y)，信道輸入符號的先驗概率為p(x)，該信道的信道容量C定義為條件極值問題約束條件先驗概率分布已知條件前向概率p(y|x)變化輸入分布p(x)極值I(X;Y)最大值使得I(X;Y)最大，這種先驗分布概率稱為最佳分布幾點結(jié)論：1對于給定信道最佳分布總是存在的如果信道輸入滿足最佳分布，信息傳輸率最大，即達(dá)到信息容量C2信道輸入的先驗分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量3信息量R必須小于信道容量C，否則傳輸過程中會造成信息損失，出現(xiàn)錯誤；如果R<C成立，可以通過信道編碼方法保證信息能夠幾乎無失真地傳送到接收端噪聲問題X：信道輸入Y：信道輸出n：信道噪聲映射(輸入到輸出)無噪一對一條件轉(zhuǎn)移矩陣每行元素中只有一為個1，其余值都為0H(Y|X)=0有噪一對多條件轉(zhuǎn)移矩陣映射至少一行有兩個或者以上非0元素H(Y|X)！=0討論輸入與輸出之間問題H(Y|X)=0為什么成立？非0即1，所以有損無損問題屬于信號檢測或者估值方面問題與有噪無噪相對應(yīng)討論輸出與輸入之間問題映射(輸出到輸入)無損一對一條件轉(zhuǎn)移矩陣PY|X：每列元素中只有一為非0H(X|Y)=0可以反推出PX|Y：每行元素中只有一為1否則就是有損理想信道1．無干擾離散信道輸入、輸出符號之間是確定性關(guān)系或者簡單的統(tǒng)計依賴關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合實際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類模型進(jìn)行研究分類根據(jù)信道輸入符號X與信道輸出符號Y之間的關(guān)系，可以分為下列幾種無噪無損無噪有損有噪無損有噪有損是最一般（除了上述三種之外，都是這類信道），后面討論（1）無噪無損信道輸入、輸出集合符號數(shù)量相等輸入X與輸出Y之間一一對應(yīng)I(X;Y)=H(X)=H(Y)H(Y|X)=H(X|Y)=0由最大熵定理可知C=lb(r)比特/符號最佳分布：輸入等概率分布條件轉(zhuǎn)移概率矩陣：每行每列1個元素為1（2）無噪有損信道

比特/符號輸出Y集合的符號數(shù)量小于輸入X集合的符號數(shù)量輸入向輸出映射：多對一由于無損，條件轉(zhuǎn)移概率矩陣：每行有1個元素為1接收到符號Y后，并不能唯一確定信道輸入X，即不能夠完全消除X的不確定性最佳分布：輸出為等概率分布即改變輸入X分布是的Y為等概率分布（3）有噪無損信道

輸出Y集合的符號數(shù)量小于輸入X集合的符號數(shù)量輸入向輸出映射：一對多輸出向輸入映射：一對一由輸出X可以唯一確定信道輸入X無損H(X|Y)=0容量最佳分布信道輸入等概率分布每列一個非0為什么？2．對稱離散信道的信道容量

有噪有損信道的一種特殊信道定義3.2

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱信道關(guān)于輸入是對稱的，這種信道稱為輸入對稱離散信道。即每行矢量具有相同的元素，每種元素的數(shù)量相同例如第二行的元素與第一行的元素完全相同所以該信道為輸入對稱的

假設(shè)轉(zhuǎn)移矩陣首行元素為(p1,p2,…pr)，則有

特點輸入行矢量元素相同即條件熵H(Y|X)與信道輸入符號的分布無關(guān)。信道容量最佳分布找到一種分布，使得信道輸出的熵H(Y)最大不一定能夠找到一種輸入分布使得Y為等概率分布求該信道的容量C解：設(shè)信道輸入的概率空間為信道輸出的概率分布為例3.1

信道的轉(zhuǎn)移矩陣為取得極值的條件為與p無關(guān)P(bj)不可能等概率分布解上述方程，可以得到取得極值的條件為p=0.5，即當(dāng)信道輸入為等概率分布時，取得最大值，所以比特/符號比特/符號比特/符號顯然,，所以，當(dāng)信道只是輸入對稱時,應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問題。信道容量不能夠簡單認(rèn)為是結(jié)論：定義3.3如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱信道關(guān)于輸出是對稱的，這種信道稱為輸出對稱離散信道。如果信道是輸出對稱的，那么當(dāng)信道輸入符號為等概率分布時，信道輸出也是等概率分布的。當(dāng)信道輸出對稱時為常數(shù)輸入等概率分布時由于信道轉(zhuǎn)移矩陣是已知的，可以使用下列公式只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量。定義3.4

如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個互不相交的子集，每個子矩陣滿足下列性質(zhì)：(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換；則稱該信道為準(zhǔn)對稱信道。顯然，準(zhǔn)對稱信道是輸入對稱的。特別地，當(dāng)這種劃分只有一個，該信道稱為對稱信道，此時信道既是輸入對稱的，也是輸出對稱的。輸入對稱且滿足H(X|Y)與信道輸入的分布無關(guān)，只與條件概率分布有關(guān)對稱信道的信道容量對稱信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號集合的數(shù)量有關(guān)。如果希望信息傳輸率達(dá)到信道容量，信道輸入應(yīng)當(dāng)滿足等概率分布。例3.3

設(shè)某信道的轉(zhuǎn)移矩陣為求其信道容量。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個準(zhǔn)對稱信道，可以將之分解為兩個互不相交的子集，而每個子集都是對稱信道形式，對應(yīng)參數(shù)分別為

行元素之和列元素之和根據(jù)準(zhǔn)對稱離散信道的信道容量計算公式求解

特別地，如果p＝0，則信道轉(zhuǎn)移矩陣為該信道即二元純對稱刪除信道，其信道容量為比特/符號對應(yīng)的參數(shù)分別為例3.4信道轉(zhuǎn)移矩陣為求信道容量C。解：通過觀測可知，該信道是準(zhǔn)對稱信道，可以分解為三個互不相交的子集，分別為，，，，，

，

，所以信道容量為

比特/符號3．一般離散信道的容量當(dāng)信道不具有對稱性時，信道容量不容易求出，從信道容量的定義知道，信道容量就是在信道給定條件下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入輸出之間的平均互信息量最大，換句話說，使得信道的輸入概率分布與信道匹配。對于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值問題即可得到最佳分布；然后根據(jù)最佳分布計算信道輸入、輸出之間的平均互信息量，從而得到信道容量如果信道輸入、輸出符號數(shù)量較少，這種方法是可行的。例3.5

信道轉(zhuǎn)移矩陣為求信道輸入最佳分布和信道容量。

解：觀察信道轉(zhuǎn)移矩陣可知，該信道不是對稱，信道的輸入輸出符號數(shù)量都為2，假設(shè)信道輸入符號的概率分別為p,1-p,可以得到平均互信息量。對H(X;Y)求導(dǎo)，得到最佳分布比特/符號從該例可以看出，即使是簡單的非對稱二元信道，其最佳分布的求解也十分復(fù)雜，不借用計算機(jī)很難求解出最佳分布，所以一般離散信道的信道容量的求解通過計算機(jī)求解。下面討論一般離散信道的解法在此之前，首先回憶一下高等數(shù)學(xué)方面的知識一般套路已知一些條件改變參數(shù)，要求一個極值存在一些約束想起什么？拉格朗日乘子法的典型套路信道轉(zhuǎn)移概率信道輸入概率之和為1可變化輸入分布，求互信息量最大值平均互信息量H(X;Y)是輸入概率分布p(x)的凸函數(shù)，所以極大值是一定存在的;H(X;Y)應(yīng)當(dāng)是個隨機(jī)變量(p1,p2,…,pr)的函數(shù)約束條件該多元函數(shù)的條件極值可以利用拉格朗日乘法求解1）構(gòu)造函數(shù)拉格朗日乘子2）對信道輸入概率p(ai)求導(dǎo)數(shù)，并令為0解方程組可以求出最佳概率分布3）將最佳分布代入I(X;Y)，即可求出信道容量。具體算法推導(dǎo)其中

所以考慮到和代入得到下列方程組

將方程組的兩邊同時乘以各自的概率p(ai)，并且兩邊同時對i求和，從而得到信道容量為由于定理3.2

設(shè)有一般離散信道，它有r個輸入符號，s個輸出符號，其平均互信息I(X;Y)達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足：常數(shù)C就是所求的信道容量。對所有的i上述定理只是給出了達(dá)到信道容量時，信道輸入符號分布的充要條件；不能夠給出信道輸入的最佳概率分布，也沒有給出信道容量的計算公式；達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿足概率的約束條件，并且使得達(dá)到最大值即可。一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。但是對于某些特殊信道，可以使用上述定理求解信道容量。例3.7

設(shè)某信道轉(zhuǎn)移矩陣為求該信道的容量和信道輸入的最佳概率分布。解：該信道不是對稱信道，所以不能直接使用對稱信道計算其信道容量。但是通過觀察發(fā)現(xiàn)，如果信道輸入符號的概率p(a2)=0，該信道就是一個二元純對稱刪除信道。這樣就可以假設(shè)然后檢查是否滿足上述定理的條件，如果滿足就可以計算出信道容量。首先根據(jù)假設(shè)求出相應(yīng)的p(bj)，

然后計算互信息量顯然滿足定理3.2的條件，所以信道容量為對應(yīng)的信道輸入最佳概率分布為。3.2.3離散信道容量的迭代算法

對于一般的離散信道，可以使用計算機(jī)求信道容量。計算量問題信道輸入符號數(shù)量r是已知的假設(shè)對應(yīng)概率分別為p1,p2,…,pr,不是，比這復(fù)雜累計概率允許概率精度為共r-1重循環(huán)第i重循環(huán)的次數(shù)為當(dāng)r較大，而且精度較小時，計算量十分大減少計算量采用迭代算法基本思想平均互信息量就可以表示為信道轉(zhuǎn)移矩陣和反向轉(zhuǎn)移矩陣的函數(shù)，通過反向矩陣修正信道輸入概率的分布，迭代計算I(X;Y)直到其趨向平穩(wěn)為止設(shè)后驗概率p(ai|bj)為自變量，并且假設(shè)存在一個反向試驗信道，反向信道的轉(zhuǎn)移矩陣就是由p(ai|bj)構(gòu)成的；正向信道

引入反向試驗信道后1.以反向轉(zhuǎn)移概率分布為自變量構(gòu)造函數(shù)求偏導(dǎo)數(shù)假設(shè)信道p(ai)固定得到條件概率完備性代入得到含義：在輸入概率分布給定條件下，達(dá)到極大值的最佳反向轉(zhuǎn)移概率分布由所確定

2.以輸入概率分布p(ai)為自變量假設(shè)信道反向條件概率p(ai|bj)固定同理可以構(gòu)造函數(shù)求偏導(dǎo)數(shù)考慮到約束條件代入上式并且令信道輸入概率表示為3.離散無記憶信道容量的逐步迭代算法(1)任意選擇初始輸入概率分布往往選擇初始分布為等概率分布(2)計算(3)利用計算(4)利用計算(5)計算(6)判斷如果成立轉(zhuǎn)向（7），否則n=n+1轉(zhuǎn)(2)(7)輸出計算出的信道轉(zhuǎn)移概率和信道容量,迭代結(jié)束3.3離散序列信道及其容量對于無記憶離散序列信道而言，假設(shè)序列長度為N，則信道轉(zhuǎn)移概率可以簡化為信道轉(zhuǎn)移矩陣為N次擴(kuò)展信道的轉(zhuǎn)移矩陣為對于無記憶信道而言，上述的轉(zhuǎn)移概率可以簡化為長度為N的離散序列平均互信息量為定理3.3設(shè)離散信道的輸入序列為信道輸出序列為信道的轉(zhuǎn)移概率為(1)如果信道是無記憶的，則(2)如果信道輸入序列是無記憶的，即各個分量相互獨立(3)如果信道輸入序列和信道都是無記憶的對于一般的離散無記憶信道的N次擴(kuò)展信道，如果信道輸入隨機(jī)矢量是無記憶的，但是信道是非平穩(wěn)的串聯(lián)信道擴(kuò)展到一般形式并聯(lián)信道3.4信源與信道的匹配信源的分布并不總是滿足信道輸入最佳概率分布，所以信息傳輸速率總是小于信道容量的，當(dāng)信息傳輸速率達(dá)到信道容量時，稱為信源與信道達(dá)到匹配，否則信道有冗余。定義3.5設(shè)信道的信息傳輸速率為I(X