信道與信道容量第三章3.1信道的根本概念3.2平均互信息及平均條件互信息3.3平均互信息的特性3.4信道容量及其計算方法內容3.4信道容量及其一般計算方法3.1.3信道容量我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關于X的信息量。信道的信息傳輸率就是平均互信息信息傳輸率R假設平均傳輸一個符號所需時間為t(s)，那么信道在單位時間內平均傳輸的信息量定義為信息傳輸速率：當信道的轉移概率一定時，平均互信息是輸入信源概率分布的上凸函數；即對每個固定信道都有一個最大的信息傳輸率。定義這個最大的信息傳輸率為信道容量C信道容量信道容量C：最大的信息傳輸率信道所能傳輸的最大信息量單位時間的信道容量：信道容量C求出后，已與輸入信源的概率分布無關，它只是信道傳輸概率的函數，只與信道的統計特性有關。對于某特定的信道，其信道容量C是確定的，是不隨輸入信源的概率分布變化而改變的。所以，信道容量是完全描述信道特性的參量，是信道能夠傳輸的最大信息量。3.4.1離散無噪信道的信道容量信道容量的計算對于一般信道,信道容量計算相當復雜,我們只討論某些特殊類型的信道：離散信道可分成：無干擾(無噪)信道無噪無損信道有噪無損信道無噪有損信道有干擾無記憶信道有干擾有記憶信道設信道的輸入X∈A={a1…ar}輸出Y∈B={b1…bs}〔1〕無噪無損信道輸入和輸出符號之間有確定的一一對應關系Xa1

b1a2

b2a3

b3111Y無噪無損信道Xa1b1Ya2

b2an-1bn-1an

bn11無噪無損信道由計算得：噪聲熵H(Y|X)=0損失熵H(X/Y)=0〔2〕有噪無損信道一個輸入對應多個輸出(r＜s)每個輸入所對應的輸出不重合X

b1Ya1b2b3a2b4b51/31/31/31/43/4計算得同理由有噪無損信道一個輸入對應多個輸出(r＜s)接收到符號Y后,對發送的X符號是完全確定的。噪聲熵H(Y|X)≠0損失熵H(X|Y)=0〔3〕無噪有損信道多個輸入變成一個輸出(r＞s)Xa1Ya2

b1a3a4b2a511111輸出Y與輸入X不是一一對應,而是多一對應關系。無噪有損信道多個輸入變成一個輸出(r＞s)噪聲熵H(Y|X)＝0損失熵H(X|Y)≠0信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。求信道容量，必須求出使互信息量到達最大的信源概率分布p(x)；對于無噪無損信道，當信宿為等概分布時，信源也為等概分布;問題：對于無噪有損信道，信源的概率分布是否也為等概分布？3.4.2對稱離散信道的信道容量對稱DMC信道對稱離散信道：對稱性:每一行都是由同一集{q1,q2,…qs}的諸元素不同排列組成——輸入對稱每一列都是由{p1,p2,…pr}集的諸元素不同排列組成——輸出對稱滿足對稱性,所對應的信道是對稱離散信道。對稱DMC信道信道矩陣不具有對稱性,因而所對應的信道不是對稱離散信道。對稱信道信道轉移概率矩陣行可排列，列也可排列各行元素集相同，只是排列順序不同各列的元素集也相同，只是排列順序不同對稱信道的信道容量對于對稱信道H(Y/X)=H(Y/ai)對稱離散信道能夠傳輸的最大的平均信息量,它只與對稱信道矩陣中行矢量{p1,p2,…ps

}和輸出符號集的個數s有關。找一組信源概率分布，使C到達最大?，F在P(bj〕=1/s，信源的概率分布為：假設信源為等概率分布p(ai)=1/r即信源等概分布，信宿也等概分布，使C到達最大。例3-1某對稱離散信道的信道矩陣為信道容量為強對稱信道假設輸入符號和輸出符號個數相同,都等于r,且信道矩陣為此信道稱為強對稱信道

(均勻信道)信道矩陣中各列之和也等于1強對稱信道強對稱信道的信道容量：例：設信道的轉移概率矩陣如下，求信道容量。H〔Y/xi〕=信道無噪聲當

p

=0,C=1－0=1bit當

p

=1/2,

信道強噪聲BSC信道容量BSC信道容量C3.4.3準對稱信道準對稱信道準對稱信道轉移概率矩陣輸入對稱而輸出不對稱，即每一行都包含同樣的元素，而各列的元素可以不同。行可排列，列不可排列它們滿定對稱性,所以P1所對應的信道為準對稱信道。

準對稱信道的信道容量準對稱信道矩陣P的列劃分成假設干個互不相交的子集Bk,由Bk為列組成的矩陣Qk是對稱矩陣。準對稱信道準對稱信道容量假設假設例：準對稱信道的信道容量當輸入分布為等概率時：其中r是輸入符號集的個數,(p1,p2,…ps)為準對稱信道矩陣中的行元素。設矩陣可劃分成n個互不相交的子集。Nk是第k個子矩陣Qk中行元素之和,Mk是第k個子矩陣Qk中列元素之和。

例：設信道傳遞矩陣為

計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

另一種簡單的方法：1.當輸入分布為等概率時：計算出各個輸出概率分布p(bj);2.然后計算H(Y);3.C=H(Y)max-H(Y/ai);上題另解：令p(ai)=1/2特殊信道容量計算小結特殊無干擾信道求解本質，H(Y/X)=0或H(X/Y)=0特殊有干擾信道，噪聲熵雖然不為0，但是由于行可排列，所以計算有規律性,H(Y/X)=H(Y/ai)；具體公式見下表：分類轉移矩陣特點信道容量特殊信道無干擾無損無噪r=s，每行都是單位坐標向量有噪無損r＜s，每列有且只有一個非零元素無噪有損r＞s，每行只有一個1有干擾強對稱r=s，矩陣對角線是1-p，其他p/n-1對稱行，列都可排列準對稱只有行可排列當信源輸入符號的速率為rs(符/秒),信道容量BSC信道容量實際信息傳輸速率Rt為

例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量?0Y0.9?10.1輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率3.2.4一般信道及其容量假設使I(X;Y)到達極值的輸入概率分布為{p1,p2,…,pr}，那么可以得到：3.2.4一般DMC信道定理3.3：一般離散信道的平均互信息I(X;Y)到達極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對于所有ai其p(ai)＞0I(ai;Y)≤C對于所有ai其p(ai)=0其中：其中I〔ai;Y〕稱為條件互信息，它表示信道輸出端收到符號集Y后，獲得的關于輸入符號ai的信息量。或者說，符號ai對信道輸出端符號集Y平均提供的信息量。上式說明：當信道的平均互信息I(X;Y)到達信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。信道容量的取得的過程，亦是信源符號概率分布的自我調整的過程，某一個輸入信源符號對輸入提供的平均信息量大于其他符號，那么勢必更多的使用這個信源符號，與此同時，信源符號的概率分布也就發生了變化和調整，由于輸入信源符號分布的調整，又減少了這個符號對輸出提供的平均信息量，增加了其他符號提供的平均信息量。最終，輸入信源符號的每一個非零概率符號，對輸入隨機變量提供的信息量到達相等，表達出信道的最大傳輸能力。例3.9：x1x2x3y1y2猜測p(x2)=0,對于其余輸入符號，一種可取的方式是讓其概率均勻分布。滿足定理要求，因此，求得這個信道的信道容量為C=1bit/符號例3-10如下圖的離散信道，求信道容量和最正確輸入符號分布概率。a1a2a3a4a5b1b2110.5110.5解：由于輸入符號a3傳遞到b1和b2是等概的，所以a3可以省去，即p(a3)=0對其余輸入符號，一種可取的方式是讓其概率相等，可計算得到p(b1)=p(b2)=1/2

計算得：I(a1;Y)=I(a2;Y)=I(a4;Y)=I(a5;Y)=

log2

：I(a3;Y)=0

所以該信道的信道容量為1bit/符號另一種可取的方法是，只取a1和a2中一個，a4和a5中一個，如只取a1和a5，即輸入符號的概率為：p(a1)=p(a5)=1/2,p(a2)=p(a3)=p(a4)=0同樣可算出p(b1)=p(b2)=1/2I(a1;Y)=I(a2;Y)=I(a4;Y)=I(a5;Y)=log2I(a3;Y)=0同樣滿足定理的要求，因此C=1bit/符號令一般信道容量的計算方法：1〕利用方程,求出s個2〕利用公式，求出信道容量C3〕利用公式，求出信宿的概率分布p(bj)4〕利用公式，求出信源概率分布。注意:必須求解出所有p(ai)，并確認所有的p(ai)都大于零，所求的C才存在。如果求出的p(ai)小于0，必須對概率進行調整，再求解C，一般要通過迭代算法來實現。3.6離散無記憶擴展信道及其容量〔1〕離散序列信道定義定義：多符號離散信源XN=X1X2…XN在N個不同時刻分別通過單符號離散信道{XP(Y/X)Y}，那么在輸出端出現相應的隨機序列YN=Y1Y2…YN，這樣形成一個新的信道稱為離散序列信道。離散序列信道模型〔2〕離散序列信道模型設信源矢量XN的每一個隨機變量Xi(i=1,2,…,N)均取自于信道的輸入符號集{a1,a2,…,an}，那么信源共有rN個不同的元素(i=1,2,…,rN)。那么輸出矢量YN由N個符號組成的輸出序列YN=Y1Y2…YN，它的每一個隨機變量Yi均取自于信道的輸出符號集{b1,b2,…,bs},那么信源共有sN個不同的元素對于無記憶離散序列信道，其信道轉移概率為：根據平均互信息的定義如果信道是無記憶的，有：如果輸入矢量XN中各個分量相互獨立，有：〔3〕離散序列信道容量當XN中各個分量相互獨立且信道無記憶時，有當XN到達最正確分布時，有信道容量：因為輸入隨機序列在同一信道中傳輸，所以有，說明，對于離散無記憶N次擴展信道，其信道容量等于單變量信道的信道容量的N倍；只有當輸入信源是無記憶的，同時序列中每一分量Xi的分布各自到達最正確分布時，N次擴展信道的信道容量才能到達NC;一般情況下，消息序列在離散無記憶N次擴展信道中傳輸時，其平均互信息為：I(XN;YN)≤NC例3-12.BSC信道二次無記憶擴展信道00X01101100011011Y轉移概率矩陣2次擴展信道的信道容量假設p=0.1那么C2=(2－0.938)bit/序列=1.062bit/序列單符號信道的容量為C1=0.531bit/符號3.7獨立并聯信道設有N個信道,它們的輸入、輸出分別是：

X1,X2…XN；Y1,Y2…YN信道信道信道p(Y1|X1)p(YN|XN)p(Y2|X2)…每一個信道的輸出Yi只與本信道的輸入Xi有關,與其他信道的輸入、輸出都無關。獨立并聯信道的信道容量

X1X2XNY1Y2YN3.9信源與信道的匹配信源發出的消息〔符號〕一般要通過信道來傳輸.對于某一信道其信道容量是一定的。對于某一信道，只有當輸入符號的概率分布滿足一定條件時才能到達其信道容量。也就是說只有特定的信源才能使某一信道的信息傳輸率到達最大。一般信源與信道連接時，其信息傳輸率R=I(X;Y)并未到達最大。這樣，信道的信息傳輸率還有提高的可能，即信道沒有得到充分利用。信道冗余度定義為：冗余度越大，說明信源與信道匹配程度越低，信道的信息傳遞能力未能得到充分利用；冗余度越小，說明信源與信道匹配程度越高，信道的信息傳遞能力得到較充分利用。冗余度為零，說明信源與信道完全匹配，信道的信息傳遞能力得到完全利用。無損信道的相對剩余度無損信道的信道容量C=logr而I(X;Y)=H(X)〔整個信源的熵都無損的傳遞過去〕因而無損信道的相對剩余度=