1、5.1 5.1 信道容量的定義 信息傳輸率是衡量通信質量的一個重要指標，定理1.1知：對于固定信道，總存在某種輸入概率分布q(x)，使I（X; Y）達到最大值，定義這個最大值為信道容量，記為C。 （比特/碼符號） （5-2）使I（X; Y）達到信道容量的分布q (x)為最佳分布。);(max)(YXICxq第1頁/共30頁5.2 5.2 離散無記憶信道容量的計算 定理定理5.1 如果信道是離散無記憶（DMC）的，則CN NC， 其中C是同一信道傳輸單符號時的信道容量。下面一條定理給出了一維信道和N維信道的信道容量之間的關系。若 （1） 輸入的N個符號統計獨立，即信源離散無記憶,根據定理2.3有

2、：NijiYXII1);();(Y YX X第2頁/共30頁（2）對每個i,輸入分布q (xi) 可使I (Xi; Yj) 達到信道容量C，則： = = NC CN NC (5-5) Y YX Xx x;max ICqNNiiixqxqYXIN1;max1NNxqxqxqYXIYXIYXIN;max;max;max221121NiiC1綜合式(5-4)和(5-5)，在信源和信道都離散無記憶的情況下，有CN = NC，即定理中等號成立，這時N長序列的傳輸問題可歸結為單符號傳輸問題。第3頁/共30頁5.2.1 達到信道容量的充要條件達到信道容量的充要條件 定理定理5.2 使平均互信息量I（X; Y

3、）達到信道容量C的充要條件是信道輸入概率分布 ，簡記為q (X) = q (x1), q (x2), , q (xM)滿足： (5-6)()()()(2121MMxqxqxqxxxXqXMixqCYxIxqCYxIiiii, 2 , 10)(;0)(;若若第4頁/共30頁介紹幾種無噪信道，對于無噪信道，信道的輸入X和輸出Y之間有著確定的關系，一般有三類：無損信道、確定信道和無損確定信道?！纠?.2】 無損信道無損信道 無損信道的輸入符號集元素個數小于輸出符號集的元素個數，信道的一個輸入對應多個互不交叉的輸出，如圖5-2所示，信道輸入符號集X =x1, x2, x3，輸出符號集Y =y1, y2

4、, y3, y4, y5，其信道轉移概率矩陣記為，計算該信道的信道容量。 63626100000021210000001P P圖5-2 無損信道x1x2x3y1y2y3y5y62/61/63/61/21/21y4第5頁/共30頁2. 根據定義計算信道容量C從上式可看出，求信道容量C的問題轉化為尋找某種分布q (x) 使信源熵H（X）達 到 最 大 ， 由 極 大 離 散 熵 定 理 知 道 ， 在 信 源 消 息 等 概 分 布時 ，熵值達到最大，即有)(max);(max)()(XHYXICxqxq31)()()(321xqxqxq3log)(max)(XHCxq1. 先考察平均互信息量I（

5、X; Y）= H（X）-H（XY），在無噪信道條件下，H（XY）= 0，則平均互信息量I（X; Y）= H（X）第6頁/共30頁3. 根據平均互信息量I（X; Y）達到信道容量的充要條件式（5-6）對C進行驗證：先根據計算出(yj)， j =1,2,3,4,5,631)()()(iijijxypxqy613166315531443133312231111)(616331)()()(916231)()()(1816131)()()(612131)()()(612131)()()(31131)()()(jjiiiiiiiiiiiiiiiiiiyxypxqyxypxqyxypxqyxypxqyxyp

6、xqyxypxqy滿足第7頁/共30頁3log311log1)()(log)();(61111jjjjyxypxypYxI3log6121log216121log21)()(log)();(61222jjjjyxypxypYxI3log6163log639162log6218161log61)()(log)();(61333jjjjyxypxypXxI再計算出：第8頁/共30頁5.2.2 幾類特殊的信幾類特殊的信道道 定義定義5.1 如果信道轉移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關于行（輸入）對稱。定義定義5.2 如果信道轉移概率矩陣P中，每一列元素都是另一列相同

7、元素的不同排列，則稱該信道關于列（輸出）對稱。定義定義5.3 如果信道轉移概率矩陣P可按輸出符號集Y分成幾個子集（子矩陣），而每一子集關于行、列都對稱，稱此信道為準對稱信道。 1. 準對稱信道準對稱信道第9頁/共30頁【例5.6】 信道輸入符號集X = x1, x2，輸出符號集Y = y1, y2, y3, y4，給定信道轉移概率矩陣 ，求該信道的信道容量C。 8141218181812141P P這是一個準對稱信道，根據定理5.3，當X等概分布，時，信道容量平均互信息量 I（X; Y）= H（Y）-H（YX） (5-7) 21)()(21xqxq21)()(21);(xqxqYXIC4121

8、41)(log)()()(log)(jijijijijjxypxypxqyy定理定理5.3 實現DMC準對稱信道的信道容量的分布為等概分布。第10頁/共30頁由 ，先算出 (5-8) 2121)(21)()()(iijiijijxypxypxqy214421332122211181)8181(21)(21)(163)4181(21)(21)(21)2121(21)(21)(163)8141(21)(21)(iiiiiiiixypyxypyxypyxypy將式(5-8)和 代入式(5-7)，可算得信道容量 = 0.0325 (比特/符號)21)()(21xqxq21)()(21);(xqxqYX

9、IC412141)(log)(21)(log)(jijijijjjxypxypyy第11頁/共30頁【例5.5.8】 信道輸入符號集X = x1, x2 ，輸出符號集Y = y1, y2, y3，給定信道轉移概率矩陣 ，求信道容量C。qqqq1001P P設使平均互信息量達到信道容量的信源分布為 q(x1) = ， q(x2) =1- 。由 可算出 3 , 2 , 1)()()(21jxypxqyiijij213321222111)1)(1 ()()()()1 ()()()()1 ()()()(iiiiiiiiiqxypxqyqqqxypxqyqxypxqy2. 信源只含兩個消息信源只含兩個消

10、息 第12頁/共30頁平均互信息量I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-)根據定義，求C的問題就轉化為為何值時，I (X; Y ) 達到最大值。令則信道容量 C = I (X; Y)a=0.5 = 1-q 312131)(log)()()(log)(jijijijijjxypxypxqyy5 . 00;YXI 計算信道容量C按下面步驟進行： (1)先驗證信道轉移概率矩陣P =p(yjxi)是方陣，且矩陣P的行列式p(yjxi)0； 3.信道轉移概率矩陣為非奇異方陣信道轉移概率矩陣為非奇異方陣 第13頁/共30頁(2)計算出逆矩陣P=

11、p-1 (yjxk)； (3)根據式（5-17），計算出； KixypxypxYHKjijiji, 2 , 1)(ln)()(1KkKiikixYHxypC111)()(expln(4)根據式（5-18），計算出信道容量C； (5) 驗證是否滿足q(xi) 0， i =1, 2, , K。l 先由式（5-16）計算出（yk） k =1, 2, , Kl再由式（5-21） 計算 Kixqi, 2 , 1)(KiikikxYHxypCy11)()(exp)(KjjijiKixypyxq11, 2 , 1)()()(第14頁/共30頁【例5.9】 給出信道轉移概率矩陣，求信道容量C。 2,8 . 0

12、2 . 01 . 09 . 0KP P（1）P矩陣的行列式，說明P是一個非奇異方陣。08 . 02 . 01 . 09 . 0P P（2）P的逆矩陣286. 1286. 0143. 0143. 179727178)(11ijxypP P（3）算出 212122211115 . 08 . 0ln8 . 02 . 0ln2 . 0)(ln)()(325. 01 . 0ln1 . 09 . 0ln9 . 0)(ln)()(jjjjjjxypxypxYHxypxypxYH第15頁/共30頁（4）信道容量 （奈特/碼符號） 21211)()(explnkiikixYHxypC276. 0)ln55. 0

13、3 . 0ee（5）下面驗證是否q (xi) 0，i =1, 2 l先根據 算出l再算得 2 , 1)()(exp)(211kxYHxypCyiikik438. 0562. 055. 0276. 023 . 0276. 01ee21212211110483. 0286. 1438. 0143. 0562. 0)()()(0517. 0286. 0438. 0143. 1562. 0)()()(jjjjjjxypyxqxypyxq第16頁/共30頁圖59 兩個信道5.3 5.3 組合信道的容量 考慮有兩個信道。信道1信道2： )(,12121ijjixypyyyYxxxXP P信道轉移概率矩陣：

14、輸出符號集：輸入符號集： )(,221/21/ijjixypyyyYxxxXP P信道轉移概率矩陣：輸出符號集：輸入符號集：信道編碼器XY信道譯碼器X /Y /第17頁/共30頁5.3.1 獨立并行信道獨立并行信道 在這種情況下，二個信道作為一個信道使用，傳送符號 ，接收符號 ，根據定理2.4，對于離散無記憶信道，下式成立 （5-22） /XX/YY);();();(/YXIYXIYYXXI對上面不等式兩邊取最大值，得 C C 1 + C2 （5-23） 推廣到N個信道的并行組合，當N個信道并行獨立使用時，記Ck (k = 1, 2, , N )為第k個信道的信道容量，C為組合信道的總容量，則

15、有 （5-24） NkkCC1等號成立的條件，都要求信源離散無記憶，即要求信道獨立使用且輸入獨立。 第18頁/共30頁5.3.2 和信道和信道 兩個信道輪流使用，使用概率分別為p1, p2，且p1+p2 = 1，記概率分布P =（p1, p2），和信道的平均互信息計算如下 I（P）= I（p1, p2）= p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P）式中：H 2（P）= - p1 log p1 - p2 log p2。)(log)()(log)(2211jijxijiyjijxijiyypxypxypxqpypxypxypxqpijij221121loglog)(log)(

16、)(log)(ppppyxypxypxqpyxypxypxqpjijxijiyjijxijiyijij第19頁/共30頁根據定義，有 （5-26） P PP PICxqxq)(),(,/max P PP P221)(),(,;max/HYXIpYXIpxqxq)(max22211P PP PHCpCp求使式(5-26)取極大值的P 令 ，對數以2為底，注意到p2 = 1- p1，得記 C1 - log p1 = C2 - log p2 = （為待定常數） （5-27） 0122211pPHCpCp02ln1log2ln1log2121ppCC從式（5-27）中解出： （5-28） 212221

17、CCpp第20頁/共30頁將式(5-28)代入條件p1+p2 = 1，得 （5-29）2122logCC式（5-28）中的p1, p2就是使平均互信息量I（p1, p2）達到最大的取值，將其代入式（5-26），得： 2211212log22log22221CCCCCCCCC)22(21CC= （p1+p2）= 2122logCCC 將式（5-29）代入式（5-30）得：推廣到N個信道輪流使用的情況, 當N個信道以不同概率輪流使用時，記Ck (k = 1, 2, , N )為第k個信道的信道容量，C為組合信道的總容量 ， 則 有 （5-31） NkkCC12log第21頁/共30頁5.3.3 串

18、行信道串行信道 將兩個信道級聯，有X / = Y，如圖5-10所示 。X信道1信道2Y /Y =X / 圖5-10 串行信道 串行信道的信道轉移概率用矩陣表示為： （5-32） )()()(jijijjijyxypxypxyp)()()(ijijijxypxypxyp串行級聯信道的信道轉移概率趨向于兩個獨立信道轉移概率的均值。若將N個轉移概率相同的信道級聯，當N 時，其總信道容量將趨于零。 第22頁/共30頁信道1：P1 = p (yx) ，信道2：P2 = p (yx ) ，信道1和信道2是獨立的，信道2的輸出Z只與其輸入Y及信道轉移概率P2 = p (yx )有關，而與X無關。因此信道1和

19、信道2串連就構成了一個馬爾可馬爾可夫鏈夫鏈，對于馬爾可夫鏈有如下定理：X信道1信道2ZY圖511 馬爾可夫鏈 數據處理定理數據處理定理：無論經過何種數據處理，都不會使信息量增加。定理定理5.4 若隨即變量X、Y、Z組成一個馬爾可夫鏈，如圖5-11所示，則有 I（X; Z） I（X; Y） （5-33） I（X; Z） I（Y; Z） （5-34）第23頁/共30頁【例5.5.11】 兩個離散信道 ， ，將它們串行連接使用，如圖 5-10，計算總信道容量C。002121414141411P P2121002121000021210021212P P（1）先計算總信道的信道轉移概率矩陣 002121414141412121002121000021210021210021214141414121P PP PP P第24頁/共30頁串聯信道的總信道矩陣P等于第一級信道的信道矩陣P1，從而概率滿足p (yx) = p (zx) (對所有的x，y，z) （5-36） 對式（5-36）兩邊關于x求和，得 p (y) = p (z) （5-37） xxxzpxqxypxq)()()()(對式（5-36）兩邊關于x求和，得 p (y) = p (z) （5-37）利用式（5-37），由式（5-36