第三章離散信道及其信道容量3.1信道的數(shù)學模型及分類3.2平均互信息及平均條件互信息3.3平均互信息的特性3.4信道容量及其一般計算方法3.6離散無記憶擴展信道及其信道容量3.7獨立并聯(lián)信道及其信道容量3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.9信源與信道的匹配第三章離散信道及其信道容量3.1信道的數(shù)學模型及分類13.1信道的數(shù)學模型及分類3.1.1信道的分類3.1.2離散信道的數(shù)學模型3.1.3單符號離散信道的數(shù)學模型3.1信道的數(shù)學模型及分類3.1.1信道的分類3.1.23.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端多端信道：在輸入端或輸出端至少有一端有兩個以上的用戶。

無反饋信道：輸出端信號對輸入端信號無影響。

反饋信道：輸出端信號對輸入端信號有影響。3.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端3固定參數(shù)信道：信道參數(shù)不隨時間變化。時變參數(shù)信道：信道參數(shù)隨時間變化。離散信道：輸入和輸出的隨機序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時間上連續(xù)的隨機信號X(t),Y(t).固定參數(shù)信道：信道參數(shù)不隨時間變化。離散信道：輸入和輸出的隨43.1.2離散信道的數(shù)學模型信道信道統(tǒng)計特性用條件概率表示3.1.2離散信道的數(shù)學模型信道信道統(tǒng)計51、無干擾（無噪）信道2、有干擾無記憶信道無記憶信道：信道任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入信號，而與非對應(yīng)時刻的輸入符號及輸出符號無關(guān)。有干擾：輸出符號與輸入符號之間無確定的對應(yīng)關(guān)系，符合某種概率分布。1、無干擾（無噪）信道2、有干擾無記憶信道有干擾：輸出符號與6a1

b1a2

b2arbs3.1.3單符號離散信道的數(shù)學模型條件概率稱傳遞概率或轉(zhuǎn)移概率a17例3.1二元對稱信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元對稱信道的傳遞矩陣Y例3.1二元對稱信道——BSCX8例3.2二元刪除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元刪除信道——BECa1=0a2=1b1=09單符號信道的傳遞概率用矩陣表示：簡寫，信道傳遞矩陣為且矩陣中每行元素之和等于1。單符號信道的傳遞概率用矩陣表示：簡寫10可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)輸出符號概率(3)后向概率可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)113.2平均互信息及平均條件互信息3.2.1信道疑義度3.2.2平均互信息3.2.3平均條件互信息3.2平均互信息及平均條件互信息3.2.1信道疑義度3.123.2.1信道疑義度1、先驗熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量。2、后驗熵——當接收到輸出符號y＝bj后，輸入符號的概率分布成為，則關(guān)于x的平均不確定性為3.2.1信道疑義度1、先驗熵——H（X）2、后驗熵133、條件熵——信道疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號后，對輸入端變量X尚存在的平均不確定性。3、條件熵——信道疑義度——H（X|Y）表示輸出端收到14討論：（1）一般情況下，H（X|Y）<H（X）說明接收到Y(jié)后，關(guān)于輸出變量X的不確定性減少了。（2）對于無擾信道接收到Y(jié)后，完全消除了對X的不確定性，從而獲得全部信息。討論：153.2.2平均互信息1、定義式——平均互信息表示收到輸出符號Y后，平均每個符號獲得的關(guān)于X的信息量。對稱性3.2.2平均互信息1、定義式——平均互信息表示收到輸出162、互信息定義式（1）可正、可負、可零（2）平均互信息永遠不會取負值2、互信息定義式（1）可正、可負、可173、其它熵的定義式及計算損失熵——信道疑義度H（X|Y）表示信源符號通過有噪信道傳輸后所引起的信息量的損失。噪聲熵——散布度H（Y|X）表示在已知X的條件下，對于隨機變量Y尚存在的不確定性，此不確定性完全是由信道中的噪聲引起。3、其它熵的定義式及計算損失熵——信道疑義度H（X|Y）18維拉圖表示熵的公式維拉圖表示熵的公式194、兩種極端信道結(jié)論：（1）無噪一一對應(yīng)信道（2）輸入端與輸出端完全統(tǒng)計獨立接收到Y(jié)后不可能消除X的任何不確定性，也不能從X中獲得任何關(guān)于Y的信息量。結(jié)論：4、兩種極端信道結(jié)論：（1）無噪一一對應(yīng)信道（2）輸入端與輸203.2.3平均條件互信息1、條件互信息設(shè)有三個概率空間X、Y、Z，且有系統(tǒng)1系統(tǒng)2ZYX系統(tǒng)1YZX串出ZY系統(tǒng)1X并出3.2.3平均條件互信息1、條件互信息系統(tǒng)1系統(tǒng)2ZYX21定義：2、平均條件互信息定義：2、平均條件互信息223、聯(lián)合互信息4、平均聯(lián)合互信息3、聯(lián)合互信息4、平均聯(lián)合互信息233.3平均互信息的特性3.3.1平均互信息的非負性3.3.2平均互信息的極值性3.3.3平均互信息的交換性（對稱性）3.3.4平均互信息I(X;Y)的凸狀性3.3平均互信息的特性3.3.1平均互信息的非負性3.243.3.1平均互信息的非負性當X、Y統(tǒng)計獨立時，通過一個信道獲得的平均信息量不會是負值。也就是說，觀察一個信道的輸出，從平均的角度來看總能消除一些不確定性，接收到一定的信息。3.3.1平均互信息的非負性當X、Y統(tǒng)計獨立時，通過一個信253.3.2平均互信息的極值性3.3.2平均互信息的極值性263.3.3平均互信息的交換性（對稱性）3.3.4平均互信息I(X;Y)的凸狀性3.3.3平均互信息的交換性（對稱性）3.3.4平均互信27定理3.1平均互信息是輸入信源概率分布的型凸函數(shù)。p0110p例3.4已知二元對稱信道輸入信源：求I（X；Y）定理3.1平均互信息是輸入信源28信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）有關(guān)。當ω＝1/2（等概率分布）時，信道接收端平均每個符號獲得最大的信息量。信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）291.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)30定理3.2平均互信息是信道傳遞概率的型凸函數(shù).例3.4續(xù)固定時，是p的型凸函數(shù).當信源固定后，選擇不同的信道來傳輸同一信源符號時，在信道的輸出端獲得關(guān)于信源的信息量是不同的。定理3.2平均互信息是信道傳遞311.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()323.4信道容量及其一般計算方法3.4.1離散無噪信道的信道容量3.4.2對稱離散信道的信道容量3.4.3準對稱信道的信道容量3.4信道容量及其一般計算方法3.4.1離散無噪信道的33信息傳輸率R：信道中平均每個符號所能傳送的信息量。平均互信息：接收到Y(jié)后，平均每個符號獲得的關(guān)于X的信息量。

符號信息傳輸率R：信道中平均每個符號所能傳送的信息量。平均互信息34相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：對于一個固定信道，總存在一種信源（概率分布），使傳輸每個符號平均獲得的信息量最大。這就是固定信道的最大信息傳輸率，定義為信道容量C。相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：35信道容量的物理意義：信道容量已與輸入信道的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。所以，信道容量是能完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊Ｈ缋?.4中信道容量的物理意義：如例3.4中363.4.1離散無噪信道的信道容量1、無噪無損信道3.4.1離散無噪信道的信道容量1、無噪無損信道372、有噪無損信道2、有噪無損信道382、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）392、有噪無損信道信道特點：信道的傳遞矩陣中每一列有一個也僅有一個非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪無損信道信道特點：信道的傳遞矩陣中每一列有一個也僅有403、無噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特點：信道的傳遞矩陣中每一行有一個也僅有一個非零的元素。3、無噪有損信道111111I（X;Y）H（X|Y）H（Y）413.4.2對稱離散信道的信道容量1、對稱離散信道3.4.2對稱離散信道的信道容量1、對稱離散信道42下列信道是否對稱離散信道？下列信道是否對稱離散信道？432、強對稱信道（均勻信道）3、對稱離散信道的信道容量2、強對稱信道3、對稱離散信44第三章離散信道及信道容量課件45第三章離散信道及信道容量課件463.4.3準對稱信道的信道容量1、準對稱信道定義信道矩陣Q可按列組合成對稱矩陣，QK.（每行元素相同，只是不同排列）判斷下列信道是否是準對稱離散信道？3.4.3準對稱信道的信道容量1、準對稱信道定義信道矩陣Q472、準對稱信道的信道容量（1）要求的輸入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、準對稱信道的信道容量Nk—行元素之和48例：例：49例：例：503.6離散無記憶擴展信道及其信道容量3.6.1數(shù)學模型3.6.2離散無記憶擴展信道的信道容量3.6離散無記憶擴展信道及其信道容量3.6.1數(shù)學模型3513.6.1數(shù)學模型1、單符號3.6.1數(shù)學模型1、單符號522、消息序列3、N次擴展信道2、消息序列3、N次擴展信道53N次擴展信道矩陣N次擴展信道矩陣54例3.11求二元無記憶對稱信道的二次擴展信道。已知：解：同理得結(jié)論：對無記憶信道，由信道矩陣可求得N次擴展信道矩陣。例3.11求二元無記憶對稱信道的二次擴解：同理得結(jié)論：553.6.2離散無記憶擴展信道的信道容量1、N次擴展信道的平均互信息3.6.2離散無記憶擴展信道的信道容量1、N次擴展信道的平56若信道的輸入隨機序列為，通過信道傳輸，接收到的隨機序列為。若信道是無記憶的，則存在2、定理3.5—給出了I（X；Y）的極大值若信道的輸入隨機序列為573、定理3.6若信道的輸入隨機序列為，通過信道傳輸，接收到的隨機序列為。若信源是無記憶的，則存在—給出了I（X；Y）的極小值

3、定理3.6若信道的輸入隨機序列為584、離散無記憶信道、無記憶信源時當信源無記憶時，無記憶的N次擴展信道的平均互信息等于原信道平均互信息的N倍。4、離散無記憶信道、無記憶信源時當信源無記憶時，無595、離散無記憶信道的N次擴展信道的信道容量5、離散無記憶信道的N次擴展信道的信60結(jié)論：離散無記憶的N次擴展信道的信道容量等于單符號時信道容量的N倍.條件：（1）輸入信源是無記憶的;（2）每一輸入Xi的分布各自達到最佳分布，使傳輸達到信道容量C。一般情況下：結(jié)論：離散無記憶的N次擴展信道的信道容量等于單符號時信道容量613.7獨立并聯(lián)信道及其信道容量N個獨立并聯(lián)信道中，每個信道輸出的Yi只與本信道的輸入Xi有關(guān)，與其它信道的輸入、輸出都無關(guān)，此并聯(lián)信道是無記憶的.3.7獨立并聯(lián)信道及其信道容量N個獨立并聯(lián)信道中，每個信62結(jié)論：（2）當輸入符號相互獨立，且的概率分布達到各信道容量的最佳輸入分布時，根據(jù)定理3.5（1）獨立并聯(lián)信道的信道容量不大于各個信道容量之和。結(jié)論：（2）當輸入符號相互獨立，且的概率分布達633.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)學模型3.8.2串聯(lián)信道平均互信息3.8.3一般通信系統(tǒng)模型3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)643.8.1串聯(lián)信道數(shù)學模型（1）電視衛(wèi)星轉(zhuǎn)播

電視臺衛(wèi)星電視接收臺

二個信道的串聯(lián)信道信道（2）對接收信號進行數(shù)據(jù)處理

衛(wèi)星測得數(shù)據(jù)轉(zhuǎn)換成脈沖判決器地面接收站（0、1二元碼）（0、1二元碼）（0、1碼）信道信道1、串聯(lián)信道舉例3.8.1串聯(lián)信道數(shù)學模型（1）電視衛(wèi)星轉(zhuǎn)播信道信道（2）652、串聯(lián)信道模型XZY2、串聯(lián)信道模型XZY66總信道XY總信道XY67證明：即證明：即683、馬爾可夫鏈串聯(lián)信道定義：滿足條件,稱這兩個信道的輸入和輸出X，Y，Z序列構(gòu)成馬爾可夫鏈。且3、馬爾可夫鏈串聯(lián)信道定義：滿足條件693.8.2串聯(lián)信道平均互信息1、定理3.7聯(lián)合變量XY與變量Z之間的平均互信息不小于變量Y與Z之間的平均互信息。當且僅當時實際的串聯(lián)信道，往往滿足馬爾可夫鏈條件。因此由Z獲得的關(guān)于Y的信息量即相同于由Z獲得的關(guān)于XY的聯(lián)合信息量。3.8.2串聯(lián)信道平均互信息1、定理3.7聯(lián)合變量XY與變702、定理3.8—數(shù)據(jù)處理定理定理3.8和推論表明通過串聯(lián)信道傳輸只會丟失更多的信息。若X、Y、Z組成一個馬爾可夫鏈，則有取等號條件推論：2、定理3.8—數(shù)據(jù)處理定理定理3.8和推論表明通過串聯(lián)71表明串聯(lián)第二個信道傳輸信息后不會增加信息的損失。結(jié)論：若第二個信道是數(shù)據(jù)處理系統(tǒng)，一般只會增加信息的損失，最多保持原來獲得的信息，不可能比原來獲得的信息有所增加。需要第二個信道是無噪無損信道當滿足條件時則要滿足條件表明串聯(lián)第二個信道傳輸信息后不會增加信息的損失。結(jié)論：若第二723、一系列串聯(lián)信道的信道容量在任何信道傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，都不能再恢復(fù)已丟失的信息。稱做信息不增性原理。X信道Ⅰ信道Ⅱ信道ⅢYW…Z3、一系列串聯(lián)信道的信道容量在任何信道傳輸系統(tǒng)中，最后獲得的73串連信道的信道容量：串接的無源數(shù)據(jù)處理信道越多，其信道容量可能會越小。當串接信道數(shù)無限大時，信道容量可能趨于零。串連信道的信道容量：串接的無源數(shù)據(jù)處理信道越多，其信道74(2)兩個二元對稱信道串聯(lián)解：例3.13(1)信源輸出符號概率當串聯(lián)級數(shù)n增加時，損失的信息增加由于實際信道中錯誤概率p很小，若干次串接后信道容量的減少并不明顯。(2)兩個二元對稱信道串聯(lián)解：例3.13(1)信源輸出符75n級二元對稱信道串聯(lián)的I(X;Y)n級二元對稱信道串聯(lián)的I(X;Y)763.8.3一般通信系統(tǒng)模型信源信道信宿譯碼編碼即則為了獲得更有用的和更有效的信息，還是需要進行適當?shù)男畔⑻幚怼?.8.3一般通信系統(tǒng)模型信源信道信宿譯碼編碼即則為了獲得773.9信源與信道的匹配1、信源與信道匹配指信源與信道連接時，信息傳輸率達到了信道容量。2、信道剩余度信道剩余度信道相對剩余度=信源剩余度無損信道3.9信源與信道的匹配1、信源與信道匹配指信源與信道連接78信源剩余度3、對于無損信道，追求減少信源剩余度

——通過信源編碼，使信道的信息傳輸率R接近或等于信道容量。信源剩余度3、對于無損信道，追求減少信源剩余度79第三章離散信道及其信道容量3.1信道的數(shù)學模型及分類3.2平均互信息及平均條件互信息3.3平均互信息的特性3.4信道容量及其一般計算方法3.6離散無記憶擴展信道及其信道容量3.7獨立并聯(lián)信道及其信道容量3.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.9信源與信道的匹配第三章離散信道及其信道容量3.1信道的數(shù)學模型及分類803.1信道的數(shù)學模型及分類3.1.1信道的分類3.1.2離散信道的數(shù)學模型3.1.3單符號離散信道的數(shù)學模型3.1信道的數(shù)學模型及分類3.1.1信道的分類3.1.813.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端多端信道：在輸入端或輸出端至少有一端有兩個以上的用戶。

無反饋信道：輸出端信號對輸入端信號無影響。

反饋信道：輸出端信號對輸入端信號有影響。3.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端82固定參數(shù)信道：信道參數(shù)不隨時間變化。時變參數(shù)信道：信道參數(shù)隨時間變化。離散信道：輸入和輸出的隨機序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時間上連續(xù)的隨機信號X(t),Y(t).固定參數(shù)信道：信道參數(shù)不隨時間變化。離散信道：輸入和輸出的隨833.1.2離散信道的數(shù)學模型信道信道統(tǒng)計特性用條件概率表示3.1.2離散信道的數(shù)學模型信道信道統(tǒng)計841、無干擾（無噪）信道2、有干擾無記憶信道無記憶信道：信道任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入信號，而與非對應(yīng)時刻的輸入符號及輸出符號無關(guān)。有干擾：輸出符號與輸入符號之間無確定的對應(yīng)關(guān)系，符合某種概率分布。1、無干擾（無噪）信道2、有干擾無記憶信道有干擾：輸出符號與85a1

b1a2

b2arbs3.1.3單符號離散信道的數(shù)學模型條件概率稱傳遞概率或轉(zhuǎn)移概率a186例3.1二元對稱信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元對稱信道的傳遞矩陣Y例3.1二元對稱信道——BSCX87例3.2二元刪除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元刪除信道——BECa1=0a2=1b1=088單符號信道的傳遞概率用矩陣表示：簡寫，信道傳遞矩陣為且矩陣中每行元素之和等于1。單符號信道的傳遞概率用矩陣表示：簡寫89可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)輸出符號概率(3)后向概率可求：已知輸入概率信道矩陣(1)聯(lián)合概率(2)903.2平均互信息及平均條件互信息3.2.1信道疑義度3.2.2平均互信息3.2.3平均條件互信息3.2平均互信息及平均條件互信息3.2.1信道疑義度3.913.2.1信道疑義度1、先驗熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量。2、后驗熵——當接收到輸出符號y＝bj后，輸入符號的概率分布成為，則關(guān)于x的平均不確定性為3.2.1信道疑義度1、先驗熵——H（X）2、后驗熵923、條件熵——信道疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號后，對輸入端變量X尚存在的平均不確定性。3、條件熵——信道疑義度——H（X|Y）表示輸出端收到93討論：（1）一般情況下，H（X|Y）<H（X）說明接收到Y(jié)后，關(guān)于輸出變量X的不確定性減少了。（2）對于無擾信道接收到Y(jié)后，完全消除了對X的不確定性，從而獲得全部信息。討論：943.2.2平均互信息1、定義式——平均互信息表示收到輸出符號Y后，平均每個符號獲得的關(guān)于X的信息量。對稱性3.2.2平均互信息1、定義式——平均互信息表示收到輸出952、互信息定義式（1）可正、可負、可零（2）平均互信息永遠不會取負值2、互信息定義式（1）可正、可負、可963、其它熵的定義式及計算損失熵——信道疑義度H（X|Y）表示信源符號通過有噪信道傳輸后所引起的信息量的損失。噪聲熵——散布度H（Y|X）表示在已知X的條件下，對于隨機變量Y尚存在的不確定性，此不確定性完全是由信道中的噪聲引起。3、其它熵的定義式及計算損失熵——信道疑義度H（X|Y）97維拉圖表示熵的公式維拉圖表示熵的公式984、兩種極端信道結(jié)論：（1）無噪一一對應(yīng)信道（2）輸入端與輸出端完全統(tǒng)計獨立接收到Y(jié)后不可能消除X的任何不確定性，也不能從X中獲得任何關(guān)于Y的信息量。結(jié)論：4、兩種極端信道結(jié)論：（1）無噪一一對應(yīng)信道（2）輸入端與輸993.2.3平均條件互信息1、條件互信息設(shè)有三個概率空間X、Y、Z，且有系統(tǒng)1系統(tǒng)2ZYX系統(tǒng)1YZX串出ZY系統(tǒng)1X并出3.2.3平均條件互信息1、條件互信息系統(tǒng)1系統(tǒng)2ZYX100定義：2、平均條件互信息定義：2、平均條件互信息1013、聯(lián)合互信息4、平均聯(lián)合互信息3、聯(lián)合互信息4、平均聯(lián)合互信息1023.3平均互信息的特性3.3.1平均互信息的非負性3.3.2平均互信息的極值性3.3.3平均互信息的交換性（對稱性）3.3.4平均互信息I(X;Y)的凸狀性3.3平均互信息的特性3.3.1平均互信息的非負性3.1033.3.1平均互信息的非負性當X、Y統(tǒng)計獨立時，通過一個信道獲得的平均信息量不會是負值。也就是說，觀察一個信道的輸出，從平均的角度來看總能消除一些不確定性，接收到一定的信息。3.3.1平均互信息的非負性當X、Y統(tǒng)計獨立時，通過一個信1043.3.2平均互信息的極值性3.3.2平均互信息的極值性1053.3.3平均互信息的交換性（對稱性）3.3.4平均互信息I(X;Y)的凸狀性3.3.3平均互信息的交換性（對稱性）3.3.4平均互信106定理3.1平均互信息是輸入信源概率分布的型凸函數(shù)。p0110p例3.4已知二元對稱信道輸入信源：求I（X；Y）定理3.1平均互信息是輸入信源107信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）有關(guān)。當ω＝1/2（等概率分布）時，信道接收端平均每個符號獲得最大的信息量。信道固定后，接收到的信息量I（X；Y）與輸入概率分布P（x）1081.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)109定理3.2平均互信息是信道傳遞概率的型凸函數(shù).例3.4續(xù)固定時，是p的型凸函數(shù).當信源固定后，選擇不同的信道來傳輸同一信源符號時，在信道的輸出端獲得關(guān)于信源的信息量是不同的。定理3.2平均互信息是信道傳遞1101.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()1113.4信道容量及其一般計算方法3.4.1離散無噪信道的信道容量3.4.2對稱離散信道的信道容量3.4.3準對稱信道的信道容量3.4信道容量及其一般計算方法3.4.1離散無噪信道的112信息傳輸率R：信道中平均每個符號所能傳送的信息量。平均互信息：接收到Y(jié)后，平均每個符號獲得的關(guān)于X的信息量。

符號信息傳輸率R：信道中平均每個符號所能傳送的信息量。平均互信息113相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：對于一個固定信道，總存在一種信源（概率分布），使傳輸每個符號平均獲得的信息量最大。這就是固定信道的最大信息傳輸率，定義為信道容量C。相應(yīng)的輸入概率分布稱最佳輸入分布.信道容量定義：114信道容量的物理意義：信道容量已與輸入信道的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。所以，信道容量是能完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊Ｈ缋?.4中信道容量的物理意義：如例3.4中1153.4.1離散無噪信道的信道容量1、無噪無損信道3.4.1離散無噪信道的信道容量1、無噪無損信道1162、有噪無損信道2、有噪無損信道1172、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）1182、有噪無損信道信道特點：信道的傳遞矩陣中每一列有一個也僅有一個非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪無損信道信道特點：信道的傳遞矩陣中每一列有一個也僅有1193、無噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特點：信道的傳遞矩陣中每一行有一個也僅有一個非零的元素。3、無噪有損信道111111I（X;Y）H（X|Y）H（Y）1203.4.2對稱離散信道的信道容量1、對稱離散信道3.4.2對稱離散信道的信道容量1、對稱離散信道121下列信道是否對稱離散信道？下列信道是否對稱離散信道？1222、強對稱信道（均勻信道）3、對稱離散信道的信道容量2、強對稱信道3、對稱離散信123第三章離散信道及信道容量課件124第三章離散信道及信道容量課件1253.4.3準對稱信道的信道容量1、準對稱信道定義信道矩陣Q可按列組合成對稱矩陣，QK.（每行元素相同，只是不同排列）判斷下列信道是否是準對稱離散信道？3.4.3準對稱信道的信道容量1、準對稱信道定義信道矩陣Q1262、準對稱信道的信道容量（1）要求的輸入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、準對稱信道的信道容量Nk—行元素之和127例：例：128例：例：1293.6離散無記憶擴展信道及其信道容量3.6.1數(shù)學模型3.6.2離散無記憶擴展信道的信道容量3.6離散無記憶擴展信道及其信道容量3.6.1數(shù)學模型31303.6.1數(shù)學模型1、單符號3.6.1數(shù)學模型1、單符號1312、消息序列3、N次擴展信道2、消息序列3、N次擴展信道132N次擴展信道矩陣N次擴展信道矩陣133例3.11求二元無記憶對稱信道的二次擴展信道。已知：解：同理得結(jié)論：對無記憶信道，由信道矩陣可求得N次擴展信道矩陣。例3.11求二元無記憶對稱信道的二次擴解：同理得結(jié)論：1343.6.2離散無記憶擴展信道的信道容量1、N次擴展信道的平均互信息3.6.2離散無記憶擴展信道的信道容量1、N次擴展信道的平135若信道的輸入隨機序列為，通過信道傳輸，接收到的隨機序列為。若信道是無記憶的，則存在2、定理3.5—給出了I（X；Y）的極大值若信道的輸入隨機序列為1363、定理3.6若信道的輸入隨機序列為，通過信道傳輸，接收到的隨機序列為。若信源是無記憶的，則存在—給出了I（X；Y）的極小值

3、定理3.6若信道的輸入隨機序列為1374、離散無記憶信道、無記憶信源時當信源無記憶時，無記憶的N次擴展信道的平均互信息等于原信道平均互信息的N倍。4、離散無記憶信道、無記憶信源時當信源無記憶時，無1385、離散無記憶信道的N次擴展信道的信道容量5、離散無記憶信道的N次擴展信道的信139結(jié)論：離散無記憶的N次擴展信道的信道容量等于單符號時信道容量的N倍.條件：（1）輸入信源是無記憶的;（2）每一輸入Xi的分布各自達到最佳分布，使傳輸達到信道容量C。一般情況下：結(jié)論：離散無記憶的N次擴展信道的信道容量等于單符號時信道容量1403.7獨立并聯(lián)信道及其信道容量N個獨立并聯(lián)信道中，每個信道輸出的Yi只與本信道的輸入Xi有關(guān)，與其它信道的輸入、輸出都無關(guān)，此并聯(lián)信道是無記憶的.3.7獨立并聯(lián)信道及其信道容量N個獨立并聯(lián)信道中，每個信141結(jié)論：（2）當輸入符號相互獨立，且的概率分布達到各信道容量的最佳輸入分布時，根據(jù)定理3.5（1）獨立并聯(lián)信道的信道容量不大于各個信道容量之和。結(jié)論：（2）當輸入符號相互獨立，且的概率分布達1423.8串聯(lián)信道的互信息和數(shù)據(jù)處理定理3.8.1串聯(lián)信道數(shù)學模型3.8.2串聯(lián)信道平均互信息3.8.3一般通信系統(tǒng)模型3.8