信道及信道容量2023/1/181第一頁，共五十六頁，2022年，8月28日信道是信息傳輸的通道。由于干擾而丟失的信息為

H(X|Y);在接收端獲取的關于發送端信源X的信息量是：

I(X;Y)＝H(X)-H(X|Y)即：信道中平均每個符號傳送的信息量。對于信道,所關心的問題是平均每個符號傳送的最大信息量。這就是信道容量C=maxI(X;Y)bit/符號信源在一定的時間T內輸出符號。信源輸出的信息速率為Rt=H(X)/Tbit/s

符號在信道中傳送時，傳送一個符號所用的時間為t,則最大信息傳輸速率為Ct=C/tbit/s.

若Rt≤Ct，那么就可以實現無失真傳送;否則;不能無失真傳送所以，對于信道主要是研究信道容量。不同的信道，其容量不同.研究信道容量的意義?2023/1/182第二頁，共五十六頁，2022年，8月28日第一節信道分類及表示參數一、信道的分類1、根據信道的用戶數量，可以分為兩端（單用戶）信道和多端信道（多用戶信道）。只有一個輸入端和一個輸出端；單向至少有一端存在兩個用戶；雙向2、根據信道輸入端和輸出端的關系,分為無反饋信道和反饋信道無反饋信道:輸出信號對輸入無影響。3、根據信道的參數可以分為固定參數信道和時變參數信道（參數：表示輸入和輸出統計依賴關系的轉移概率.后面詳述）固定參數信道：如光纖、電纜時變參數信道：如無線信道.會因天氣或周圍環境的變化而變化4、根據信道中所受的噪聲種類不同，分為隨機差錯信道和突發差錯信道。2023/1/183第三頁，共五十六頁，2022年，8月28日隨機差錯信道：噪聲獨立地、隨機地影響每個傳輸的碼元。如加性高斯白噪聲(AGWN)信道。突發差錯信道：大的脈沖干擾或閃電對碼元的影響是前后相關的。錯誤成串出現，且是突發性的。如移動信道。5、根據輸入/輸出信號的特點，分為離散信道、連續信道、半離散半連續信道和波形信道。離散信道：輸入/輸出信號在時間和幅度上都是離散的。連續信道：輸入/輸出信號都是在時間上離散而幅度上連續。半離散半連續信道：輸入/輸出信號有一個在幅度上離散（時間上都連續）。波形信道：輸入/輸出信號在時間和幅度上都是連續的。此時，輸入和輸出信號一般用隨機過程來描述。據隨機過程的理論，經過限時和限頻后，經抽樣變成連續型隨機變量。相應地，波形信道被分解成連續信道。2023/1/184第四頁，共五十六頁，2022年，8月28日二、信道的參數參數：表示輸入和輸出統計依賴關系的轉移概率。對于單符號信道，即,對于符號序列信道，即。由于信道引入的干擾,使得輸入和輸出之間沒有確定的對應關系，而只有統計上的依賴關系(用轉移概率來描述)。知道了這種關系，信道的全部特性就確定了.所以,它是信道的參數。根據信道的參數，將信道分為三大類：1、無干擾信道理想信道，信道中沒有隨機干擾或干擾很小。輸出與輸入之間有完全確定的對應關系。2023/1/185第五頁，共五十六頁，2022年，8月28日2、有干擾無記憶信道無記憶：任意時刻的輸出符號，只統計依賴于對應時刻的輸入符號，而與其它時刻的輸入符號、輸出符號無關.這種信道根據輸入信號與輸出信號的符號數目進一步劃分為以下四種信道：指符號集中符號的個數(1)二進制離散信道(又叫二進制對稱信道BSC，轉移概率對稱)2023/1/186第六頁，共五十六頁，2022年，8月28日傳遞矩陣也完全確定了輸入與輸出間的統計依賴關系，也是信道的數學模型。(2)離散無記憶信道(DMC-DiscreteMemorylessChannel)

仍是單符號離散信道，符號集中的符號數目大于2。2023/1/187第七頁，共五十六頁，2022年，8月28日2023/1/188第八頁，共五十六頁，2022年，8月28日復習與作業講評1、符號的使用：自信息量I熵-----HH2不能隨便使用7、向孔祥品學習2、應畫出信源（模型）3、2.4題，求H(X)，而非I(x)4、2.5題，求自信息量或條件信息量。個別同學H(y|x)5、2.11(2)有些同學計算H(X,Y)太復雜。

xi---顏色，構成信源X,yi----數字，構成信源Y.每個數字對應一種顏色（反之未必），數字已知，則顏色確定，H(X|Y)=0。H(X,Y)=H(Y)=…..6、2.21（3）信號放大問題。課上已經強調過，仍出錯。2023/1/189第九頁，共五十六頁，2022年，8月28日復習：第四節連續信源的熵和互信息一、單符號連續信源的熵相對熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)2023/1/1810第十頁，共五十六頁，2022年，8月28日二、波形信源的熵理解討論方法即可三、連續信源最大熵定理

1、峰值功率受限的最大熵定理對于定義域為有限的隨機變量X，當它是均勻分布時，其熵最大。2、限平均功率最大熵定理服從正態分布時具有最大相熵。2023/1/1811第十一頁，共五十六頁，2022年，8月28日第五節冗余度一、冗余度的概念表示給定信源在實際發出消息時所包含的多余信息。二、冗余度產生的原因理解一是信源符號間的相關性，二是信源符號分布的不均勻性三、冗余的定義四、冗余的壓縮第三章信道及信道容量第一節信道分類及表示參數參數：表示輸入和輸出統計依賴關系的轉移概率。對于單符號信道，即,對于符號序列信道，即。2023/1/1812第十二頁，共五十六頁，2022年，8月28日根據信道的參數，將信道分為三大類：1、無干擾信道2、有干擾無記憶信道根據輸入信號與輸出信號的符號數目進一步劃分為以下四種信道：(1)二進制離散信道(又叫二進制對稱信道BSC，轉移概率對稱)(2)離散無記憶信道(DMC-DiscreteMemorylessChannel)

仍是單符號離散信道，符號集中的符號數目大于2。GOON2023/1/1813第十三頁，共五十六頁，2022年，8月28日(3)離散輸入連續輸出信道仍是單符號信道，屬于半連續半離散信道。舉例：加性高斯白噪聲(AWGN)信道(AddableWhiteGossNoise)2023/1/1814第十四頁，共五十六頁，2022年，8月28日(4)波形信道輸入信號和輸出信號用隨機過程表示，所以信道模型為:經過限時(tB)和限頻(fm)后，經過抽樣輸入和輸出信號分別變換成連續型隨機序列：和抽樣點數為L=2fmtB，相應地,波形信道被分解成L維連續信道,其轉移特性為：2023/1/1815第十五頁，共五十六頁，2022年，8月28日結論：信道的轉移概率密度函數等于噪聲的概率密度函數。條件熵H(Y|X)又叫做噪聲熵的進一步理解：

確定噪聲所需要的平均信息量就是H(Y|X),叫作噪聲熵。正像區分X中的每個符號所需要的平均信息量就是信源的熵H(X).因而又叫噪聲熵。可以看作是唯一地確定信道中的噪聲所需要的平均信息量。正是噪聲熵2023/1/1816第十六頁，共五十六頁，2022年，8月28日3、有干擾有記憶信道有兩種簡化處理的方法：(1)將記憶很強的L個符號用一個矢量符號表示(看作一個符號)，各個矢量符號之間認為是無記憶的.L越大,引入誤差與小。(2)將序列轉移概率看作是馬爾科夫鏈的狀態轉移概率，用馬爾科夫鏈的分析方法去處理。4、本課程主要討論編碼和解碼，一般使用DMC信道模型到底選用哪種信道模型，取決于分析問題的目的。若設計和分析離散信道的編碼和解碼，當然選擇DMC信道模型。如果分析性能的理論極限，則使用離散輸入連續輸出模型則較合適。如果分析和設計調制/解調器，則選擇波形信道模型。2023/1/1817第十七頁，共五十六頁，2022年，8月28日第二節離散單符號信道及其容量一、幾個概念：1、信息傳輸率R信道中平均每個符號所傳輸的信息量。R=I(X;Y)=H(X)-H(X|Y)bit/符號2、信息傳輸速率Rt

信道在單位時間內平均傳輸的信息量。設信道傳送一個符號用時為T，則：Rt=I(X;Y)/Tbit/s3、信道容量C

定義最大的信息傳輸速率為信道容量,2023/1/1818第十八頁，共五十六頁，2022年，8月28日4、信道容量的另一種定義：定義信道單位時間內平均傳輸的最大信息量為信道容量,5、對于某個特定的信道，其信道容量是一定的。在信息傳輸時，能否達到這個最大傳輸能力，取決于輸入端的信源。從這個意義上也可以理解信源與信道匹配的含義。二、無干擾離散信道的容量：

輸出與輸入之間有確定的對應關系；有三種不同的關系：(1)無噪無損信道（一一對應的關系）H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=logn∴C=logn2023/1/1819第十九頁，共五十六頁，2022年，8月28日(2)無噪有損信道（多對一的對應關系）噪聲熵H(Y|X)=0損失熵H(X|Y)>0故名之。I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm(3)有噪無損信道（一對多的對應關系）噪聲熵H(Y|X)>0,損失熵H(X|Y)=0,故名之。I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn三、對稱DMC信道的容量：1、對稱性：如果轉移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對稱的；如果轉移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對稱的。2023/1/1820第二十頁，共五十六頁，2022年，8月28日如果輸入、輸出都對稱，則稱該DMC為對稱的DMC信道。2、對稱DMC的信道容量C：2023/1/1821第二十一頁，共五十六頁，2022年，8月28日怎樣使bj服從等概分布？2023/1/1822第二十二頁，共五十六頁，2022年，8月28日結論：M是輸出符號集中的符號數對轉移矩陣的行向量作求熵運算2023/1/1823第二十三頁，共五十六頁，2022年，8月28日3、串聯信道的信道容量：(1)串聯信道舉例：微波中繼通信2023/1/1824第二十四頁，共五十六頁，2022年，8月28日信道1容量為：C(1)=maxI(X;Y)信道1,2,3…串聯后等價為容量為：C(1,2,…)=maxI(X;W)信道1,2串聯后等價為容量為：C(1,2)=maxI(X;Z)(2)串聯信道的信道容量可能會減少。串聯級數越大，信道容量會越小。由2.2節數據處理定理（信息不增定理）知道：H(X)≥I(X;Y)≥I(X;Z)≥…I(X;W)所以：C(1,2)≥C(1,2,3)≥……≥C(1,2,3…)。2023/1/1825第二十五頁，共五十六頁，2022年，8月28日2023/1/1826第二十六頁，共五十六頁，2022年，8月28日四、準對稱DMC信道的容量準對稱信道：只滿足輸入對稱的信道信道容量的計算，有兩種方法：1、引入拉格朗日算子求極值。舉例說明：2023/1/1827第二十七頁，共五十六頁，2022年，8月28日2、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。2023/1/1828第二十八頁，共五十六頁，2022年，8月28日2023/1/1829第二十九頁，共五十六頁，2022年，8月28日五、一般DMC信道的容量平均互信息I(X;Y)是關于P(a1),P(a2),…P(an)的多元函數，求其最大值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大都比較復雜，下面只給出相關定理。定理：一般離散無記憶信道的平均互信息I(X;Y)達到極大值的充要條件是，輸入分布滿足：I(ai;Y)=C對于所有的滿足p(ai)>0的i。I(ai;Y)≤C對于所有的滿足p(ai)=0的i。解釋：當平均互信息I(X;Y)達到信道容量時，除了概率為零的符號外，輸入符號集中的每一個符號對輸出端提供相同的信息量。2023/1/1830第三十頁，共五十六頁，2022年，8月28日而其它符號所提供的信息量增大。所以經過不斷調整后，輸入符號的概率分布使得每個概率不為零的輸入符號對于輸出Y提供的平均互信息是相同的。理解：在某種給定的輸入分布下，對輸出Y所提供的互信息I(X;Y)，若其中有一個符號ai比其它輸入符號大，那么就可以更多地使用該符號，即增大該符號ai出現的概率P(ai)，使得加權平均后的I(X;Y)=ΣP(ai)I(ai;Y)增大；但是，這會改變輸入符號的分布，而使該符號的平均互信息I(ai;Y)減小（？），2023/1/1831第三十一頁，共五十六頁，2022年，8月28日第三節離散序列信道及其容量一、回顧離散單符號擴展信道。分為無記憶和有記憶兩種。只討論無記憶離散序列信道的容量。二、無記憶離散序列信道的平均互信息2023/1/1832第三十二頁，共五十六頁，2022年，8月28日三、無記憶離散序列信道的容量1、定理2、結論2023/1/1833第三十三頁，共五十六頁，2022年，8月28日3、信道容量2023/1/1834第三十四頁，共五十六頁，2022年，8月28日4、獨立并聯信道的信道容量（例如：時分復用）

將L個相互獨立的信道并聯后，每個信道的輸出Yl只與本信道的輸入Xl有關。那么序列轉移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是無記憶序列信道。其容量C1,2,…L=ΣCl2023/1/1835第三十五頁，共五十六頁，2022年，8月28日第四節連續信道及信道容量一、連續單符號加性信道及其容量：1、回顧2、平均互信息(信息傳輸率)3、信道容量2023/1/1836第三十六頁，共五十六頁，2022年，8月28日怎樣才能保證輸出Y服從正態分布？2023/1/1837第三十七頁，共五十六頁，2022年，8月28日結論：連續單符號信道的信道容量取決于輸入信噪比4、加性噪聲不是高斯噪聲時的信道容量高斯白噪聲是最惡劣的噪聲，相應的信道容量最小。2023/1/1838第三十八頁，共五十六頁，2022年，8月28日二、多維無記憶高斯加性連續信道及其容量1、回顧2、等價于L個獨立并聯加性信道2023/1/1839第三十九頁，共五十六頁，2022年，8月28日3、信道容量據3.3節定理，無記憶信道有下式成立：而每個單符號高斯信道有：所以：(1)每個時刻的噪聲相同(均值為零,方差為δ2)當輸入矢量的各個分量Xl相互獨立，且各分量均值為0方差都為Pl=

S時，2023/1/1840第四十頁，共五十六頁，2022年，8月28日復習與測驗第二節離散單符號信道及其容量1、信道容量的定義最大的信息傳輸速率為信道容量,或：信道單位時間內平均傳輸的最大信息量為信道容量,2、無干擾離散信道的容量：(1)無噪無損信道（一一對應）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn

(2)無噪有損信道（多對一）：H(Y|X)=0；H(X|Y)>0I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm2023/1/1841第四十一頁，共五十六頁，2022年，8月28日(3)有噪無損信道（一對多）：H(X|Y)=0;H(Y|X)>0I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn3、對稱DMC的信道容量C：4、串聯信道的信道容量：（數據處理定理)串聯級數越大，信道容量會越小。5、準對稱DMC信道的容量：

有兩種方法：1）、引入拉格朗日算子求極值。2）、劃分為若干個互不相交的對稱的子矩陣后，求信道容量。6、一般離散無記憶信道的信道容量：定理：平均互信息I(X;Y)達到極大值的充要條件是，輸入分布滿足：I(ai;Y)=C對于所有的滿足p(ai)>0的i。I(ai;Y)≤C對于所有的滿足p(ai)=0的i。2023/1/1842第四十二頁，共五十六頁，2022年，8月28日第三節離散序列信道及其容量1、無記憶離散序列信道的信道容量2、獨立并聯信道的信道容量（例如：時分復用）

將L個相互獨立的信道并聯后，每個信道的輸出Yl只與本信道的輸入Xl有關。那么序列轉移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是無記憶序列信道。其容量C1,2,…L=ΣCl第四節連續信道及信道容量一、連續單符號加性信道及其容量（取決于輸入信噪比）2023/1/1843第四十三頁，共五十六頁，2022年，8月28日二、多維無記憶高斯加性連續信道及其容量

goon(1)每個時刻的噪聲相同(均值為零,方差為δ2)當輸入矢量的各個分量Xl

相互獨立，且各分量均值為0方差都為Pl=

S時，2023/1/1844第四十四頁，共五十六頁，2022年，8月28日(2)如果每個時刻的噪聲不相同(均值都為零,方差分別為將隨不同時刻信噪比的變化而變化。2023/1/1845第四十五頁，共五十六頁，2022年，8月28日2023/1/1846第四十六頁，共五十六頁，2022年，8月28日2023/1/1847第四十七頁，共五十六頁，2022年，8月28日2023/1/1848第四十八頁，共五十六頁，2022年，8月28日結論：噪聲小的子信道分配到的輸入功率大，信噪比大，抵抗噪聲的能力強，可以傳輸的比特數多，需要采用更高進制的符號調制方法，以提高信道的頻帶利用率。反之，噪聲大的子信道分配到的輸入功率小，信噪比小，抵抗噪聲的能力差，可以傳輸的比特數少，最終，每個子信道的誤碼率都相同。2023/1/1849第四十九頁，共五十六頁，2022年，8月28日三、高斯白噪聲加性波形信道及其容量回顧：1、平均互信息：2、信道容量：2023/1/1850第五十頁，共五十六頁，2022年，8月28日3、信道容量：上式重新整理即為香農公式2023/1/1851第五十一頁，共五十六頁，2022年，8月28日2023/1/1852第五十二頁，共五十六頁，2022年，8月28日討論：（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的帶寬并不能無限制地提高信道容量。總結：當信道