波形信源和波形信道第1頁，課件共52頁，創作于2023年2月4.1波形信源的統計特性和離散化實際某些信源的輸出常常是時間和取值都是連續的消息。例如語音信號、電視信號。這樣的信源成為隨機波形信源，其輸出消息可以用隨機過程{x(t)}來表示。隨機過程{x(t)}可以看成由一族時間函數組成稱為樣本函數。每個樣本函數是隨機過程的一個實現。圖4.1一個隨機過程第2頁，課件共52頁，創作于2023年2月連續信源：信源輸出的消息是在時間上離散，而取值上連續的、隨機的。如遙控系統中有關電壓、溫度、壓力等測得的連續數據。隨機波形信源：信源輸出的消息不僅在時間上是連續的而且在取值上也是連續的、隨機的。于是定義隨機波形信源的特點：（1）隨機波形信源中消息數是無限的。每一個可能的消息是隨機過程的一個樣本函數。每個樣本函數是隨機過程的一個實現。第3頁，課件共52頁，創作于2023年2月（2）隨機波形信源可用有限維概率密度函數族以及與各維概率密度函數有關的統計量來描述。平穩隨機過程：統計特性不隨時間平移而變化。非平穩隨機過程：統計特性隨時間平移而變化。第4頁，課件共52頁，創作于2023年2月隨機過程時間離散的隨機序列取樣定理時間連續函數f(t)的頻帶受限（上限頻率為F）取樣間隔為這樣，通過取樣，隨即過程就成為可數的無限維的隨機序列。如果隨機過程又是限時的，時間間隔為T，則就第5頁，課件共52頁，創作于2023年2月成為2FT個有限維的隨機序列。取樣之后還要對取值的離散化。取樣加量化才使隨機過程變換成時間的取值都是離散的隨機序列。量化必然帶來量化噪聲，引起信息損失。第6頁，課件共52頁，創作于2023年2月4.2.1連續信源的差熵

先看單個變量的基本連續信源的信息測度。基本連續信源的輸出是取值連續的單個隨機變量。可用變量的概率密度，變量間的條件概率密度和聯合概率密度來描述。4.2連續/波形信源的信息測度變量的一維概率密度函數為第7頁，課件共52頁，創作于2023年2月

聯合概率密度函數為一維概率分布函數為條件概率密度函數為它們之間的關系為第8頁，課件共52頁，創作于2023年2月圖4.2概率密度分布

并滿足

基本連續信源的數學模型為第9頁，課件共52頁，創作于2023年2月于是，連續信源的熵定義為無限大常數單位為：奈特/自由度第10頁，課件共52頁，創作于2023年2月

同理，兩個連續隨機變量X、Y的聯合熵和條件熵可以定義為4.2.2連續平穩信源和波形信源的差熵

連續平穩信源輸出的消息是連續型的平穩隨機序列。其數字模型是概率空間[X,p(x)],第11頁，課件共52頁，創作于2023年2月連續平穩無記憶信源1.N維聯合差熵2.N維條件差熵第12頁，課件共52頁，創作于2023年2月且當隨機序列中各變量統計獨立時等式成立。所以得，波形信源的差熵由于波形信源輸出的消息是平穩的隨機過程，它通過取樣分解成取值連續的無窮維隨機序列對于限頻F/限時T的平穩隨機過程，它可以近似地用有限維N=2FT平穩隨機序列來表示。這樣，一個頻帶和時間都為有限的波形信源就轉化為多維連續平穩信源來處理。第13頁，課件共52頁，創作于2023年2月4.2.3兩種特殊連續信源的差熵

1.均勻分布連續信源的差熵

第14頁，課件共52頁，創作于2023年2月若限頻（F）、限時（T）均勻分布的波形信源的熵率第15頁，課件共52頁，創作于2023年2月2.高斯信源的熵值一維高斯連續信源第16頁，課件共52頁，創作于2023年2月可見，正態分布的連續信源的熵與數學期望m無關，只與其方差有關。當均值m=0時，X的方差就等于信源輸出的平均功率P：如果N維連續平穩信源輸出的N維連續隨機矢量是正態分布則稱此信源為N維高斯信源。若各隨機變量之間統計獨立，可得N維統計獨立的正態分布隨機矢量的差熵為第17頁，課件共52頁，創作于2023年2月4.3連續信源熵的性質及最大差熵定理連續信源的差熵只具有熵的部分含義和性質。1.可加性并當且僅當X與Y統計獨立時所以可得2.凸狀性和極值性4.3.1差熵的性質第18頁，課件共52頁，創作于2023年2月3.差熵可為負值在[a,b]區間內均勻分布的連續信源其差熵為第19頁，課件共52頁，創作于2023年2月圖4.3空間A一一對應地映射成空間B

4.變換性連續信源輸出的隨機變量（或隨機矢量）通過一一對應變換，其差熵會發生變化。第20頁，課件共52頁，創作于2023年2月結論：連續信源的差熵不具有變換的不變性。第21頁，課件共52頁，創作于2023年2月圖4.4信息處理網絡

例4.1P154增加熵值第22頁，課件共52頁，創作于2023年2月4.3.2具有最大差熵的連續信源

1.峰值功率受限條件下信源的最大差熵

第23頁，課件共52頁，創作于2023年2月圖4.5輸出幅度受限的信源當熵為最大時的概率密度分布

若當N維隨機矢量受限時，也只有各隨機分量統計獨立，并均勻分布時具有最大熵。第24頁，課件共52頁，創作于2023年2月2.平均功率受限條件下信源的最大差熵第25頁，課件共52頁，創作于2023年2月4.5熵功率

第26頁，課件共52頁，創作于2023年2月圖4.7波形信道轉化成多維連續信道

當信道的輸入和輸出都是隨機過程和4.6連續信道和波形信道的分類

4.6.1按信道輸入和輸出的統計特性分類時，這個信道稱之為波形信道或模擬信道第27頁，課件共52頁，創作于2023年2月

多維連續信道的輸入是N維連續型隨機序列輸出也是N維連續型隨機序列，而信道轉移概率密度函數是第28頁，課件共52頁，創作于2023年2月圖4.8基本連續信道

基本連續信道就是輸入和輸出都是單個連續型隨機變量的信道。4.6.2按噪聲統計特性分類高斯信道、白噪聲信道、高斯白噪聲信道和有色噪聲信道第29頁，課件共52頁，創作于2023年2月高斯白噪聲信道：信道中的噪聲是高斯白噪聲。

低頻限帶高斯白噪聲可以看成是無限帶寬的高斯白噪聲通過一個理想低通濾波器后所得。傳遞函數的頻率響應為低頻限帶高斯白噪聲的功率譜密度為按噪聲對信號的作用功能分類加性和乘性信道第30頁，課件共52頁，創作于2023年2月加性信道：信道中噪聲對信號的干擾作用表現為與信號相加的關系。圖4.8加性信道

在加性連續信道中，信道的轉移概率密度函數等于噪聲的轉移概率密度函數。在加性信道中，條件熵為第31頁，課件共52頁，創作于2023年2月第32頁，課件共52頁，創作于2023年2月4.7連續信道和波形信道的信息傳輸率

4.7.1基本連續信道的平均互信息

輸入信源X為輸出信源Y為信道的轉移概率密度函數滿足第33頁，課件共52頁，創作于2023年2月

基本連續信道的信息傳輸率為比特/自由度第34頁，課件共52頁，創作于2023年2月4.7.2多維連續信道的平均互信息

信道的轉移概率密度函數多維連續信道的平均互信息第35頁，課件共52頁，創作于2023年2月多維連續信道的信息傳輸率為

比特/N個自由度

比特/自由度

平均每個自由度的信息傳輸率為4.7.3波形信道的信息傳輸率

比特/秒

第36頁，課件共52頁，創作于2023年2月2、對稱性3、凸狀性4、信息不增性圖4.10兩個串接連續信道

與離散信道的證明類似4.7.4連續信道平均互信息的特性

1、非負性第37頁，課件共52頁，創作于2023年2月5、坐標變換平均互信息的不變性圖4.11一般通信系統的信號變換

變換前后概率密度函數有第38頁，課件共52頁，創作于2023年2月第39頁，課件共52頁，創作于2023年2月結論：在一一變換條件下，平均互信息保持不變。信源無記憶信道無記憶信源信道皆無記憶第40頁，課件共52頁，創作于2023年2月4.8連續信道和波形信道的信道容量一般加性波形信道的信道容量為：

比特/秒

在實際信道中，輸入信號和噪聲的平均功率總是有限的。現在平均功率受限的條件下，討論各種連續信道和波形信道的信道容量。4.8.1單符號高斯加性信道第41頁，課件共52頁，創作于2023年2月平均功率受限高斯信道的信道容量單符號高斯加性信道的輸入和輸出都是取值連續的一維隨機變量，而加入信道的噪聲是加性高斯噪聲。設信道迭加的噪聲n是均值為零，方差為的一維高斯噪聲，噪聲信源的熵為單符號高斯加性信道的信道容量第42頁，課件共52頁，創作于2023年2月只有當信道的輸入信號是均值為零，平均功率為高斯分布的隨機變量時，信息傳輸率才能達到最大值。4.8.5限帶高斯白噪聲加性波形信道

而加入信道的噪聲是加性高斯白噪聲（均值為零、功率譜密度為），所以輸出信號滿足此信道稱為高斯白噪聲加性波形信道。信道的輸入和輸出信號都是隨機過程第43頁，課件共52頁，創作于2023年2月

圖4.14限帶高斯白噪聲加性信道變換成N個獨立并聯高斯加性信道

第44頁，課件共52頁，創作于2023年2月在[0，T]高斯白噪聲加性信道的信道容量為第45頁，課件共52頁，創作于2023年2月高斯白噪聲加性信道單元時間的信道容量為

比特/秒

其中Ps是信號的平均功率，為高斯白噪聲在帶寬W內的平均功率。可見，信道容量與信噪功率比和帶寬有關。這就是重要的香農公式。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。第46頁，課件共52頁，創作于2023年2月把信道的統計參量（信道容量）和物理量（頻帶寬W、T、信噪功率比），聯系了起來。4.8.7香農公式的重要實際指導意義由香農公式得出的幾個重要結論：1.提高信號與噪聲功率之比能增加信道的信道容量。第47頁，課件共52頁，創作于2023年2月例4.4（p181）

比特/秒

2.當噪聲功率時，信道容量，這意味著無干擾連續信道的信道容量為無窮大。3.增加信道帶寬（也就是信號的帶寬）w，并不能無限制地使信道容量增大。第48頁，課件共52頁，創作于2023年2月令，可得由于當時，，所以比特/秒

由香農公式可以看出，當帶寬W增大時，信道容量也開始增大，當時，趨于一極限值。第49頁，課件共52頁，創作于2023年2月4.信道容量一定時，帶寬W、傳輸時間T和信噪功率比三者之間可以相互轉換。

（1）若傳輸時間T固定，則擴展信道的帶寬W就可以降低信噪比的要求；反之，帶變窄，就要增加信噪功率比。例4.5（p181）注：帶寬與信噪功率比互換的過程并不是自然而然地實現的，可以采用調制解調方法。第50頁，課件共52頁，創作于2023年2月圖4.16理想