通信原理通信原理1第1章緒論1.1通信的基本概念11.2通信系統的組成模型21.3通信系統的分類及通信方式31.4通信的發展概況41.5信息及其度量51.6通信系統主要性能指標61.7小結7第1章緒論1.1通信的基本概念11.2通信2通信的目的：傳遞消息中所包含的信息。消息：是物質或精神狀態的一種反映，例如語音、文字、音樂、數據、圖片或活動圖像等。信號：與消息一一對應的電量。它是消息的物質載體，即消息是載荷在電信號的某一參量上的。實現通信的方式和手段：非電的：如旌旗、消息樹、烽火臺…電的：如電報、電話、廣播、電視、遙控、遙測、因特網和計算機通信等。1.1通信的基本概念通信的目的：傳遞消息中所包含的信息。1.1通信的基本概念3通信從本質上講是信息傳遞功能的一門科學技術，要將大量有用的信息無失真、高效率地進行傳輸，同時還要在傳輸過程中將無用信息和有害信息抑制掉。

后面講述中，“通信”這一術語是指“電通信”，包括光通信，因為光也是一種電磁波。在電通信系統中，消息的傳遞是通過電信號來實現的。1.1通信的基本概念通信從本質上講是信息傳遞功能的一門科學技術，要將大量有用的信4

1.2.1通信系統的一般模型

通信系統：傳遞信息所需的一切技術設備的總和。通信系統的一般模型如圖所示。1.2通信系統的組成模型1.2通信系統的組成模型5信息源（簡稱信源）：把各種消息轉換成原始電信號，如麥克風。信源可分為模擬信源和數字信源。發送設備：產生適合于在信道中傳輸的信號。信道：將來自發送設備的信號傳送到接收端的物理媒質。分為有線信道和無線信道兩大類。噪聲源：集中表示分布于通信系統中各處的噪聲。接收設備：從受到減損的接收信號中正確恢復出原始電信號。受信者（信宿）：把原始電信號還原成相應的消息，如揚聲器等。1.2通信系統的組成模型1.2通信系統的組成模型61.2通信系統的組成模型1.2.2模擬通信系統模型在電通信系統中，消息的傳遞是載荷在電信號的某一參量上的（如連續波的幅度、頻率或相位；脈沖波的幅度、寬度或位置）。依據電信號參量的取值方式不同，可以把信號分為兩類：模擬信號和數字信號。判斷一個信號是模擬信號還是數字信號，關鍵在于確定攜帶消息的信號參量是哪個物理量，然后再根據物理量的取值狀態進行判斷。1.2通信系統的組成模型1.2.2模擬通信系統模型7模擬信號和數字信號

模擬信號：代表消息的信號參量取值連續無限，例如麥克風輸出電壓：(a)話音信號(b)抽樣信號圖1-2模擬信號1.2通信系統的組成模型(a)話音信號8數字信號：代表消息的信號參量取值離散有限,例如電報信號、計算機輸入輸出信號：通常，按照信道中傳輸的是模擬信號還是數字信號，相應地把通信系統分為模擬通信系統和數字通信系統。

(a)二進制信號(b)2PSK信號圖1-3數字信號1.2通信系統的組成模型數字信號：代表消息的信號參量取值離散有限,(9模擬通信系統模型模擬通信系統是利用模擬信號來傳遞信息的通信系統。模擬通信系統需要兩種變換： 模擬消息原始電信號（基帶信號） 基帶信號已調信號（帶通信號）圖1-4模擬通信系統模型1.2通信系統的組成模型模擬通信系統模型圖1-4模擬通信系統模型1.2通信101.2通信系統的組成模型經過調制以后的信號稱為已調信號，它應具有兩個基本特征：

一是攜帶有信息；二是適宜在信道中傳輸。

圖1-5雙邊帶（DSB）系統模型圖以雙邊帶系統為例，簡單分析調制與解調的原理。1.2通信系統的組成模型經過調制以后的信號稱為已111.2通信系統的組成模型1.2.3數字通信系統模型數字通信系統是利用數字信號來傳遞信息的通信系統。數字通信系統可進一步細分為：（1）數字頻帶傳輸通信系統（含有調制器/解調器）；（2）數字基帶傳輸通信系統（不含調制器/解調器）；（3）模擬信號數字化傳輸通信系統（模擬信號在數字通信系統中傳輸）。1.2通信系統的組成模型1.2.3數字通信系統模型121.2通信系統的組成模型1．數字頻帶傳輸通信系統信源編碼與譯碼：提高信息傳輸的有效性；完成模數（A/D）變換。加密與解密：保證所傳信息的安全。信道編碼與譯碼：增強抗干擾能力。調制與解調：形成適合在信道中傳輸的帶通信號。1.2通信系統的組成模型1．數字頻帶傳輸通信系統信源編131.2通信系統的組成模型同步：使收發兩端信號在時間上保持步調一致，是保證數字通信系統有序、準確、可靠工作的前提條件。從功能和實現環境的方法不同，同步可分為以下四種方式：載波同步碼元同步或位同步幀同步網同步1.2通信系統的組成模型同步：使收發兩端信號在時141.2通信系統的組成模型2．數字基帶傳輸通信系統圖中基帶信號形成器可能包括編碼器、加密器以及波形變換等，接收濾波器亦可能包括譯碼器、解密器等。1.2通信系統的組成模型2．數字基帶傳輸通信系統151.2通信系統的組成模型3．模擬信號數字化傳輸通信系統要實現模擬信號在數字通信系統中傳輸，則必須在發送端將模擬信號數字化，即A/D轉換；在接收端需進行相反的轉換，即D/A轉換。1.2通信系統的組成模型3．模擬信號數字化傳輸通信系統161.2.3數字通信的特點優點：抗干擾能力強，且噪聲不積累。傳輸差錯可控。便于加密。易于集成。易于現代DSP技術相結合。缺點：占用頻帶寬。需要嚴格的同步系統。1.2通信系統的組成模型1.2.3數字通信的特點1.2通信系統的組成模型17

1.3.1通信系統的分類按通信業務分類：電報通信系統、電話通信系統、數據通信系統、圖像通信系統……按調制方式分類：基帶傳輸系統和帶通（調制）傳輸系統按信號特征分類：模擬通信系統和數字通信系統按傳輸媒介分類：有線通信系統和無線通信系統按工作波段分類：長波通信、中波通信、短波通信…按信號復用方式分類：頻分復用、時分復用、碼分復用1.3通信系統的分類及通信方式1.3.1通信系統的分類1.3通信系18頻分復用是用頻譜搬移的方法使不同信號占據不同的頻率范圍；時分復用是用抽樣或脈沖調制方法使不同信號占據不同的時間區間；碼分復用則是用一組包含互相正交的碼字的碼組攜帶多路信號。傳統的模擬通信中都采用頻分復用；隨著數字信的發展，時分復用通信系統的應用愈來愈廣泛；碼分復用主要用于空間通信的擴頻通信中。1.3通信系統的分類及通信方式頻分復用是用頻譜搬移的方法使不同信號占據不同的1.3191.3.2通信方式

單工、半雙工和全雙工通信對于點與點之間的通信，按消息傳遞的方向與時間關系，通信方式可分為單工、半雙工及全雙工通信三種。單工通信：消息只能單方向傳輸的工作方式。半雙工通信：通信雙方都能收發消息，但不能同時收發的工作方式。1.3通信系統的分類及通信方式1.3.2通信方式1.3通信系統的分類及通信方式20全雙工通信：通信雙方可同時進行收發消息的工作方式。

例如,遙測、遙控，就是單工通信方式。例如,使用同一載頻工作的無線電對講機，就是按半雙工通信方式工作的。例如,普通電話就是一種最常見的全雙工通信方式。1.3通信系統的分類及通信方式全雙工通信：通信雙方可同時進行收發消息的工作方式。1.321

并行傳輸和串行傳輸在數字通信中，按照數字信號碼元排列方法不同，有串行傳輸與并行傳輸之分。并行傳輸：將代表信息的數字信號碼元序列以成組的方式在兩條或兩條以上的并行信道上同時傳輸。

優點：節省傳輸時間，速度快：不需要字符同步措施。缺點：需要n條通信線路，成本高。

1.3通信系統的分類及通信方式并行傳輸和串行傳輸1.3通信系統的分類及通信方式22串行傳輸：將數字信號碼元序列以串行方式一個碼元接一個碼元地在一條信道上傳輸。

優點：只需一條通信信道，節省線路鋪設費用。 缺點：速度慢，需要外加碼組或字符同步措施。1.3通信系統的分類及通信方式串行傳輸：將數字信號碼元序列以串行方式一個碼元1.3通231.3通信系統的分類及通信方式兩點間直通方式、分支方式和交換方式按照通信的網絡形式通常可分為以上三類。本書的重點放在點與點之間的通信上。1.3通信系統的分類及通信方式兩點間直通方式、分支方式24信息：是消息中包含的有效內容。如何度量離散消息中所含的信息量?度量信息量的原則：能度量任何消息，并與消息的種類無關。度量方法應該與消息的重要程度無關。消息中所含信息量和消息內容的不確定【例】“某客機墜毀”這條消息比“今天下雨”這條消息包含有更多的信息。上例表明：消息所表達的事件越不可能發生，信息量就越大。

1.5信息及其度量信息：是消息中包含的有效內容。1.5信息及其度量25度量信息量的方法1）事件的不確定程度可以用其出現的概率來描述：消息出現的概率越小，則消息中包含的信息量就越大。2）設：P(x)－消息發生的概率， I－消息中所含的信息量，則P(x)和I之間應該有如下關系：I是P(x)的函數：I＝I[P(x)]P(x)，I；P(x)

，I；P(x)=1時，I＝0；P(x)=0時，I＝；

1.5信息及其度量度量信息量的方法1.5信息及其度量263）滿足上述條件的關系式如下：

－信息量的定義上式中對數的底： 若a=2，信息量的單位稱為比特(bit)，可簡記為b 若a=e，信息量的單位稱為奈特(nat)， 若a=10，信息量的單位稱為哈特萊(Hartley)。通常廣泛使用的單位為比特，這時有

1.5信息及其度量3）滿足上述條件的關系式如下：1.527【例1.1】設一個二進制離散信源，以相等的概率發送數字“0”或“1”，則信源每個輸出的信息含量為：在工程應用中，習慣把一個二進制碼元稱作1比特。

若有M個等概率波形（P=1/M），且每一個波形的出現是獨立的，則傳送M進制波形之一的信息量為:若M是2的整冪次，即M=2k，則有:當M=4時，即4進制波形，I=2比特，當M=8時，即8進制波形，I=3比特。1.5信息及其度量【例1.1】設一個二進制離散信源，以相等的概率發送數字“28對于非等概率情況 設：一個離散信源是由M個符號組成的集合，其中每個符號xi(i=1,2,3,…,M)按一定的概率P(xi)獨立出現，即

且有 則x1,x2,

x3,…,

xM所包含的信息量分別為:

1.5信息及其度量對于非等概率情況1.5信息及其度量29于是，每個符號所含平均信息量為:由于H(x)同熱力學中的熵形式相似，故稱它為信息源的熵。

1.5信息及其度量當離散信源中各符號等概率獨立出現平均信息量達到最大值，為于是，每個符號所含平均信息量為:1.5信息及其度量當離散301.5信息及其度量【例1.2】設由5個符號組成的離散信息源，各符號出現的概率為試求該信源的平均信息量。【解】該信源的平均信息量為：1.5信息及其度量【例1.2】設由5個符號組成的離散信息31【例1.3】一離散信源由“0”，“1”，“2”，“3”四個符號組成，它們出現的概率分別為3/8，1/4，1/4，1/8，且每個符號的出現都是獨立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量。【解】此消息中，“0”出現23次，“1”出現14次，“2”出現13次，“3”出現7次，共有57個符號，故該消息的信息量:

每個符號的算術平均信息量為:

1.5信息及其度量【例1.3】一離散信源由“0”，“1”，“2”，“3”四個32若用熵的概念來計算：則該消息的信息量為：

以上兩種結果略有差別的原因在于，它們平均處理方法不同。前一種按算數平均的方法，結果可能存在誤差。這種誤差將隨著消息序列中符號數的增加而減小。 當消息序列較長時，用熵的概念計算更為方便。1.5信息及其度量若用熵的概念來計算：1.5信息及其度量33連續消息的信息量:關于連續消息的信息量可以用概率密度函數來描述。可以證明，連續消息的平均信息量為：1.5信息及其度量式中：為連續消息出現的概率密度函數。連續消息的信息量:1.5信息及其度量式中：為連續消息出34【例】四進制離散信源輸出四個獨立符號A、B、C、D。1）A、B、C、D出現的概率分別為1/4、1/8、1/8、1/2，求A、B、C、D每個符號所攜帶的信息量和信源熵。2）A、B、C、D等概時，求信源熵（平均信息量）。1.5信息及其度量【例】四進制離散信源輸出四個獨立符號A、B、C、D。1.351.6通信系統主要性能指標通信系統的性能指標主要有以下幾個方面：有效性：指通信系統傳輸消息的“速率”問題，即快慢問題。可靠性：指通信系統傳輸消息的“質量”問題，即好壞問題。適應性：指通信系統使用時的環境條件。標準性：指系統的接口、各種結構及協議是否合乎國家、國際標準。經濟性：指系統的經濟成本問題。保密性：指系統對所傳信號的加密措施。維修性：指系統是否維修方便。工藝性：指通信系統的各種工藝要求。其中，有效性和可靠性是衡量通信系統性能的主要指標。1.6通信系統主要性能指標通信系統的性能指標主要有以下幾361.6通信系統主要性能指標1.6.1

模擬通信系統的性能指標處理的目的是在單位時間內傳輸更多的消息或者在一定頻帶范圍內傳輸更多的消息。1．有效性有效性指消息傳輸的速度，它取決于消息所包含的信息量和對信息源的處理。2．可靠性模擬通信系統的可靠性通常用接收端解調器輸出信號噪聲功率比來度量。越大，通信質量就越好。1.6通信系統主要性能指標1.6.1模擬通信系統的性371、有效性指標：用傳輸速率和頻帶利用率來衡量。傳輸速率可用碼元傳輸速率RB和信息傳輸速率Rb表征。碼元傳輸速率RB：定義為單位時間（每秒）傳送碼元的數目，單位為波特（Baud），簡記為B式中T－碼元的持續時間（秒）

信息傳輸速率Rb：定義為單位時間內傳遞的平均信息量或比特數，單位為比特/秒，簡記為b/s

，或bps1.6通信系統主要性能指標1.6.2

數字通信系統的性能指標1、有效性指標：用傳輸速率和頻帶利用率來衡量。1.6通38碼元速率和信息速率的關系：

若信源的平均信息量為H，則

當信源中各符號等概出現時，

1.6通信系統主要性能指標碼元速率和信息速率的關系：1.6通信系統主要性能指標391.6通信系統主要性能指標【例1.4】已知某二進制數字通信系統在2分鐘內共傳送了72000個碼元，問：①該系統的碼元速率和信息速率各為多少？②如果碼元寬度不變（即碼元速率不變），該系統改為傳送八進制信號碼元，設各碼元獨立等概出現，求系統的碼元速率和信息速率各為多少？【解】①（B）（bit/s）②碼元速率不變，（B）（bit/s）1.6通信系統主要性能指標【例1.4】已知某二進制數字通401.6通信系統主要性能指標頻帶利用率真正衡量數據通信系統的有效性指標是頻帶利用率，它定義為單位帶寬（每赫茲）內的傳輸速率，即1.6通信系統主要性能指標頻帶利用率真412、可靠性指標：常用誤碼率和誤信率表示。

誤碼率：

誤信率，又稱誤比特率：在二進制中有：1.6通信系統主要性能指標在多進制中有：2、可靠性指標：常用誤碼率和誤信率表示。1.6通信系統主421.6通信系統主要性能指標【例1.5】設在128內傳輸256個二進制碼元，若在2秒內有4個碼元產生錯誤，則誤碼率為多少？【解】該系統的傳碼率為：該系統的誤碼率為：1.6通信系統主要性能指標【例1.5】設在128431.7小結1.7小結441.7小結1.7小結451.7小結1.7小結46通信原理通信原理47第1章緒論1.1通信的基本概念11.2通信系統的組成模型21.3通信系統的分類及通信方式31.4通信的發展概況41.5信息及其度量51.6通信系統主要性能指標61.7小結7第1章緒論1.1通信的基本概念11.2通信48通信的目的：傳遞消息中所包含的信息。消息：是物質或精神狀態的一種反映，例如語音、文字、音樂、數據、圖片或活動圖像等。信號：與消息一一對應的電量。它是消息的物質載體，即消息是載荷在電信號的某一參量上的。實現通信的方式和手段：非電的：如旌旗、消息樹、烽火臺…電的：如電報、電話、廣播、電視、遙控、遙測、因特網和計算機通信等。1.1通信的基本概念通信的目的：傳遞消息中所包含的信息。1.1通信的基本概念49通信從本質上講是信息傳遞功能的一門科學技術，要將大量有用的信息無失真、高效率地進行傳輸，同時還要在傳輸過程中將無用信息和有害信息抑制掉。

后面講述中，“通信”這一術語是指“電通信”，包括光通信，因為光也是一種電磁波。在電通信系統中，消息的傳遞是通過電信號來實現的。1.1通信的基本概念通信從本質上講是信息傳遞功能的一門科學技術，要將大量有用的信50

1.2.1通信系統的一般模型

通信系統：傳遞信息所需的一切技術設備的總和。通信系統的一般模型如圖所示。1.2通信系統的組成模型1.2通信系統的組成模型51信息源（簡稱信源）：把各種消息轉換成原始電信號，如麥克風。信源可分為模擬信源和數字信源。發送設備：產生適合于在信道中傳輸的信號。信道：將來自發送設備的信號傳送到接收端的物理媒質。分為有線信道和無線信道兩大類。噪聲源：集中表示分布于通信系統中各處的噪聲。接收設備：從受到減損的接收信號中正確恢復出原始電信號。受信者（信宿）：把原始電信號還原成相應的消息，如揚聲器等。1.2通信系統的組成模型1.2通信系統的組成模型521.2通信系統的組成模型1.2.2模擬通信系統模型在電通信系統中，消息的傳遞是載荷在電信號的某一參量上的（如連續波的幅度、頻率或相位；脈沖波的幅度、寬度或位置）。依據電信號參量的取值方式不同，可以把信號分為兩類：模擬信號和數字信號。判斷一個信號是模擬信號還是數字信號，關鍵在于確定攜帶消息的信號參量是哪個物理量，然后再根據物理量的取值狀態進行判斷。1.2通信系統的組成模型1.2.2模擬通信系統模型53模擬信號和數字信號

模擬信號：代表消息的信號參量取值連續無限，例如麥克風輸出電壓：(a)話音信號(b)抽樣信號圖1-2模擬信號1.2通信系統的組成模型(a)話音信號54數字信號：代表消息的信號參量取值離散有限,例如電報信號、計算機輸入輸出信號：通常，按照信道中傳輸的是模擬信號還是數字信號，相應地把通信系統分為模擬通信系統和數字通信系統。

(a)二進制信號(b)2PSK信號圖1-3數字信號1.2通信系統的組成模型數字信號：代表消息的信號參量取值離散有限,(55模擬通信系統模型模擬通信系統是利用模擬信號來傳遞信息的通信系統。模擬通信系統需要兩種變換： 模擬消息原始電信號（基帶信號） 基帶信號已調信號（帶通信號）圖1-4模擬通信系統模型1.2通信系統的組成模型模擬通信系統模型圖1-4模擬通信系統模型1.2通信561.2通信系統的組成模型經過調制以后的信號稱為已調信號，它應具有兩個基本特征：

一是攜帶有信息；二是適宜在信道中傳輸。

圖1-5雙邊帶（DSB）系統模型圖以雙邊帶系統為例，簡單分析調制與解調的原理。1.2通信系統的組成模型經過調制以后的信號稱為已571.2通信系統的組成模型1.2.3數字通信系統模型數字通信系統是利用數字信號來傳遞信息的通信系統。數字通信系統可進一步細分為：（1）數字頻帶傳輸通信系統（含有調制器/解調器）；（2）數字基帶傳輸通信系統（不含調制器/解調器）；（3）模擬信號數字化傳輸通信系統（模擬信號在數字通信系統中傳輸）。1.2通信系統的組成模型1.2.3數字通信系統模型581.2通信系統的組成模型1．數字頻帶傳輸通信系統信源編碼與譯碼：提高信息傳輸的有效性；完成模數（A/D）變換。加密與解密：保證所傳信息的安全。信道編碼與譯碼：增強抗干擾能力。調制與解調：形成適合在信道中傳輸的帶通信號。1.2通信系統的組成模型1．數字頻帶傳輸通信系統信源編591.2通信系統的組成模型同步：使收發兩端信號在時間上保持步調一致，是保證數字通信系統有序、準確、可靠工作的前提條件。從功能和實現環境的方法不同，同步可分為以下四種方式：載波同步碼元同步或位同步幀同步網同步1.2通信系統的組成模型同步：使收發兩端信號在時601.2通信系統的組成模型2．數字基帶傳輸通信系統圖中基帶信號形成器可能包括編碼器、加密器以及波形變換等，接收濾波器亦可能包括譯碼器、解密器等。1.2通信系統的組成模型2．數字基帶傳輸通信系統611.2通信系統的組成模型3．模擬信號數字化傳輸通信系統要實現模擬信號在數字通信系統中傳輸，則必須在發送端將模擬信號數字化，即A/D轉換；在接收端需進行相反的轉換，即D/A轉換。1.2通信系統的組成模型3．模擬信號數字化傳輸通信系統621.2.3數字通信的特點優點：抗干擾能力強，且噪聲不積累。傳輸差錯可控。便于加密。易于集成。易于現代DSP技術相結合。缺點：占用頻帶寬。需要嚴格的同步系統。1.2通信系統的組成模型1.2.3數字通信的特點1.2通信系統的組成模型63

1.3.1通信系統的分類按通信業務分類：電報通信系統、電話通信系統、數據通信系統、圖像通信系統……按調制方式分類：基帶傳輸系統和帶通（調制）傳輸系統按信號特征分類：模擬通信系統和數字通信系統按傳輸媒介分類：有線通信系統和無線通信系統按工作波段分類：長波通信、中波通信、短波通信…按信號復用方式分類：頻分復用、時分復用、碼分復用1.3通信系統的分類及通信方式1.3.1通信系統的分類1.3通信系64頻分復用是用頻譜搬移的方法使不同信號占據不同的頻率范圍；時分復用是用抽樣或脈沖調制方法使不同信號占據不同的時間區間；碼分復用則是用一組包含互相正交的碼字的碼組攜帶多路信號。傳統的模擬通信中都采用頻分復用；隨著數字信的發展，時分復用通信系統的應用愈來愈廣泛；碼分復用主要用于空間通信的擴頻通信中。1.3通信系統的分類及通信方式頻分復用是用頻譜搬移的方法使不同信號占據不同的1.3651.3.2通信方式

單工、半雙工和全雙工通信對于點與點之間的通信，按消息傳遞的方向與時間關系，通信方式可分為單工、半雙工及全雙工通信三種。單工通信：消息只能單方向傳輸的工作方式。半雙工通信：通信雙方都能收發消息，但不能同時收發的工作方式。1.3通信系統的分類及通信方式1.3.2通信方式1.3通信系統的分類及通信方式66全雙工通信：通信雙方可同時進行收發消息的工作方式。

例如,遙測、遙控，就是單工通信方式。例如,使用同一載頻工作的無線電對講機，就是按半雙工通信方式工作的。例如,普通電話就是一種最常見的全雙工通信方式。1.3通信系統的分類及通信方式全雙工通信：通信雙方可同時進行收發消息的工作方式。1.367

并行傳輸和串行傳輸在數字通信中，按照數字信號碼元排列方法不同，有串行傳輸與并行傳輸之分。并行傳輸：將代表信息的數字信號碼元序列以成組的方式在兩條或兩條以上的并行信道上同時傳輸。

優點：節省傳輸時間，速度快：不需要字符同步措施。缺點：需要n條通信線路，成本高。

1.3通信系統的分類及通信方式并行傳輸和串行傳輸1.3通信系統的分類及通信方式68串行傳輸：將數字信號碼元序列以串行方式一個碼元接一個碼元地在一條信道上傳輸。

優點：只需一條通信信道，節省線路鋪設費用。 缺點：速度慢，需要外加碼組或字符同步措施。1.3通信系統的分類及通信方式串行傳輸：將數字信號碼元序列以串行方式一個碼元1.3通691.3通信系統的分類及通信方式兩點間直通方式、分支方式和交換方式按照通信的網絡形式通常可分為以上三類。本書的重點放在點與點之間的通信上。1.3通信系統的分類及通信方式兩點間直通方式、分支方式70信息：是消息中包含的有效內容。如何度量離散消息中所含的信息量?度量信息量的原則：能度量任何消息，并與消息的種類無關。度量方法應該與消息的重要程度無關。消息中所含信息量和消息內容的不確定【例】“某客機墜毀”這條消息比“今天下雨”這條消息包含有更多的信息。上例表明：消息所表達的事件越不可能發生，信息量就越大。

1.5信息及其度量信息：是消息中包含的有效內容。1.5信息及其度量71度量信息量的方法1）事件的不確定程度可以用其出現的概率來描述：消息出現的概率越小，則消息中包含的信息量就越大。2）設：P(x)－消息發生的概率， I－消息中所含的信息量，則P(x)和I之間應該有如下關系：I是P(x)的函數：I＝I[P(x)]P(x)，I；P(x)

，I；P(x)=1時，I＝0；P(x)=0時，I＝；

1.5信息及其度量度量信息量的方法1.5信息及其度量723）滿足上述條件的關系式如下：

－信息量的定義上式中對數的底： 若a=2，信息量的單位稱為比特(bit)，可簡記為b 若a=e，信息量的單位稱為奈特(nat)， 若a=10，信息量的單位稱為哈特萊(Hartley)。通常廣泛使用的單位為比特，這時有

1.5信息及其度量3）滿足上述條件的關系式如下：1.573【例1.1】設一個二進制離散信源，以相等的概率發送數字“0”或“1”，則信源每個輸出的信息含量為：在工程應用中，習慣把一個二進制碼元稱作1比特。

若有M個等概率波形（P=1/M），且每一個波形的出現是獨立的，則傳送M進制波形之一的信息量為:若M是2的整冪次，即M=2k，則有:當M=4時，即4進制波形，I=2比特，當M=8時，即8進制波形，I=3比特。1.5信息及其度量【例1.1】設一個二進制離散信源，以相等的概率發送數字“74對于非等概率情況 設：一個離散信源是由M個符號組成的集合，其中每個符號xi(i=1,2,3,…,M)按一定的概率P(xi)獨立出現，即

且有 則x1,x2,

x3,…,

xM所包含的信息量分別為:

1.5信息及其度量對于非等概率情況1.5信息及其度量75于是，每個符號所含平均信息量為:由于H(x)同熱力學中的熵形式相似，故稱它為信息源的熵。

1.5信息及其度量當離散信源中各符號等概率獨立出現平均信息量達到最大值，為于是，每個符號所含平均信息量為:1.5信息及其度量當離散761.5信息及其度量【例1.2】設由5個符號組成的離散信息源，各符號出現的概率為試求該信源的平均信息量。【解】該信源的平均信息量為：1.5信息及其度量【例1.2】設由5個符號組成的離散信息77【例1.3】一離散信源由“0”，“1”，“2”，“3”四個符號組成，它們出現的概率分別為3/8，1/4，1/4，1/8，且每個符號的出現都是獨立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量。【解】此消息中，“0”出現23次，“1”出現14次，“2”出現13次，“3”出現7次，共有57個符號，故該消息的信息量:

每個符號的算術平均信息量為:

1.5信息及其度量【例1.3】一離散信源由“0”，“1”，“2”，“3”四個78若用熵的概念來計算：則該消息的信息量為：

以上兩種結果略有差別的原因在于，它們平均處理方法不同。前一種按算數平均的方法，結果可能存在誤差。這種誤差將隨著消息序列中符號數的增加而減小。 當消息序列較長時，用熵的概念計算更為方便。1.5信息及其度量若用熵的概念來計算：1.5信息及其度量79連續消息的信息量:關于連續消息的信息量可以用概率密度函數來描述。可以證明，連續消息的平均信息量為：1.5信息及其度量式中：為連續消息出現的概率密度函數。連續消息的信息量:1.5信息及其度量式中：為連續消息出80【例】四進制離散信源輸出四個獨立符號A、B、C、D。1）A、B、C、D出現的概率分別為1/4、1/8、1/8、1/2，求A、B、C、D每個符號所攜帶的信息量和信源熵。2）A、B、C、D等概時，求信源熵（平均信息量）。1.5信息及其度量【例】四進制離散信源