通信原理主講：朱杰聯系方式：Email:zhuj@Tel:84078869成都理工大學信息工程學院通信原理主講：朱杰聯系方式：成都理工大學信息工程學院1什么是通信？通信(Communication)是指由一地向另一地進行消息的有效傳遞。什么是通信？通信(Communication)是指由一地向另2轉換器(Ⅰ)發射機消息（廣播節目）信號調制轉換器(Ⅱ)接收機消息（廣播節目）信號解調無線電廣播系統的組成進入19世紀后,人們開始試圖用電信號進行通信。電纜通信微波中繼通信SSBFDMSSB、FM、FDMBPSK、QPSKMQAM光纖通信WDM衛星通信FDM、FDMATDM、TDMA通信是指利用電子技術等手段，借助光電信號實現從一地向另一地進行消息的有效傳遞。轉換器(Ⅰ)發射機消息（廣播節目）信號調制轉換器(Ⅱ)接收機3移動通信第二代：窄帶時分多址（TDMA）、窄帶碼分多址(CDMA)

標準——歐洲GSM、美國IS-95、日本PDC第三代（3G）：WCDMA、CDMA2000、TD-SCDMA三網合一電信網、計算機網、有線電視網個人通信“5W”通信模式：任何人（Whoever）能在任何時間（Whenever）、任何地點（Wherever）以任何方式（Whatever）與任何他人（Whomever）進行通信。移動通信第二代：窄帶時分多址（TDMA）、窄帶碼分多址(CD4學好通信的基礎條件選修和復習幾門基礎課程概率論信號與系統隨機過程自學學好通信的基礎條件選修和復習幾門基礎課程5如何學習主動聽課，認真作好筆記及時消化當天的內容，知識需要日積月累，但問題不需要認真做好每次布置的作業認真做好實驗，每次實驗完按時提交實驗報告堅持按時到課如何學習主動聽課，認真作好筆記6關于成績成績由以下部分組成：期末考試成績80%實驗成績10%平時成績10%到課情況作業情況關于成績成績由以下部分組成：7教材與參考書教材《通信原理》

樊昌信等著

國防工業出版社

參考書：1、《現代通信原理》曹志剛等著清華大學出版社2、《隨機過程》3、《信號與系統》教材與參考書教材《通信原理》參考書：8同步原理緒論（信息論基礎知識）通信原理課程主體內容隨機信號分析基礎模擬調制系統模擬信號的數字傳輸數字頻帶傳輸系統差錯控制編碼信道數字基帶傳輸系統數字信號的最佳接收正交編碼與偽隨機序列同步原理緒論（信息論基礎知識）通信原理課程主體內容隨機信號分9第一章緒論

第一部分通信及通信系統簡介

通信的幾個基本概念

通信發展史介紹

通信系統的構成

通信系統的分類

通信系統的主要性能指標.5.第一章緒論

第一部分通信及通信系統簡介通信的幾10§1.1通信的基本概念信息、消息和信號信息：從工程上來講信息是客觀事物可能存在的狀態及其隨時間而發生變化的反映消息：攜帶信息的載體（e.g.文字、語音、圖象）信號：指消息在通信系統中物理參數的函數表示形式

通信模式單工：單方向（遙控器）半雙工：不能同時收發（無線電對講機）全雙工：雙方同時收發（電話）數據傳輸方式串行傳輸：將數字信號碼元序列按時間順序一個接一個在信道中傳輸并行傳輸：將數字信號碼元序列分割成兩路或兩路以上的數字信號碼元序列同時在信道中傳輸§1.1通信的基本概念信息、消息和信號11A87654321BAB18765432A87654321B1876543212§1.1通信的基本概念通信的定義通信：是指信息的傳輸與交換通信的目的：傳輸信息例如：電通信：利用“電”來傳遞信息的方式光通信：利用“光”來傳遞信息的方式 §1.1通信的基本概念通信的定義13§1.2通信系統的構成通信系統的一般模型信息源收信者噪聲源發送設備接收設備信道發送端接收端PointtoPointCommunications§1.2通信系統的構成通信系統的一般模型信息源收信者噪聲源14發送端：信息源：信源，將消息變成原始的電信號發送設備：將信源和信道匹配起來，即將信源產生的信號變換為便于信道傳輸的信號形式信道：信號傳輸的媒介（有無線和有線之分）接收端：接收設備：將信道中送來的已調信號還原成原始信號收信者：信宿，將原始電信號還原成信息噪聲源：信道中的噪聲與分散在通信系統中的其它各處的噪聲的集中表示（加性噪聲、乘性噪聲）各模塊功能描述：發送端：各模塊功能描述：15模擬通信系統模型模擬信源收信者噪聲源調制器解調器信道功能描述：模擬信源：模擬通信中的信息源是狀態連續的模擬信源（電話）調制器：將來自信源的基帶信號變換成適合在信道上傳輸的已調信號的設備解調器：將已調信號還原成基帶信號，與調制相反過程處理的設備模擬通信系統模型模擬信源收信者噪聲源調制器解調器信道功能描述16數字通信系統模型功能描述：信源編碼：AD信道編碼：使數字信號與傳輸媒介匹配信源編碼收信者調制器解調器信道噪聲干擾信息源信道編碼信源解碼信道解碼數字通信系統模型功能描述：信源編碼：AD信源編碼17§1.3通信系統分類根據消息的物理特征分為：語音通信系統數據通信系統圖象通信系統

根據調制方式（是否采用調制）可分：基帶傳輸：將未經調制的信號直接傳輸頻帶傳輸：調制傳輸，將各種信號調制后傳輸的總稱（利于傳輸、提高性能---抗干擾能力、有效利用頻帶）根據傳輸的媒介分為：無線通信（微波、衛星、移動）有線通信（CATV、光纜）§1.3通信系統分類根據消息的物理特征分為：18根據信道上傳輸信號的波形特征分為：模擬通信系統：幅度連續數字通信系統：幅度被限制在有限個數值之內，它不是連續的，而是離散的（抗干擾能力強、便于各種處理、易于集成、性價比好、便于多路復用）

根據信號的復用方式可分：頻分復用FDM：用頻譜搬移的方法使不同信號占用不同的頻譜范圍時分復用TDM：用脈沖調制的方法使不同信號占據不同時間區間（時隙）碼分復用CDM：用一組正交的脈沖序列分別攜帶不同信息波分復用WDM：通過不同顏色（頻率/波長）的光傳輸不同的信號。根據信道上傳輸信號的波形特征分為：19§1.4通信系統的主要性能指標

在研究設計或評價一個通信系統的好壞時，必然涉及系統的質量指標問題。通信系統的質量指標很多，歸納起來主要有以下幾個方面：有效性：是指消息傳輸的“速度”問題可靠性：是指消息傳輸的“質量”問題適應性：指環境使用條件標準性：指元件的標準性互換性經濟性：指成本是否低保密性：是否便于加密使用、維修：是否方便§1.4通信系統的主要性能指標 在研究設計或評價一個通20有效性：用有效傳輸頻帶來度量取決于消息所包含的信息量和對信息源的處理；處理的目的是使單位時間內傳輸更多的消息或者一定的頻帶內傳輸更多的消息可靠性：用信宿輸出的信噪比來度量(S/N)信噪功率比S/N越大，通信質量越好；S/N是由信號功率和信號傳輸過程中引起的失真和各種干擾、噪聲決定的模擬通信系統指標討論：數字通信系統指標討論：有效性：用信息傳輸速率來度量碼元速率RB：每秒傳輸碼元的數目，單位：波特（B）信息傳輸速率Rb：每秒鐘傳輸的信息量，單位：比特/秒（bit/s）可靠性：用差錯率來度量誤碼率Pe：是指錯誤接收的碼元數在傳送總碼元數中所占的比例誤信率Pb：誤比特率，是指錯誤接收的信息量在傳送信息總量中所占的比例。有效性：用有效傳輸頻帶來度量模擬通信系統指標討論：數字通信系21信息量：衡量各種不同消息中包含信息多少的標準。 單位：比特（bit），符號用I表示設信息傳輸速率為Rb(bit/s)，碼元速率為RBN(B)，則其中，RBN=RB2/log2N

，N為進制數注：因為信息量與進制有關，因此信息速率也和進制有關，N進制數字信號每秒鐘的信息量為RBNlog2N，所以

RbN=RBNlog2N且在二進制中，

Rb2=RB2，在數值上信息速率=碼元速率

信息量：衡量各種不同消息中包含信息多少的標準。其中，RBN=22例：一個二進制數字信號每分鐘傳輸18kbit的信息量，求其碼元速率？如果改用八進制數字信號完成每分鐘傳輸18kbit的信息量，其碼元速率又為多少？例：一個二進制數字信號每分鐘傳輸18kbit的信息量，求其碼23習題1-7解：由題目可知傳輸二電平數字信每秒傳輸300個碼元，則知傳碼率：RB=300B

當0、1等概出現時，傳信率：Rb=RB2log22=300bit/s習題1-7解：由題目可知傳輸二電平數字信每秒傳輸300個碼元24第二部分信息論初步

信息的度量

第二部分信息論初步

信息的度量

25§1.5信息的度量“信息量”概念的引入 消息是攜帶信息的載體，它以具體的信號形式表現出來；信息是抽象、本質的內容，可以理解為消息中包含的有意義的內容。不同的消息形式可以包含相同的信息。例如：文字語音可以表示相同的信息。 那么，具體針對一個通信系統，該如何衡量其傳輸能力，即傳遞信息多少？引出了“信息量”的概念。

Hartley和香農(C.E.Shannon)從消息的統計特性出發，從信息的不確定性和概率測度的角度定義了通信中信息量的概念，并給出了信息度量的方法。§1.5信息的度量“信息量”概念的引入Har26描述方法：隨機過程消息產生源描述統計特性離散消息離散信源離散型隨機過程概率分布率x~P(x)連續消息連續信源連續型隨機過程概率密度函數和概率分布函數§1.5.1消息的統計特性描述方法：隨機過程消息產生源描述統計特性離散消息離散信源離散27§1.5.2離散信源的信息量離散信源的特性：線性疊加性：若干獨立消息之和的信息量是每個消息所含信息量的線性疊加。指數增加特性：由有限個符號組成的離散信源來說，隨著消息的長度增加，其可能出現消息的數目是按指數增加的。§1.5.2離散信源的信息量離散信源的特性：線性疊加性：28設u1,u2,u3…

uN，uj∈{xi}，i=1,……,k，概率為p(xi)Hartley公式：1.單一符號的信息量：信息量的計算：設u1,u2,u3…uN，uj∈{xi}，i=1,29單位：對數以2為底，單位為比特（bit）對數以e為底，單位為奈特（nit）對數以10為底，單位為哈特萊（Hartley）注：三種單位的使用應根據計算及使用的方便來決定。例題：已知漢字電報中數字2出現的概率為0.08，求2的信息量？單位：注：三種單位的使用應根據計算及使用的方便來決定。例題：30習題1-1解：E的信息量

x的信息量習題1-1解：E的信息量31設u1,u2,u3…

uN，ui∈{xj}，j=1,……,k，概率為p(xj)，xj出現的次數為nj根據相加性的特點，總的信息量為：2.隨機序列的信息量：設u1,u2,u3…uN，ui∈{xj}，j=1,32例題：一個離散信源每毫秒發出a，b，c，d

中符號中的一個，各相互獨立符號出現的概率分別為 試求：1秒內離散信源發送消息acabcbaabaddabbbdaaaccaaadcccdaadaaaddadacdadcdabccdaaccd

的信息量？（lg2=0.301lg3=0.477lg5=0.7）例題：1秒內離散信源發送消息acabcbaaba33解：此消息的長度57個字符，其中a出現23次，b出現7次，c出現13次，d出現14次，則此消息的信息量為：解：此消息的長度57個字符，其中a出現23次，b出現7次，c34§1.5.3多個信源與互信息

設兩個信源X和Y，出現的符號對應為xi和yj，則聯合信息量

I(xiyj)=-logP(xiyj)條件信息量

I(xi|yj)=-logP(xi|yj)§1.5.3多個信源與互信息設兩個信源X和35互信息量信道XNoiseY=X+N先驗概率：P(xi)后驗概率：P(xi/yj)轉移概率：P(yj/xi)互信息量：互信息表示X和Y統計關聯程度互信息量信道XNoiseY=X+N先驗概率：P(xi)互信36什么叫“熵” 物理學上為了衡量熱力體系中不能利用的熱能，用溫度除熱能所得的熵。 在通信系統中，把信源輸出消息的平均信息量稱為信源的熵。采用“熵”來衡量通信系統傳輸能力的原因： 當消息很長時，用符號出現的概率來計算消息的信息量麻煩。“平均信息量”的定義： 每個符號所含信息量的平均值?！?.5.4離散信源的熵什么叫“熵”§1.5.4離散信源的熵37計算公式:香農熵：表示N個符號的離散消息源的平均信息量單位：比特/符號性質：H(X)P平均信息量是非負的，即H(X)≥0平均信息量具有上凸性，即H(X)是P(x)的上凸函數計算公式:香農熵：表示N個符號的離散消息源的平均信息量性質：38例題：計算上例中信源的平均信息量？【解】★

消息的信息量I與平均信息量H的關系：I=MHM為消息的總符號數【上例的信息量】例題：【解】★消息的信息量I與平均信息量H的關系：I=MH39小結討論：上題中，利用平均信息量算得的消息總信息量與利用哈萊特公式計算的結果存在一定的差異，原因在于：統計的消息不夠長，各符號出現的幾率與概率場給出的概率不一定相等，但隨著序列長度的增長，其誤差將趨向于零。小結討論：上題中，利用平均信息量算得的消息總信息量與利用哈萊40習題1-4（1）解：由題目可知不同字母等概率出現時，其出現概率為1/4，則每個字母的平均信息量為：每個脈沖寬度為5ms時，每個字母占用的時間為：

則每秒傳送的符號數為：1/10-2=100（符號/秒）則平均信息速率為：

（2）平均信息量為：平均信息速率為：習題1-4（1）解：由題目可知不同字母等概率出現時，其出現概41習題1-5（1）解：由題目可知劃出現的概率是點出現概率的1/3，則點出現的概率為P1=3/4，劃出現的概率為1/4

點的信息量為：劃的信息量為：

（2）平均信息量為：習題1-5（1）解：由題目可知劃出現的概率是點出現概率的1/42習題1-8由題1-2已求得信息源的熵為，則（1）傳送1小時的信息量為：（2）在符號傳輸等概率出現時有最大信源熵，基于此即可求取傳送1小時可能達到的最大信息量。習題1-2由題意可知求取信源符號的平均信息量，即信源的熵習題1-8由題1-2已求得信息源的熵為43習題1-6由題意求取信源的平均信息量，即信源的熵已知信源每秒發送1000個符號，則平均信息速率為：習題1-6由題意求取信源的平均信息量，即信源的熵已知信源每秒44平均信息量 表示：聯合熵（共熵） 定義：對于X，Y兩個離散信源，X中xi與Y中yj同時出現的平均信息量成為~

表達式：§1.5.5多個信源的熵與平均互信息量平均信息量§1.5.5多個信源的熵與平均互信息量45條件熵(H(Y/X))

意義：已知X中出現xi的條件下Y中出現yj的條件平均信息量

同理可知H(X/Y)

條件熵(H(Y/X)) 同理可知H(X/Y)46平均互信息量：互信息量的統計平均值平均互信息量：互信息量的統計平均值47平均互信息的性質：I(X,Y)≥0I(X,Y)=I(Y,X)I(X,Y)≤H(X),I(X,Y)≤H(Y)I(X,Y)是概率P(x)的上凸函數，是轉移概率Q(y/x)的下凸函數平均互信息的性質：I(X,Y)≥048I(X,Y)H(Y/X)H(X/Y)熵、條件熵、聯合熵與平均互信息量的關系圖形表示法 H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

統計獨立：H(X/Y)=H(X)，H(Y/X)=H(Y)I(X,Y)H(Y/X)H(X/Y)熵、條件熵、聯合熵與平均49信息論基本概念小結香農熵：信息不確定性的量度互信息：兩個信源之間的相互關聯性的量度信息論基本概念小結香農熵：信息不確定性的量度50§1.5.6連續信源的熵方法：離散區間上取極限微分熵§1.5.6連續信源的熵方法：離散區間上取極限51§1.5.7連續信源的最大熵峰值受限：（幅度受限）均方受限：（功率受限）§1.5.7連續信源的最大熵峰值受限：（幅度受限）52§1.5.8多個連續信源的熵聯合熵條件熵互信息§1.5.8多個連續信源的熵聯合熵53通信原理主講：朱杰聯系方式：Email:zhuj@Tel:84078869成都理工大學信息工程學院通信原理主講：朱杰聯系方式：成都理工大學信息工程學院54什么是通信？通信(Communication)是指由一地向另一地進行消息的有效傳遞。什么是通信？通信(Communication)是指由一地向另55轉換器(Ⅰ)發射機消息（廣播節目）信號調制轉換器(Ⅱ)接收機消息（廣播節目）信號解調無線電廣播系統的組成進入19世紀后,人們開始試圖用電信號進行通信。電纜通信微波中繼通信SSBFDMSSB、FM、FDMBPSK、QPSKMQAM光纖通信WDM衛星通信FDM、FDMATDM、TDMA通信是指利用電子技術等手段，借助光電信號實現從一地向另一地進行消息的有效傳遞。轉換器(Ⅰ)發射機消息（廣播節目）信號調制轉換器(Ⅱ)接收機56移動通信第二代：窄帶時分多址（TDMA）、窄帶碼分多址(CDMA)

標準——歐洲GSM、美國IS-95、日本PDC第三代（3G）：WCDMA、CDMA2000、TD-SCDMA三網合一電信網、計算機網、有線電視網個人通信“5W”通信模式：任何人（Whoever）能在任何時間（Whenever）、任何地點（Wherever）以任何方式（Whatever）與任何他人（Whomever）進行通信。移動通信第二代：窄帶時分多址（TDMA）、窄帶碼分多址(CD57學好通信的基礎條件選修和復習幾門基礎課程概率論信號與系統隨機過程自學學好通信的基礎條件選修和復習幾門基礎課程58如何學習主動聽課，認真作好筆記及時消化當天的內容，知識需要日積月累，但問題不需要認真做好每次布置的作業認真做好實驗，每次實驗完按時提交實驗報告堅持按時到課如何學習主動聽課，認真作好筆記59關于成績成績由以下部分組成：期末考試成績80%實驗成績10%平時成績10%到課情況作業情況關于成績成績由以下部分組成：60教材與參考書教材《通信原理》

樊昌信等著

國防工業出版社

參考書：1、《現代通信原理》曹志剛等著清華大學出版社2、《隨機過程》3、《信號與系統》教材與參考書教材《通信原理》參考書：61同步原理緒論（信息論基礎知識）通信原理課程主體內容隨機信號分析基礎模擬調制系統模擬信號的數字傳輸數字頻帶傳輸系統差錯控制編碼信道數字基帶傳輸系統數字信號的最佳接收正交編碼與偽隨機序列同步原理緒論（信息論基礎知識）通信原理課程主體內容隨機信號分62第一章緒論

第一部分通信及通信系統簡介

通信的幾個基本概念

通信發展史介紹

通信系統的構成

通信系統的分類

通信系統的主要性能指標.5.第一章緒論

第一部分通信及通信系統簡介通信的幾63§1.1通信的基本概念信息、消息和信號信息：從工程上來講信息是客觀事物可能存在的狀態及其隨時間而發生變化的反映消息：攜帶信息的載體（e.g.文字、語音、圖象）信號：指消息在通信系統中物理參數的函數表示形式

通信模式單工：單方向（遙控器）半雙工：不能同時收發（無線電對講機）全雙工：雙方同時收發（電話）數據傳輸方式串行傳輸：將數字信號碼元序列按時間順序一個接一個在信道中傳輸并行傳輸：將數字信號碼元序列分割成兩路或兩路以上的數字信號碼元序列同時在信道中傳輸§1.1通信的基本概念信息、消息和信號64A87654321BAB18765432A87654321B1876543265§1.1通信的基本概念通信的定義通信：是指信息的傳輸與交換通信的目的：傳輸信息例如：電通信：利用“電”來傳遞信息的方式光通信：利用“光”來傳遞信息的方式 §1.1通信的基本概念通信的定義66§1.2通信系統的構成通信系統的一般模型信息源收信者噪聲源發送設備接收設備信道發送端接收端PointtoPointCommunications§1.2通信系統的構成通信系統的一般模型信息源收信者噪聲源67發送端：信息源：信源，將消息變成原始的電信號發送設備：將信源和信道匹配起來，即將信源產生的信號變換為便于信道傳輸的信號形式信道：信號傳輸的媒介（有無線和有線之分）接收端：接收設備：將信道中送來的已調信號還原成原始信號收信者：信宿，將原始電信號還原成信息噪聲源：信道中的噪聲與分散在通信系統中的其它各處的噪聲的集中表示（加性噪聲、乘性噪聲）各模塊功能描述：發送端：各模塊功能描述：68模擬通信系統模型模擬信源收信者噪聲源調制器解調器信道功能描述：模擬信源：模擬通信中的信息源是狀態連續的模擬信源（電話）調制器：將來自信源的基帶信號變換成適合在信道上傳輸的已調信號的設備解調器：將已調信號還原成基帶信號，與調制相反過程處理的設備模擬通信系統模型模擬信源收信者噪聲源調制器解調器信道功能描述69數字通信系統模型功能描述：信源編碼：AD信道編碼：使數字信號與傳輸媒介匹配信源編碼收信者調制器解調器信道噪聲干擾信息源信道編碼信源解碼信道解碼數字通信系統模型功能描述：信源編碼：AD信源編碼70§1.3通信系統分類根據消息的物理特征分為：語音通信系統數據通信系統圖象通信系統

根據調制方式（是否采用調制）可分：基帶傳輸：將未經調制的信號直接傳輸頻帶傳輸：調制傳輸，將各種信號調制后傳輸的總稱（利于傳輸、提高性能---抗干擾能力、有效利用頻帶）根據傳輸的媒介分為：無線通信（微波、衛星、移動）有線通信（CATV、光纜）§1.3通信系統分類根據消息的物理特征分為：71根據信道上傳輸信號的波形特征分為：模擬通信系統：幅度連續數字通信系統：幅度被限制在有限個數值之內，它不是連續的，而是離散的（抗干擾能力強、便于各種處理、易于集成、性價比好、便于多路復用）

根據信號的復用方式可分：頻分復用FDM：用頻譜搬移的方法使不同信號占用不同的頻譜范圍時分復用TDM：用脈沖調制的方法使不同信號占據不同時間區間（時隙）碼分復用CDM：用一組正交的脈沖序列分別攜帶不同信息波分復用WDM：通過不同顏色（頻率/波長）的光傳輸不同的信號。根據信道上傳輸信號的波形特征分為：72§1.4通信系統的主要性能指標

在研究設計或評價一個通信系統的好壞時，必然涉及系統的質量指標問題。通信系統的質量指標很多，歸納起來主要有以下幾個方面：有效性：是指消息傳輸的“速度”問題可靠性：是指消息傳輸的“質量”問題適應性：指環境使用條件標準性：指元件的標準性互換性經濟性：指成本是否低保密性：是否便于加密使用、維修：是否方便§1.4通信系統的主要性能指標 在研究設計或評價一個通73有效性：用有效傳輸頻帶來度量取決于消息所包含的信息量和對信息源的處理；處理的目的是使單位時間內傳輸更多的消息或者一定的頻帶內傳輸更多的消息可靠性：用信宿輸出的信噪比來度量(S/N)信噪功率比S/N越大，通信質量越好；S/N是由信號功率和信號傳輸過程中引起的失真和各種干擾、噪聲決定的模擬通信系統指標討論：數字通信系統指標討論：有效性：用信息傳輸速率來度量碼元速率RB：每秒傳輸碼元的數目，單位：波特（B）信息傳輸速率Rb：每秒鐘傳輸的信息量，單位：比特/秒（bit/s）可靠性：用差錯率來度量誤碼率Pe：是指錯誤接收的碼元數在傳送總碼元數中所占的比例誤信率Pb：誤比特率，是指錯誤接收的信息量在傳送信息總量中所占的比例。有效性：用有效傳輸頻帶來度量模擬通信系統指標討論：數字通信系74信息量：衡量各種不同消息中包含信息多少的標準。 單位：比特（bit），符號用I表示設信息傳輸速率為Rb(bit/s)，碼元速率為RBN(B)，則其中，RBN=RB2/log2N

，N為進制數注：因為信息量與進制有關，因此信息速率也和進制有關，N進制數字信號每秒鐘的信息量為RBNlog2N，所以

RbN=RBNlog2N且在二進制中，

Rb2=RB2，在數值上信息速率=碼元速率

信息量：衡量各種不同消息中包含信息多少的標準。其中，RBN=75例：一個二進制數字信號每分鐘傳輸18kbit的信息量，求其碼元速率？如果改用八進制數字信號完成每分鐘傳輸18kbit的信息量，其碼元速率又為多少？例：一個二進制數字信號每分鐘傳輸18kbit的信息量，求其碼76習題1-7解：由題目可知傳輸二電平數字信每秒傳輸300個碼元，則知傳碼率：RB=300B

當0、1等概出現時，傳信率：Rb=RB2log22=300bit/s習題1-7解：由題目可知傳輸二電平數字信每秒傳輸300個碼元77第二部分信息論初步

信息的度量

第二部分信息論初步

信息的度量

78§1.5信息的度量“信息量”概念的引入 消息是攜帶信息的載體，它以具體的信號形式表現出來；信息是抽象、本質的內容，可以理解為消息中包含的有意義的內容。不同的消息形式可以包含相同的信息。例如：文字語音可以表示相同的信息。 那么，具體針對一個通信系統，該如何衡量其傳輸能力，即傳遞信息多少？引出了“信息量”的概念。

Hartley和香農(C.E.Shannon)從消息的統計特性出發，從信息的不確定性和概率測度的角度定義了通信中信息量的概念，并給出了信息度量的方法?！?.5信息的度量“信息量”概念的引入Har79描述方法：隨機過程消息產生源描述統計特性離散消息離散信源離散型隨機過程概率分布率x~P(x)連續消息連續信源連續型隨機過程概率密度函數和概率分布函數§1.5.1消息的統計特性描述方法：隨機過程消息產生源描述統計特性離散消息離散信源離散80§1.5.2離散信源的信息量離散信源的特性：線性疊加性：若干獨立消息之和的信息量是每個消息所含信息量的線性疊加。指數增加特性：由有限個符號組成的離散信源來說，隨著消息的長度增加，其可能出現消息的數目是按指數增加的。§1.5.2離散信源的信息量離散信源的特性：線性疊加性：81設u1,u2,u3…

uN，uj∈{xi}，i=1,……,k，概率為p(xi)Hartley公式：1.單一符號的信息量：信息量的計算：設u1,u2,u3…uN，uj∈{xi}，i=1,82單位：對數以2為底，單位為比特（bit）對數以e為底，單位為奈特（nit）對數以10為底，單位為哈特萊（Hartley）注：三種單位的使用應根據計算及使用的方便來決定。例題：已知漢字電報中數字2出現的概率為0.08，求2的信息量？單位：注：三種單位的使用應根據計算及使用的方便來決定。例題：83習題1-1解：E的信息量

x的信息量習題1-1解：E的信息量84設u1,u2,u3…

uN，ui∈{xj}，j=1,……,k，概率為p(xj)，xj出現的次數為nj根據相加性的特點，總的信息量為：2.隨機序列的信息量：設u1,u2,u3…uN，ui∈{xj}，j=1,85例題：一個離散信源每毫秒發出a，b，c，d

中符號中的一個，各相互獨立符號出現的概率分別為 試求：1秒內離散信源發送消息acabcbaabaddabbbdaaaccaaadcccdaadaaaddadacdadcdabccdaaccd

的信息量？（lg2=0.301lg3=0.477lg5=0.7）例題：1秒內離散信源發送消息acabcbaaba86解：此消息的長度57個字符，其中a出現23次，b出現7次，c出現13次，d出現14次，則此消息的信息量為：解：此消息的長度57個字符，其中a出現23次，b出現7次，c87§1.5.3多個信源與互信息

設兩個信源X和Y，出現的符號對應為xi和yj，則聯合信息量

I(xiyj)=-logP(xiyj)條件信息量

I(xi|yj)=-logP(xi|yj)§1.5.3多個信源與互信息設兩個信源X和88互信息量信道XNoiseY=X+N先驗概率：P(xi)后驗概率：P(xi/yj)轉移概率：P(yj/xi)互信息量：互信息表示X和Y統計關聯程度互信息量信道XNoiseY=X+N先驗概率：P(xi)互信89什么叫“熵” 物理學上為了衡量熱力體系中不能利用的熱能，用溫度除熱能所得的熵。 在通信系統中，把信源輸出消息的平均信息量稱為信源的熵。采用“熵”來衡量通信系統傳輸能力的原因： 當消息很長時，用符號出現的概率來計算消息的信息量麻煩?！捌骄畔⒘俊钡亩x： 每個符號所含信息量的平均值?！?.5.4離散信源的熵什么叫“熵”§1.5.4離散信源的熵90計算公式:香農熵：表示N個符號的離散消息源的平均信息量單位：比特/符號性質：H(X)P平均信息量是非負的，即H(X)≥0平均信息量具有上凸性，即H(X)是P(x)的上凸函數計算公式:香農熵：表示N個符號的離散消息源的平均信息量性質：91例題：計算上例中信源的平均信息量？【解】★

消息的信息量I與平均信息量H的關系：I=MHM為消息的總符號數【上例的信息量】例題：【解】★消息的信息量I與平均信息量H的關系：I=MH92小結討論：上題中，利用平均信息量算得的消息總信息量與利用哈萊特