1、. 信息論信息論-基礎理論與應用 2014年年3月月 .課程類型：專業選修課專業選修課學 時：32學時授課時間：第一周-第八周考試時間考試時間：第九周教 材：信息論信息論基礎理論與應用基礎理論與應用,傅祖蕓傅祖蕓,電子工業出版社電子工業出版社參考教材： 信息論與編碼信息論與編碼,陳運陳運,電子工業出版社電子工業出版社 應用信息論基礎應用信息論基礎, ,朱雪龍，清華大學出版社朱雪龍，清華大學出版社 信息論與編碼學習輔導及習題詳解信息論與編碼學習輔導及習題詳解傅祖蕓傅祖蕓,電子工業出版社電子工業出版社 考 核： 平時成績平時成績 15-20（作業、考勤）（作業、考勤） 期末考試期末考試 80-85

2、（閉卷）（閉卷）答 疑：每周星期五下午，每周星期五下午，4:005:00，10教學樓教學樓313室室 聯系電話：聯系電話：68912615 郵箱：郵箱： .課程概述課程概述o 當今的時代是一個當今的時代是一個信息信息的時代，信息處理技術的時代，信息處理技術的不斷進步極大的影響了我們的生活，使我們的不斷進步極大的影響了我們的生活，使我們的生活質量得到很大提高。本課程將介紹信息的生活質量得到很大提高。本課程將介紹信息科學的科學的基礎理論基礎理論和和基本方法基本方法，課程將基于一個，課程將基于一個通信系統的抽象數學模型進行展開，課程的數通信系統的抽象數學模型進行展開，課程的數學基礎為概率論。整個課程

3、可分為學基礎為概率論。整個課程可分為基礎理論基礎理論和和編碼理論編碼理論兩部分組成。兩部分組成。.學習方法學習方法 本課程以概率論為基礎，數學推導較多，學本課程以概率論為基礎，數學推導較多，學習時主要把注意力集中到習時主要把注意力集中到概念概念的理解上，不要的理解上，不要過分追求數學細節的推導。學習時一定要從始過分追求數學細節的推導。學習時一定要從始至終注意基本概念的理解，不斷加深概念的把至終注意基本概念的理解，不斷加深概念的把握。學習時注意理解各個概念的握。學習時注意理解各個概念的“用處用處”，結，結合其他課程理解它的意義，而不要把它當作數合其他課程理解它的意義，而不要把它當作數學課來學習，

4、提倡獨立思考，注重思考在學習學課來學習，提倡獨立思考，注重思考在學習中的重要性。中的重要性。.信信 息息 論論o 信息論已經成為現代信息科學的一個重要組成部分，它信息論已經成為現代信息科學的一個重要組成部分，它是現代通信和信息技術的理論基礎。現代信息論又是數是現代通信和信息技術的理論基礎。現代信息論又是數學概率論下的一個分支，與遍歷性理論、大偏差理論以學概率論下的一個分支，與遍歷性理論、大偏差理論以及統計力學等都有密切關系，因此信息論已成為大學諸及統計力學等都有密切關系，因此信息論已成為大學諸多專業的必修課和選修課，并不再局限于已有的通信工多專業的必修課和選修課，并不再局限于已有的通信工程、電

5、子工程、信息工程等專業。程、電子工程、信息工程等專業。o 信息論是人們在長期通信工程的實踐中，由通信技術與信息論是人們在長期通信工程的實踐中，由通信技術與概率論、隨機過程和數理統計相結合而逐步發展起來的概率論、隨機過程和數理統計相結合而逐步發展起來的一門學科。一門學科。o 以以19481948年年ShannonShannon發表的論文發表的論文通信的數學理論通信的數學理論為標為標志，宣告了信息論這門學科的誕生。志，宣告了信息論這門學科的誕生。o 近半個世紀以來，以通信理論為核心的經典信息論，正近半個世紀以來，以通信理論為核心的經典信息論，正以信息技術為物化手段，向高精尖方向迅猛發展，并以以信息

6、技術為物化手段，向高精尖方向迅猛發展，并以神奇般的力量把人類社會推入了信息時代神奇般的力量把人類社會推入了信息時代。.第一章 緒論 1. 信息的概念信息的概念 .2 信息論研究的對象、目的和任務信息論研究的對象、目的和任務 .3 信息論發展簡史與信息科學信息論發展簡史與信息科學.1.1 1.1 信息的概念信息的概念(1)(1)信息的定義信息的定義o 信息是信息論中最基本、最重要的概念，它是一個既信息是信息論中最基本、最重要的概念，它是一個既抽象又復雜的概念。抽象又復雜的概念。o 信息的概念是在實踐中產生，以前一直被看作是消息信息的概念是在實踐中產生，以前一直被看作是消息的同義詞。的同義詞。o

7、信息的概念十分廣泛，不同的定義在上百種以上。信息的概念十分廣泛，不同的定義在上百種以上。o 數學家認為數學家認為：信息是使概率分布發生改變的東西。：信息是使概率分布發生改變的東西。o 哲學家認為哲學家認為：信息是物質成分的意識成分按完全特：信息是物質成分的意識成分按完全特殊的方式融合起來的產物。殊的方式融合起來的產物。. 19281928年，美國數學家年，美國數學家哈特萊哈特萊 (Hartley)(Hartley)在在貝爾系統電話雜志貝爾系統電話雜志上上發表了一篇題為發表了一篇題為信息傳輸信息傳輸的論文。的論文。他認為他認為“信息是選擇的自由度信息是選擇的自由度”。 .美國數學家、控制論的主要

8、奠基人美國數學家、控制論的主要奠基人維維納納(Wiener(Wiener）在在19501950年出版的年出版的控制論控制論與社會與社會一書中寫到：一書中寫到：“信息既不是信息既不是物質又不是能量，信息就是信息物質又不是能量，信息就是信息”。這句話起初受到批評和嘲笑。但正是這句話起初受到批評和嘲笑。但正是這句話揭示了信息的特質：即信息是這句話揭示了信息的特質：即信息是獨立于物質和能量之外存在于客觀世獨立于物質和能量之外存在于客觀世界的界的第三要素。第三要素。.19481948年，另一位美國數學家年，另一位美國數學家香農香農 (C. E. Shannon)(C. E. Shannon) 在在貝爾系

9、統電貝爾系統電話雜志話雜志發表了題為發表了題為通信的數學理通信的數學理論論的長篇論文。他創立了信息論，的長篇論文。他創立了信息論，他認為他認為.(2)(2)信息與消息和信號的區別信息與消息和信號的區別o 在在中對信息的表達分為三個層次：中對信息的表達分為三個層次：信號信號、消息消息、信信息息。o 信號信號：是信息的物理表達層，是三個層次中最具體的層：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。可描述、可顯示。如電信號、光信號等。如電信號、光信號等。o 消息消息：( (或稱為符號或稱

10、為符號) )是信息的數學表達層，它雖不是一是信息的數學表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數學抽象，可將具體物理信號抽象為兩大類號的進一步數學抽象，可將具體物理信號抽象為兩大類型：型： 1)1) 離散離散( (數字數字) )消息，是一組未知量，可用隨機序列消息，是一組未知量，可用隨機序列來描述：來描述：U U=(U=(U1 1U Ui iU UL L) ) 2) 2) 連續連續( (模擬模擬) )消息，也是未知量，它可用隨機過程消息，也是未知量，它可用隨機過程來描述：來描述：U(t,)U(t,).o 信息信

11、息：信息是指各個事物運動的狀態及狀態信息是指各個事物運動的狀態及狀態變化的方式。人們從來自對周圍世界的觀察變化的方式。人們從來自對周圍世界的觀察得到的數據中獲得信息。信息是抽象的意識得到的數據中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思或知識，它是看不見、摸不到的。人腦的思維活動產生的一種想法，當它仍儲存在腦子維活動產生的一種想法，當它仍儲存在腦子中的時候就是一種信息。信息是信號與消息中的時候就是一種信息。信息是信號與消息的更高表達層次。三個層次中，信號最具體，的更高表達層次。三個層次中，信號最具體，信息最抽象。它們三者之間的關系是哲學上信息最抽象。它們三者之間的關系是哲

12、學上的內涵與外延的關系。的內涵與外延的關系。 .信息與消息和信號的關系信息與消息和信號的關系o 信息信息-可以認為是具體的物理信號、數學描述的消息可以認為是具體的物理信號、數學描述的消息的內涵，即信號具體載荷的內容、消息描述的含義。的內涵，即信號具體載荷的內容、消息描述的含義。o 信號信號-則是抽象信息在物理層表達的外延；則是抽象信息在物理層表達的外延；o 消息消息-則是抽象信息在數學層表達的外延。則是抽象信息在數學層表達的外延。o 同一信息，可以采用不同的信號形式同一信息，可以采用不同的信號形式( (比如文字、語言、比如文字、語言、圖象等圖象等) )來載荷；來載荷；o 同一信息，也可以采用不

13、同的數學表達形式同一信息，也可以采用不同的數學表達形式( (比如離散比如離散或連續或連續) )來定量描述；來定量描述；o 同一信號形式，比如同一信號形式，比如“0 0”與與“1 1”可以表達不同形式的信可以表達不同形式的信息，比如無與有、斷與通、低與高息，比如無與有、斷與通、低與高( (電平電平) )等等。等等。 .o 從以上分析可知，在通信系統中形式上傳輸從以上分析可知，在通信系統中形式上傳輸的是消息，但實質上傳輸的是的是消息，但實質上傳輸的是信息信息。消息只消息只是表達信息的工具，載荷信息的客體。是表達信息的工具，載荷信息的客體。顯然，顯然，在通信中被利用的（即攜帶信息的）實際客在通信中被

14、利用的（即攜帶信息的）實際客體是不重要的，而重要的是信息。信息較抽體是不重要的，而重要的是信息。信息較抽象，而消息是較具體的，但不一定是物理性象，而消息是較具體的，但不一定是物理性的。通信的結果是消除或部分消除不確定性的。通信的結果是消除或部分消除不確定性從而獲得信息。從而獲得信息。.(3)信息的性質o 香農信息論層次：考慮事物運動狀態及其香農信息論層次：考慮事物運動狀態及其變化方式的外在形式，實際上研究的是語變化方式的外在形式，實際上研究的是語法信息。法信息。o 信息的抽象性和重要性信息的抽象性和重要性o 信息的信息的5 5條主要特征條主要特征o 信息的信息的11 11條重要性質條重要性質.

15、n 信息的抽象性和重要性信息的抽象性和重要性 抽象性抽象性：信息本身既看不見，又摸不著，：信息本身既看不見，又摸不著，沒有氣味、沒有顏色、沒有形狀、沒有大沒有氣味、沒有顏色、沒有形狀、沒有大小、沒有重量小、沒有重量，它是非常抽象的東西。，它是非常抽象的東西。 重要性重要性：信息在信息化程度越來越高的社：信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質會中將起到越來越重要的作用，是比物質和能量更為寶貴的資源，全面掌握信息的和能量更為寶貴的資源，全面掌握信息的概念，正確、及時、有效地利用信息，能概念，正確、及時、有效地利用信息，能夠為人類創造更多的財富。夠為人類創造更多的財富。.

16、綜合起來，信息有以下主要特征：綜合起來，信息有以下主要特征： 信息來源于物質，又不是物質本信息來源于物質，又不是物質本身；它從物質的運動中產生出來，又可身；它從物質的運動中產生出來，又可以脫離源物質而相對獨立地存在。以脫離源物質而相對獨立地存在。 信息來源于精神世界，但又不局信息來源于精神世界，但又不局限于精神領域。限于精神領域。 12. 信息與能量息息相關，但又與信息與能量息息相關，但又與能量有本質的區別。能量有本質的區別。 信息具有知識的本性，但又比信息具有知識的本性，但又比知識的內涵更廣泛。知識的內涵更廣泛。 信息可以被認識主體獲取和利用。信息可以被認識主體獲取和利用。 345. 根據上

17、述特征和信息的基本定義，根據上述特征和信息的基本定義，可以導出信息的一些重要性質：可以導出信息的一些重要性質： 存在的普遍性存在的普遍性 有序性有序性相對性相對性 可度量性可度量性 可擴充性可擴充性 可存儲、傳輸與攜帶性可存儲、傳輸與攜帶性 . 信息在信息化程度越來越高的社會信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質中將起到越來越重要的作用，是比物質和能量更為寶貴的和能量更為寶貴的，全面掌握信息，全面掌握信息的概念，正確、及時、有效地利用信息，的概念，正確、及時、有效地利用信息，能夠為人類創造更多的財富。能夠為人類創造更多的財富。 可壓縮性可壓縮性 可擴散性可擴散性 可替

18、代性可替代性 可共享性可共享性 時效性時效性 信息的獨有性質. 按照信息的性質按照信息的性質 1語法語法語義語義語用語用 按照觀察的過程按照觀察的過程 實在實在先驗先驗后驗后驗 2 信息的分類信息的分類 事物運動狀態和狀態改變的方式的本身事物運動狀態和方式的具體含義事物運動狀態和方式及其具體含義對觀察者的效用.客觀客觀主觀主觀 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用無用無用干擾干擾34.真實真實虛假虛假不定不定 按照信息的邏輯意義按照信息的邏輯意義 按照信息的傳遞方向按照信息的傳遞方向 前饋前饋反饋反饋56.宇宙宇宙自然自然社會社會思維思維工業農業軍事政治科技文化經

19、濟市場管理 按照信息的生成領域按照信息的生成領域 7 按照信息的應用部門按照信息的應用部門 8.語聲圖象文字數據計算電電磁磁語語聲聲圖圖象象文文字字光光學學生生物物 按照信息的來源按照信息的來源9 按照信息載體的性質按照信息載體的性質 10.連續連續離散離散半連續半連續 按照攜帶信息的信號的性質按照攜帶信息的信號的性質 11.在眾多的分類原則和方法中，最重要的在眾多的分類原則和方法中，最重要的就是按照信息性質的分類。就是按照信息性質的分類。 按照性質的不同可以把信息劃分成按照性質的不同可以把信息劃分成語法信息、語義信息和語用信息語法信息、語義信息和語用信息三個三個基本類型。其中最基本也是最抽象

20、的類基本類型。其中最基本也是最抽象的類型是語法信息。也是迄今為止在理論上型是語法信息。也是迄今為止在理論上研究得最多的類型。研究得最多的類型。 .1.2信息論研究的對象、目的和內容信息論研究的對象、目的和內容o 研究對象研究對象：信息論是一門應用概率論、隨機過程、數信息論是一門應用概率論、隨機過程、數理統計和近世代數的方法，來研究信息的傳輸、提取和理統計和近世代數的方法，來研究信息的傳輸、提取和處理系統中一般規律的工程學科。處理系統中一般規律的工程學科。.o 研究目的：它的主要目的是提高信息系統的研究目的：它的主要目的是提高信息系統的可靠可靠性性、有效性有效性和和安全性安全性以便達到系統最優化

21、。以便達到系統最優化。. 信息論的研究對象是廣義通信系信息論的研究對象是廣義通信系統。不僅有電子的、光學的信號傳遞統。不僅有電子的、光學的信號傳遞系統，任何系統，只要能夠抽象成通系統，任何系統，只要能夠抽象成通信系統模型，都可以用信息論研究，信系統模型，都可以用信息論研究，如神經傳導系統、市場銷售系統等等。如神經傳導系統、市場銷售系統等等。關于信息論的研究內容，一般有以下關于信息論的研究內容，一般有以下三種解釋：三種解釋： . 主要研究信息的測度、信道容主要研究信息的測度、信道容量、信息率失真函數，與這三個概量、信息率失真函數，與這三個概念相對應的香農三定理以及信源和念相對應的香農三定理以及信

22、源和信道編碼信道編碼。 信息論基礎信息論基礎 亦稱香農信息論或狹義信息論。亦稱香農信息論或狹義信息論。 應用近代概率統計方法研究信息的基本性質及度量方法，研究信息傳輸、處理等一般規律的學科。1.香農信息論信源熵信源熵信道容量信道容量無失真信源無失真信源編碼定理編碼定理率失真函數率失真函數信源編碼信源編碼信道編碼信道編碼限失真信源限失真信源編碼定理編碼定理 信道信道 編碼定理編碼定理密碼密碼. 主要是研究信息傳輸和處理問題。主要是研究信息傳輸和處理問題。除了香農基本理論之外，還包括噪聲除了香農基本理論之外，還包括噪聲理論、信號濾波和預測、統計檢測與理論、信號濾波和預測、統計檢測與估計理論、調制理

23、論。后一部分內容估計理論、調制理論。后一部分內容以美國科學家維納（以美國科學家維納（NWiener）為代）為代表。表。一般信息論一般信息論 2.一般信息論一般信息論香農香農 信息論信息論噪聲噪聲理論理論調制調制 理論理論信號濾波信號濾波預測理論預測理論統計檢測統計檢測估計理論估計理論. 雖然維納和香農等人都是運用概雖然維納和香農等人都是運用概率和統計數學的方法研究準確或近似率和統計數學的方法研究準確或近似再現消息的問題，都是通信系統的最再現消息的問題，都是通信系統的最優化問題。但他們之間有一個重要的優化問題。但他們之間有一個重要的區別。區別。 . 維納研究的重點是在接收端。研究維納研究的重點是

24、在接收端。研究消息在傳輸過程中受到干擾時，在接收消息在傳輸過程中受到干擾時，在接收端如何把消息從干擾中提取出來，并建端如何把消息從干擾中提取出來，并建立了最佳過濾理論（維納濾波器）、統立了最佳過濾理論（維納濾波器）、統計檢測與估計理論、噪聲理論等。計檢測與估計理論、噪聲理論等。 發送發送接收接收. 香農研究的對象是從信源到信宿的香農研究的對象是從信源到信宿的全過程，是收、發端聯合最優化問題，全過程，是收、發端聯合最優化問題，重點是編碼。為此，發展了信息測度理重點是編碼。為此，發展了信息測度理論、信道容量理論和編碼理論等等。論、信道容量理論和編碼理論等等。 發送發送接收接收.香農信息論的缺陷香農

25、信息論的缺陷 香農定義信息的出發點是假定事物狀態可以用一個香農定義信息的出發點是假定事物狀態可以用一個經典集合論為基礎的概率模型來描述。實際存在的經典集合論為基礎的概率模型來描述。實際存在的某些事物運動狀態要尋找一個合適的概率模型往往某些事物運動狀態要尋找一個合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。是非常困難的。某些情況下，這一模型不一定存在。 香農定義信息的度量沒有考慮收信者的主觀性和主香農定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的具體含義、具體用途、重觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起的后果等元素。這就與實際情況不完要程度和

26、引起的后果等元素。這就與實際情況不完全一致。全一致。 香農信息的定義和度量是科學的，能反映信息香農信息的定義和度量是科學的，能反映信息的某些本質；但卻是有缺陷的、有局限的。這樣，的某些本質；但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重影響。它的適用范圍會受到嚴重影響。. 反過來，所有研究信息的識別、控反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存貯、制、提取、變換、傳輸、處理、存貯、顯示、價值、作用、安全以及信息量的顯示、價值、作用、安全以及信息量的大小的一般規律以及實現這些原理的技大小的一般規律以及實現這些原理的技術手段的工程學科，信息論的完備和延術手段的工程學科，信

27、息論的完備和延伸，也都屬于廣義信息論的范疇。伸，也都屬于廣義信息論的范疇。 概括說來，凡是能夠用廣義通信系概括說來，凡是能夠用廣義通信系統模型描述的過程或系統，都能用信息統模型描述的過程或系統，都能用信息基本理論來研究。基本理論來研究。 廣義信息論廣義信息論 3. 廣義信息論 一般信息論香農信息論.o 統計信息論統計信息論：也稱狹義信息論也稱狹義信息論/ /香農信息論。香農信息論。 主要研究信息測度、信道容量、信息率失真函數，與這三主要研究信息測度、信道容量、信息率失真函數，與這三個概念相對應的香農三定理，信源編碼，信道編碼。個概念相對應的香農三定理，信源編碼，信道編碼。o 工程信息論工程信息

28、論：主要研究信息傳輸和處理問題。除香農基本主要研究信息傳輸和處理問題。除香農基本理論之外，還包括噪聲理論、信號濾波和預測、統計檢測理論之外，還包括噪聲理論、信號濾波和預測、統計檢測和估計理論、調制理論。后一部分內容以維納為代表和估計理論、調制理論。后一部分內容以維納為代表。o 廣義信息論廣義信息論：是一門綜合性的新型學科是一門綜合性的新型學科信息科學。至今信息科學。至今沒有嚴格的定義。凡是能夠用廣義通信系統模型描述的過沒有嚴格的定義。凡是能夠用廣義通信系統模型描述的過程或系統，都能用信息基本理論來研究。不僅包括一般信程或系統，都能用信息基本理論來研究。不僅包括一般信息論的內容，還包括如醫學、生

29、物學、心理學、遺傳學、息論的內容，還包括如醫學、生物學、心理學、遺傳學、神經生理學、語言學、語義學、社會學、經濟管理中有關神經生理學、語言學、語義學、社會學、經濟管理中有關信息的問題。反過來，所有研究信息的識別、控制、提取、信息的問題。反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量的變換、傳輸、處理、存儲、顯示、價值、作用和信息量的大小的一般規律以及實現這些原理的技術手段的工程學科，大小的一般規律以及實現這些原理的技術手段的工程學科，都屬于廣義信息論的范疇。都屬于廣義信息論的范疇。.香農信息論的科學體系. 總之，人們研究信息論的目的是總之，人們研究信息

30、論的目的是為了高效、可靠、安全并且隨心所欲為了高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。地交換和利用各種各樣的信息。 . 信息論自誕生到現在不過信息論自誕生到現在不過6060多年，多年，在人類科學史上是相當短暫的。但它的在人類科學史上是相當短暫的。但它的發展和對學術界及人類社會的影響是相發展和對學術界及人類社會的影響是相當廣泛和深刻的。信息作為一種當廣泛和深刻的。信息作為一種資源資源，如何開發、利用、共享，是人們普遍關如何開發、利用、共享，是人們普遍關心的問題。心的問題。 1.3 1.3 信息論發展簡史與信息科學信息論發展簡史與信息科學. 在人類歷史的長河中，信息傳輸和在人類歷史

31、的長河中，信息傳輸和傳播手段經歷了五次重大變革：傳播手段經歷了五次重大變革：語言的產生。語言的產生。文字的產生。文字的產生。印刷術的發明。印刷術的發明。 電報、電話的發明。電報、電話的發明。 計算機技術與通信技術相結計算機技術與通信技術相結 合，促進了網絡通信的發展。合，促進了網絡通信的發展。12345.1 9 2 4 年 ， 奈 奎 斯 特年 ， 奈 奎 斯 特（Harry Nyquist） (1889-1976)解釋了解釋了. 2020世紀世紀3030年代，年代，如調頻、調相、單邊帶調制、脈沖編如調頻、調相、單邊帶調制、脈沖編碼調制和增量調制的出現，使人們對碼調制和增量調制的出現，使人們對

32、信息能量、帶寬和干擾的關系有了進信息能量、帶寬和干擾的關系有了進一步的認識。一步的認識。 . 1936年，年，阿姆斯特朗阿姆斯特朗（EdwinArmstrong)指出增大帶指出增大帶寬可以使抗干擾能力加寬可以使抗干擾能力加 強，并根據這一思想提強，并根據這一思想提出了出了方法。方法。 . 1939年，年，達得利達得利（Homer Dudley）發明發明了了，指出通信所需帶寬至，指出通信所需帶寬至少同待傳送消息的帶寬應該一樣。聲少同待傳送消息的帶寬應該一樣。聲碼器是最早的語音數據壓縮系統。這碼器是最早的語音數據壓縮系統。這一時期還誕生了無線電廣播和電視廣一時期還誕生了無線電廣播和電視廣播。播。

33、. 19281928年年，哈特萊（哈特萊（HartleyHartley）首先首先提 出 了提 出 了的 概 念 。的 概 念 。 HartleyHartley的工作給的工作給ShannonShannon很大的啟很大的啟示示, , 他在他在1941194119441944年對通信和密碼年對通信和密碼進行深入研究，用概率論和數理統計的進行深入研究，用概率論和數理統計的方法系統地討論了通信的基本問題，得方法系統地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結論。出了幾個重要而帶有普遍意義的結論。.闡明通信系統傳遞的對象；闡明通信系統傳遞的對象；提出了信息熵的概念；提出了信息熵的概念；指出通信

34、系統的中心問題；指出通信系統的中心問題；指明了解決問題的方法。指明了解決問題的方法。1234. 以上這些成果以上這些成果19481948年以年以為題公開發表，為題公開發表，標志著信息論的正式誕生。標志著信息論的正式誕生。 維納（維納（Wiener）在研究火控系統和在研究火控系統和人體神經系統時，提出了在干擾作用下人體神經系統時，提出了在干擾作用下的信息的信息，成為信息論的一，成為信息論的一個重要分支。個重要分支。 . 50 年代，信息論在學術界引起了年代，信息論在學術界引起了巨大反響。巨大反響。1951年，美國無線電工程師年，美國無線電工程師協會（協會（IRE）成立了信息論組，并于）成立了信息

35、論組，并于1955年正式出版了年正式出版了。 1959年，年，香農香農發表了發表了“保真度準則保真度準則下的離散信源編碼定理下的離散信源編碼定理”（Coding theorems for a discrete source with a fidelity criterion）系統地提出了）系統地提出了。為信源壓縮編碼的研究奠定了理論基礎。為信源壓縮編碼的研究奠定了理論基礎。 . 60 60 年代，年代，有了較大發有了較大發展，尤其，以展，尤其，以ViterbiViterbi譯碼為代表的譯碼方譯碼為代表的譯碼方法被美國衛星通信系統采用后，使它成為法被美國衛星通信系統采用后，使它成為信息論的又一重要分支。信息論的又一重要分支。 19611961年，香農的重要論文年，香農的重要論文“雙路通雙路通信信道信信道”開拓了開拓了的研究。的研究。19701970年以來，隨著衛星通信、計算機通年以來，隨著衛星通信、計算機通信網的迅速發展，網絡信息理論的研究成信網的迅速發展，網絡信息理論的研究成為當前信息論的中心研究課題之一。為當前信息論的中心研究課題之一。 .隨著通信規模的不斷擴大，人們隨著通信規模的不斷擴大，人們逐漸意識到信息安全是通信系統正常逐漸