1、第第2章：信源熵章：信源熵第第3章：信道容量章：信道容量第第4章：信息率失真函數章：信息率失真函數第第5章：信源編碼章：信源編碼第第6章：信道編碼章：信道編碼第第7章：密碼體制的安全性測度章：密碼體制的安全性測度 ： 美國科學家，美國科學家， 信息論創始人信息論創始人中文譯名：中文譯名： 山農，香農，仙農，商農山農，香農，仙農，商農1.3 信息論的起源、發展及研究內容信息論的起源、發展及研究內容1.2 信息的分類信息的分類 科學和科學和、科學一起被科學一起被稱為當代文明的稱為當代文明的“”。 一位美國科學家說過：一位美國科學家說過：“沒有物質的沒有物質的世界是虛無的世界；沒有能源的世界是死世界

2、是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世寂的世界；沒有信息的世界是混亂的世界。界?！?花朵開放時的花朵開放時的，它可以引來昆蟲為其授粉；它可以引來昆蟲為其授粉； 成熟的水果會產生香味，誘來動成熟的水果會產生香味，誘來動物，動物食后為其傳播種子，物，動物食后為其傳播種子，； 藥有苦味，讓人難以吞咽，藥有苦味，讓人難以吞咽，； 聽老師講課可以得到許多知識，聽老師講課可以得到許多知識，。 視覺視覺嗅覺嗅覺味覺味覺聽覺聽覺總之，信息處處存在，人的眼、耳、總之，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。鼻、舌、身都能感知信息。觸覺觸覺那么信息究竟是什么呢？那么信息究竟是

3、什么呢？ 信息是事物之間的差異信息是事物之間的差異1 信息是物質和能量在時間和空間中信息是物質和能量在時間和空間中分布的不均勻性分布的不均勻性” 2 信息是負熵信息是負熵3 信息是作用于人類感覺器官的東信息是作用于人類感覺器官的東西西 4 信息就是情報信息就是情報 5 信息就是知識。信息就是知識。 6 數學家認為數學家認為“信息是使概率信息是使概率分布發生改變的東西分布發生改變的東西” ” 7 哲學家認為哲學家認為“信息是物質成信息是物質成分的意識成分按完全特殊的分的意識成分按完全特殊的方式融合起來的產物方式融合起來的產物” ” 。 8 19281928年，年， 美國數學家美國數學家哈哈 特特

4、 萊萊 (Hartley)(Hartley)在在貝爾系統電話雜志貝爾系統電話雜志上發表了一篇上發表了一篇題為題為信息傳輸信息傳輸的論文。他認為的論文。他認為“信信息是選擇的自由度息是選擇的自由度”。 事隔事隔2020年，年， 另一位美國另一位美國數學家數學家香農香農 (C. E. (C. E. Shannon)Shannon) 在在貝爾系統電話雜志貝爾系統電話雜志發表了題為發表了題為通信的數學理論通信的數學理論的長的長篇論文。他創立了信息論，但是卻沒篇論文。他創立了信息論，但是卻沒有給出信息的確切定義他認為有給出信息的確切定義他認為 美國數學家、控制論的美國數學家、控制論的 主要奠基人主要奠基

5、人維納維納(Wiener(Wiener）在在19501950年出版的年出版的控制論控制論與社會與社會一書中寫到：一書中寫到：“信息既不是物質又不是能量，信息就信息既不是物質又不是能量，信息就是信息是信息”。這句話起初受到批評和嘲笑。這句話起初受到批評和嘲笑。但正是這句話揭示了信息的特質：即信但正是這句話揭示了信息的特質：即信息是獨立于物質和能量之外存在于客觀息是獨立于物質和能量之外存在于客觀世界的世界的第三要素。第三要素。 最高的層次的定義是最普遍的層次，最高的層次的定義是最普遍的層次，也是無約束條件的層次，定義事物的也是無約束條件的層次，定義事物的。我們把它叫做我們把它叫做層層次。在這個層次

6、上定義的信息是最廣義次。在這個層次上定義的信息是最廣義的信息，使用范圍也最廣。的信息，使用范圍也最廣。 例如，引入一個最有實際意義的約例如，引入一個最有實際意義的約束條件：束條件：信息定義就轉化為信息定義就轉化為“認識論認識論”層次的信息定義。即層次的信息定義。即：其中認識主體所感知的其中認識主體所感知的東西是外部世界向認識主體輸入的信息，東西是外部世界向認識主體輸入的信息，而認識主體所表述的東西則是其向外部而認識主體所表述的東西則是其向外部世界輸出的信息。世界輸出的信息。 同時考慮事物運動狀態及其變化同時考慮事物運動狀態及其變化方式的外在形式、內在含義和效用價方式的外在形式、內在含義和效用價

7、值的認識論層次信息。值的認識論層次信息。 信息存在于自然界，也存在于人信息存在于自然界，也存在于人類社會，其類社會，其可以說可以說哪里有事物的運動和變化，哪里就會產哪里有事物的運動和變化，哪里就會產生信息。生信息。 人類交換信息的形式豐富多彩，人類交換信息的形式豐富多彩，使用的信息載體非常廣泛。概括起來，使用的信息載體非常廣泛。概括起來，有有。 信息必須依附于一定的物質形式信息必須依附于一定的物質形式存在，這種運載信息的物質，稱為存在，這種運載信息的物質，稱為 綜合起來，信息有以下主要特征：綜合起來，信息有以下主要特征： 信息來源于物質，又不是物質本信息來源于物質，又不是物質本身；它從物質的運

8、動中產生出來，又可身；它從物質的運動中產生出來，又可以脫離源物質而相對獨立地存在。以脫離源物質而相對獨立地存在。 信息來源于精神世界，但又不局信息來源于精神世界，但又不局限于精神領域。限于精神領域。 12 信息與能量息息相關，但又與信息與能量息息相關，但又與能量有本質的區別。能量有本質的區別。 信息具有知識的本性，但又比信息具有知識的本性，但又比知識的內涵更廣泛。知識的內涵更廣泛。 信息可以被認識主體獲取和利信息可以被認識主體獲取和利用。用。 345 根據上述特征和信息的基本定義，根據上述特征和信息的基本定義，可以導出信息的一些重要性質：可以導出信息的一些重要性質： 存在的普遍性存在的普遍性

9、有序性有序性相對性相對性 可度量性可度量性 可擴充性可擴充性 可存儲、傳輸與攜帶性可存儲、傳輸與攜帶性 信息在信息化程度越來越高的社會信息在信息化程度越來越高的社會中將起到越來越重要的作用，是比物質中將起到越來越重要的作用，是比物質和能量更為寶貴的和能量更為寶貴的，全面掌握信息，全面掌握信息的概念，正確、及時、有效地利用信息，的概念，正確、及時、有效地利用信息，能夠為人類創造更多的財富。能夠為人類創造更多的財富。 可壓縮性可壓縮性 可擴散性可擴散性 可替代性可替代性 可共享性可共享性 時效性時效性 信息的獨有性質 按照信息的性質按照信息的性質 1語法語法語義語義語用語用 按照觀察的過程按照觀察

10、的過程 實在實在先驗先驗實得實得 2客觀客觀主觀主觀 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用無用無用干擾干擾34真實真實虛假虛假不定不定 按照信息的邏輯意義按照信息的邏輯意義 按照信息的傳遞方向按照信息的傳遞方向 前饋前饋反饋反饋56宇宙宇宙自然自然社會社會思維思維工業農業軍事政治科技文化經濟市場管理 按照信息的生成領域按照信息的生成領域 7 按照信息的應用部門按照信息的應用部門 8語聲圖象文字數據計算電電磁磁語語聲聲圖圖象象文文字字光光學學生生物物 按照信息的來源按照信息的來源9 按照信息載體的性質按照信息載體的性質 10連續連續離散離散半連續半連續 按照攜帶信息

11、的信號的性質按照攜帶信息的信號的性質 11 在眾多的分類原則和方法中，最重在眾多的分類原則和方法中，最重要的就是按照信息性質的分類。要的就是按照信息性質的分類。 按照性質的不同可以把信息劃分成按照性質的不同可以把信息劃分成語法信息、語義信息和語用信息語法信息、語義信息和語用信息三個三個基本類型。其中最基本也是最抽象的類基本類型。其中最基本也是最抽象的類型是語法信息。也是迄今為止在理論上型是語法信息。也是迄今為止在理論上研究得最多的類型。研究得最多的類型。 全信息全信息語法信息語法信息語義信息語義信息語用信息語用信息離散信息離散信息 明晰信息明晰信息 連續信息連續信息 模糊信息模糊信息 語法信息

12、考慮的是事物運動狀態和語法信息考慮的是事物運動狀態和變化方式的變化方式的外在形式外在形式 。 當然，按照事物運動的方式，還可當然，按照事物運動的方式，還可以把信息進一步細分為概率信息、偶發以把信息進一步細分為概率信息、偶發信息、確定信息和模糊信息。信息、確定信息和模糊信息。 香農信息論主要討論的是語法信香農信息論主要討論的是語法信息中的息中的概率信息概率信息，本書也以概率信息為，本書也以概率信息為主要研究對象。主要研究對象。 1.1 1.1 信息的一般概念信息的一般概念1.3 信息論的起源、發展及研究內容信息論的起源、發展及研究內容1.2 1.2 信息的分類信息的分類 信息論自誕生到現在不過信

13、息論自誕生到現在不過6060年，在年，在人類科學史上是相當短暫的。但它的發人類科學史上是相當短暫的。但它的發展和對學術界及人類社會的影響是相當展和對學術界及人類社會的影響是相當廣泛和深刻的。信息作為一種廣泛和深刻的。信息作為一種資源資源，如如何開發、利用、共享，是人們普遍關心何開發、利用、共享，是人們普遍關心的問題。的問題。 在人類歷史的長河中，信息傳輸和在人類歷史的長河中，信息傳輸和傳播手段經歷了五次重大變革：傳播手段經歷了五次重大變革：語言的產生。語言的產生。文字的產生。文字的產生。印刷術的發明。印刷術的發明。 電報、電話的發明。電報、電話的發明。 計算機技術與通信技術相結計算機技術與通信

14、技術相結 合，促進了網絡通信的發展。合，促進了網絡通信的發展。123451 9 2 4 年 ，年 ， 奈 奎 斯 特奈 奎 斯 特（Harry Nyquist） (1889-1976)解釋了解釋了 2020世紀世紀3030年代，年代，如調頻、調相、單邊帶調制、脈沖編如調頻、調相、單邊帶調制、脈沖編碼調制和增量調制的出現，使人們對碼調制和增量調制的出現，使人們對信息能量、帶寬和干擾的關系有了進信息能量、帶寬和干擾的關系有了進一步的認識。一步的認識。 1 9 3 6 年 ，年 ， 阿 姆 斯 特 朗阿 姆 斯 特 朗（EdwinArmstrong)指出增大帶指出增大帶寬可以使抗寬可以使抗 干擾能力

15、加干擾能力加 強，并根據強，并根據 這一思想提這一思想提出了出了方法。方法。 1939年，年，達得利達得利（Homer Dudley）發發 明了明了，指出通，指出通 信所需帶寬至信所需帶寬至少同待傳送少同待傳送 消息的帶寬應消息的帶寬應該一樣。聲碼器是最早的語音數據壓該一樣。聲碼器是最早的語音數據壓縮系統。這一時期還誕生了無線電廣縮系統。這一時期還誕生了無線電廣播和電視廣播。播和電視廣播。 19281928年，年，哈特萊（哈特萊（HartleyHartley）首先首先提 出 了提 出 了的 概 念 。的 概 念 。 HartleyHartley的工作給的工作給ShannonShannon很大的

16、啟很大的啟示示, , 他在他在1941194419411944年對通信和密碼進年對通信和密碼進行深入研究，用概率論和數理統計的方行深入研究，用概率論和數理統計的方法系統地討論了通信的基本問題，得出法系統地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結論。了幾個重要而帶有普遍意義的結論。Shannon闡明通信系統傳遞的對象；闡明通信系統傳遞的對象；提出了信息熵的概念；提出了信息熵的概念；指出通信系統的中心問題；指出通信系統的中心問題；指明了解決問題的方法。指明了解決問題的方法。1234 以上這些成果以上這些成果19481948年以年以為題公開發表，為題公開發表，標志著信息論的正式誕生。標

17、志著信息論的正式誕生。 維納維納（Wiener）在研究火控系統和在研究火控系統和人體神經系統時，提出了在干擾作用下人體神經系統時，提出了在干擾作用下的信息的信息，成為信息論的一，成為信息論的一個重要分支。個重要分支。 50 年代，信息論在學術界引起了年代，信息論在學術界引起了巨大反響。巨大反響。1951年，美國無線電工程師年，美國無線電工程師協會協會（IRE）成立了信息論組，并于成立了信息論組，并于1955年正式出版了年正式出版了。 1959年，年，香農香農發表了發表了“保真度準則保真度準則下的離散信源編碼定理下的離散信源編碼定理”（Coding theorems for a discrete

18、 source with a fidelity criterion）系統地提出了）系統地提出了。為信源壓縮編碼的研究奠定了理論基礎為信源壓縮編碼的研究奠定了理論基礎。 60 年代，年代，有了較有了較大發展，使它成為信息論的又一重要大發展，使它成為信息論的又一重要分支。分支。 1961年，香農的重要論文年，香農的重要論文“雙路雙路通信信道通信信道”開拓了開拓了的的研究。研究。 70年代以后，多用戶信息論成為年代以后，多用戶信息論成為中心研究課題之一。中心研究課題之一。 后來，隨著通信規模的不斷擴大，后來，隨著通信規模的不斷擴大，人們逐漸意識到信息安全是通信系統人們逐漸意識到信息安全是通信系統正常

19、運行的必要條件。于是，把正常運行的必要條件。于是，把密碼密碼學學也歸類為信息論的分支。如今也歸類為信息論的分支。如今信息信息安全安全已是網絡通信和電子商務系統中已是網絡通信和電子商務系統中不可缺少的重要環節。不可缺少的重要環節。 人們對信息的認識越來越深入，先人們對信息的認識越來越深入，先后提出了后提出了加權熵、動態熵加權熵、動態熵等概念，建立等概念，建立在模糊數學基礎之上的在模糊數學基礎之上的模糊信息模糊信息的研究的研究也取得了一定的進展。信息論不僅在通也取得了一定的進展。信息論不僅在通信、廣播、電視、雷達、導航、計算機、信、廣播、電視、雷達、導航、計算機、自動控制、電子對抗等電子學領域得到

20、自動控制、電子對抗等電子學領域得到了直接應用，還了直接應用，還，甚至滲透到語言學、美，甚至滲透到語言學、美學等領域。學等領域。 從從60年代開始，一些社會學家在年代開始，一些社會學家在研究社會問題和社會現象時，先后提研究社會問題和社會現象時，先后提出了出了和和的概念，的概念，信息論開始向經濟學和社會科學領域信息論開始向經濟學和社會科學領域滲透。滲透。1977年，美國經濟學家年，美國經濟學家發表發表了長達九卷的了長達九卷的信息經濟信息經濟報告，用信報告，用信息論的基本概息論的基本概 念研究經濟現象念研究經濟現象和社會現象，和社會現象， 將信息論的研究將信息論的研究從自然科學領從自然科學領 域正式

21、移植到經域正式移植到經濟學和社會科學領域。信息論迅速發展濟學和社會科學領域。信息論迅速發展成為涉及范圍極廣的廣義信息論成為涉及范圍極廣的廣義信息論即即信息科學。信息科學。 信息論的研究對象是廣義通信系信息論的研究對象是廣義通信系統。不僅電子的、光學的信號傳遞系統。不僅電子的、光學的信號傳遞系統，任何系統，只要能夠抽象成通信統，任何系統，只要能夠抽象成通信系統模型，都可以用信息論研究，如系統模型，都可以用信息論研究，如神經傳導系統、市場銷售系統等等。神經傳導系統、市場銷售系統等等。關于信息論的研究內容，一般有以下關于信息論的研究內容，一般有以下三種解釋：三種解釋： 主要研究信息的測度、信道容主要

22、研究信息的測度、信道容量、信息率失真函數，與這三個概量、信息率失真函數，與這三個概念相對應的香農三定理以及信源和念相對應的香農三定理以及信源和信道編碼信道編碼。 信息論基礎信息論基礎 亦稱香農信息論或狹義信息論。亦稱香農信息論或狹義信息論。 1應用近代概率統計方法研究信息的基本性質及度量方法，研究信息傳輸、處理等一般規律的學科。香農信息論信源熵信源熵信道容量信道容量無失真信源無失真信源編碼定理編碼定理率失真函數率失真函數信源編碼信源編碼信道編碼信道編碼限失真信源限失真信源編碼定理編碼定理 信道信道 編碼定理編碼定理密碼密碼 主要是研究信息傳輸和處理問題。主要是研究信息傳輸和處理問題。除了香農基本理論之外，還包括噪聲除了香農基本理論之外，還包括噪聲理論、信號濾波和預測、統計檢測與理論、信號濾波和預測、統計檢測與估計理論、調制理論。后一部分內容估計理論、調制理論。后一部分內容以美國科學家維納以美國科學家維納（NWiener）為代為代表。表。一般信息論一般信息論 2一般信息論一般信息論香農香農 信息論信息論噪聲噪聲理論理論調制調制 理論理論信號濾波信號濾波預測理論預測理論統計檢測統計檢測估計理論估計理論 雖然維納和香農等人都是運用概雖然維納和香農等人都是運用概率和統計數學的方法研究準確或近似率和統計數學的方法研究準確或近似