1、信息論與編碼董優1教材 信息論與編碼,陳 運,電子工業出版社信息論基礎理論與應用,傅祖蕓,電子工業出版社糾錯碼原理與方法,王新梅,西安電子科技大學出版社 信息論與編碼,曹雪虹,北京郵電大學出版社信息論與編碼,傅祖蕓,電子工業出版社參考教材：2課程概述當今的時代是一個信息的時代，信息處理技術的不斷進步極大的影響了我們的生活，使我們的生活質量得到很大提高。本課程將介紹信息科學的基礎理論和基本方法，課程將基于一個通訊系統的抽象數學模型進行展開，課程的數學基礎為概率論。整個課程可分為基礎理論和編碼理論兩部分組成。3學習方法 本課程以概率論為基礎，數學推導較多，學習時主要把注意

2、力集中到概念的理解上，不過分追求數學細節的推導。 學習時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學習時注意理解各個概念的“用處”，結合其他課程理解它的意義，而不要把它當作數學課來學習，提倡獨立思考，注重思考在學習中的重要性。4第一章 緒論 主要內容：5第一節 信息的概念 從哲學的角度上講，信息是構成物質世界的三大支柱之一，其他兩個是物質和能量。 可以說我們生活在信息的海洋之中，沒有信息就沒有世界，當然也就沒有我們人類社會。人類利用信息利用信息的歷史非常悠久，而且隨著人類社會的發展而發展。到了現代，信息的利用已經非常重要，以至于我們當今生活的社會被稱作信息社會。可見信息的重要。 但

3、是有史以來，人們都沒有對信息下過一個確切的定義。就像對于物質和能量一樣。6 信息雖無確切定義，但是卻具有兩個明顯的特征：廣泛性與抽象性。 廣泛性客觀世界充滿著信息 人類離不開信息 知識、書本是有用信息的積累 抽象性三大要素是：物質、能量與信息。三要素中物質是基礎，是實體。能量是物質運動的形式，E=mc2，物質可轉換成能量，而能量又是改造客觀世界的主要動力。什么是信息？7通俗的說，信息就是消息。如：告訴你一個消息 從不同的角度，有上百種不同的定義； 如： “信息是事物之間的差別。” “信息是接受者事先不知道的東西。”廣義地說，信息是認識主體（人、生物、機器）所感受的事物運動狀態和變換方式。 狹義

4、地說，信息是用來消除不確定性的東西。 這是香農（Claude Elwood Shannon)給出的定義。 什么是信息？8信息的直觀認識9信息的直觀認識10信息的直觀認識11信息的直觀認識12香農信息的度量信息“是來消除不確定性的東西”；13互信息互信息量： yj對xi的互信息量定義為后驗概率與先驗 概率比值的對數。先驗概率：信源發出消息xi的概率p(xi )。后驗概率：信宿收到yj后推測信源發出xi的概率p(xi / yj )。14信息的特性信息是可度量的；信息是無形的；信息是可共享的；信息是無限的；15消息是信息載體和具體表現形式（如文字、符號、圖片、電影等）；消息、信號和信息之間的關系16信號是消息的表現形式；消息是信號的具體內容；信號是表示消息的物理量（隨時間、空間變化），適合在信道傳輸的物理量，如聲波、光波、電磁波等。消息、信號和信息之間的關系17信息論研究的對象18信息論研究的對象19信源編碼的主要目的20信源編碼的主要目的壓縮！使信號能夠更加有效地傳輸信息。呵呵，這樣就能過去啦！21信道編碼的主要目的22調制的主要目的23調制的主要目的24通信系統的指標通信系統的基本問題：在某一點精確或近似地恢復另一點發送的信息。25香農的主要貢獻26信息論的研究內容27信息論的研究內容28信息論的研究內容29信息論的分支30信息論的發展31信息