1、第1章 緒 論1.1信息論的形成和發(fā)展1.2信息論的研究內(nèi)容1.3信息的基本概念1.4通信系統(tǒng)模型簡介8/21/202211.1信息論的形成和發(fā)展信息論的早期醞釀（19世紀到20世紀40年代）編碼技術(shù)產(chǎn)生：莫爾斯碼、波多碼早期通信中發(fā)現(xiàn)的問題信號的頻帶寬度和信噪比影響信道的通信容量。通信的數(shù)量與質(zhì)量相互制約：有效性和可靠性抗干擾碼的出現(xiàn)。香農(nóng)熵的產(chǎn)生維納、費希爾、香農(nóng)幾乎同時提出信息的度量形式1948年，香農(nóng)發(fā)表論文通信的數(shù)學(xué)理論，奠定了現(xiàn)代信息論的基礎(chǔ)8/21/202221.1信息論的形成和發(fā)展Claude Shannon (1916-2019)8/21/202231.1信息論的形成和發(fā)展信

2、息論的建立與發(fā)展（19481980S）對香農(nóng)信息理論進行嚴格的數(shù)學(xué)描述與論證（19481960S）香農(nóng)信息論的發(fā)展（1970S1980S）率失真理論的發(fā)展多用戶信息論（網(wǎng)絡(luò)信息論）的發(fā)展代數(shù)編碼理論的發(fā)展8/21/202241.1信息論的形成和發(fā)展信息論近期發(fā)展（20世紀90年代后）無失真編碼的應(yīng)用有失真信源數(shù)據(jù)壓縮編碼的應(yīng)用調(diào)制解調(diào)碼問題漢字信息編碼圖形碼與存儲介質(zhì)碼8/21/202251.2信息論的研究內(nèi)容狹義信息論（經(jīng)典信息論）主要研究信息的測度、信道容量及信源和信道編碼理論等問題，又稱香農(nóng)基本理論一般信息論（工程信息論）主要研究信息傳輸和處理問題。除香農(nóng)理論以外，還包括編碼理論、噪聲理

3、論、信號濾波和預(yù)測、統(tǒng)計檢測和估計、調(diào)制理論、信息處理理論以及保密理論等廣義信息論不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會學(xué)中有關(guān)信息的問題8/21/20226香農(nóng)信息論壓縮理論限失真信源編碼無失真信源編碼率失真理論壓縮編碼定長編碼定理變長編碼定理最優(yōu)碼構(gòu)成Huffman碼Fano碼傳輸理論有噪聲信道編碼理論碼構(gòu)成糾錯碼代數(shù)編碼卷積碼網(wǎng)絡(luò)信道網(wǎng)絡(luò)信息理論網(wǎng)絡(luò)最佳碼保密理論保密系統(tǒng)的信息理論保密碼香農(nóng)信息論的科學(xué)體系8/21/202271.3信息的基本概念物質(zhì)世界的三大支柱：物質(zhì)、能量和信息Wi

4、thout materials, there is nothing.沒有物質(zhì)的世界是虛無的世界Without energy, nothing happens.沒有能源的世界是死寂的世界Without information, nothing makes sense.沒有信息的世界是混亂的世界8/21/20228信息的定義從日常生活知識來理解有關(guān)科學(xué)家的論述香農(nóng)：信息是事物運動狀態(tài)或存在方式的不確定性的描述艾什比：把信息定義為“差異度”維納：把信息定義為一種“組織性”的度量有關(guān)哲學(xué)家的論述信息是一切物質(zhì)的屬性信息就是信息，不是物質(zhì)也不是能量英國牛津字典：信息是談?wù)摰氖虑椤⑿侣労椭R韋氏字典：在觀

5、察研究過程中獲得的數(shù)據(jù)情報、新聞和知識日本廣辭苑：信息是所觀察事物的知識8/21/20229消息、信號和信息消息（Message）： 信源發(fā)出的語言、文字、公式、數(shù)據(jù)、聲音、圖像等等。每個消息都是具體的，其內(nèi)容千千萬萬，形式多種多樣。信號（Signal）：替代消息并適合于在信道中傳輸?shù)氖沁B續(xù)或脈沖的電壓、電流、電磁波及光波。信源信道信宿消息(發(fā)送者)(收信者)干擾或噪聲8/21/202210消息、信號和信息信息（Information）：信息是消息的內(nèi)涵，是信號的價值，信息是能使信宿得以獲知解惑的東西。它應(yīng)當是從千千萬萬不同形式不同內(nèi)容的消息中抽象出來的、具有共性的、可定量測度的一個量，應(yīng)該有

6、它的單位和數(shù)學(xué)表達。8/21/202211消息、信號和信息例一：扔硬幣正反面不確定例二：天氣預(yù)報晴、多云、雨、雪、風：不確定例三：足球比賽勝負關(guān)系不確定8/21/202212消息、信號和信息信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它是信息的載荷體，是信息論中主要描述形式信息是抽象的、非物理的哲學(xué)層表達信息的物理層表達信息的數(shù)學(xué)層表達8/21/202213信息的特征信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、

7、新內(nèi)容信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理信息是可以量度的，信息量有多少的差別8/21/202214信息的特征信息的客觀性信息與載體的不可分割性信息的價值性信息的時效性信息的可分享性信息的可傳遞性信息的可擴散性信息論導(dǎo)引. 李立萍等編著，電子科技大學(xué)出版社，2019.8/21/202215信息的特征信息的可加工性信息的可再現(xiàn)性信息的可存儲性信息的積累性信息的延續(xù)性和繼承性信息的可開發(fā)性信息的可再生性和可增值性8/21/202216信息的性質(zhì)性質(zhì)一：普遍性信息是普遍存在的。性質(zhì)二：無限性在整個宇宙時空中，信息是無限的

8、。性質(zhì)三：相對性對于同一事物，不同觀察者所獲得的信息量可能不同。性質(zhì)四：轉(zhuǎn)移性信息可以在時間上或空間中從一點轉(zhuǎn)移到另一點。性質(zhì)五：變換性信息是可變換的，可由不同的載體和不同的方法來載荷。8/21/2022171.4通信系統(tǒng)模型簡介編碼器信道譯碼器信宿噪聲源信源消息信號干擾信號+干擾消息8/21/202218數(shù)字通信系統(tǒng)模型信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰8/21/202219信源、信宿和信道 信源：發(fā)送消息的源離散信源和連續(xù)信源信源是信息論的主要研究對象之一，但在信息論中并不探討信源的內(nèi)結(jié)構(gòu)和物理機理，而把注意力放在信源的輸出上，重點討論信源輸出的描述

9、方法及性質(zhì)。信宿：信息歸宿之意，亦即收信者或用戶，是信息傳送的終點或目的地。信道：傳輸信息的物理媒介 8/21/202220信源編碼器與譯碼器 信源編碼器的作用把信源發(fā)出的消息變換成由二進制碼元(或多進制碼元)組成的代碼組，這種代碼組就是基帶信號。 同時通過信源編碼可以壓縮信源的冗余度，以提高通信系統(tǒng)傳輸消息的效率。 信源譯碼器的作用把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當于信源編碼器的逆過程。母病愈，勿念8/21/202221信道編碼器與譯碼器信道編碼器的作用在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元，使之具有檢錯或糾錯的能力。信道譯碼器的作用具有檢錯或糾錯的功能，它能將落在其檢錯或糾錯范圍內(nèi)的錯傳碼元檢出或糾正，以提高傳輸消息的可靠性。 信道編碼的主要作用是提高信息傳送的可靠性母病，勿念8/21/202222三碼合一密碼學(xué)研究的內(nèi)容如何隱蔽消息中的信息內(nèi)容，使它在傳輸過程中不被竊聽，提高通信系統(tǒng)的安全性。 從理論方面來說，若能把三種碼合并成