1.2 信息論的研究對象、目的和內容1.信息論研究的主要問題狹義信息論：又稱香農信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問題1）什么是信息？如何度量信息？2）怎樣確定信源輸出信息的速率？3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問題4）無失真信源編碼，所需要的最少碼符號數是多少？

香農第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。1.信息論研究的主要問題5）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信息？

香農第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當編碼序列足夠長時傳輸差錯任意小；否則，不存在使差錯任意小的信道編碼方式。1.信息論研究的主要問題6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數又是多少？

香農第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。

信息論是通信的數學基礎，它以概率論為主要數學工具，詳細研究了通信中的各個關鍵環節，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術提供了理論上的指導。信息論創立的標志:香農于1948年發表的論文：

——AMathematicalTheoryofCommunication（通信的數學理論）2.什么是信息論2.什么是信息論以概率論、隨機過程為基本研究工具。研究的是通信系統的整個過程，而不是單個環節，并以編、譯碼器為重點。關心的是最優系統的性能和怎樣達到這個性能（并不具體設計系統）。要求信源為隨機過程，不研究信宿。信息論的特點信息論幫助通信工程師從全局的觀點觀察和設計通信系統。信息論是從事信息通信系統研究和開發的必備的知識。香農信息論的目標是研究通信系統的信息傳遞，而不是幫助人們理解信息含義。香農信息論有它的局限性。2.信息論的應用2.信息論的應用（續1）

通信的基本問題是在一點精確地或近似地恢復另一點（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關，而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息。

————

香農2.信息論的應用（續2）信息論的應用舉例語音信號壓縮（G.711,GSM,Vocoder…）計算機文件壓縮模擬話路中數據傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）語音信號的壓縮語音信號一直是通信網中傳輸的主要對象。自從通信網數字化以來，壓縮語音信號的編碼速率就成為通信中的一個重要問題。語音編碼速率進展：1972年CCITTG.711標準64kbit/s1992年16kbit/s；1988年歐洲移動通信GSM標準13.2kbit/s；1989美國CTIA標準速率7.95kbit/s。目前在實驗室中已經實現了600bit/s的低速率語音編碼。圖像信號的壓縮圖像信號的信息量特別巨大，這對圖像信號的傳輸及存儲都帶來了巨大的不便。20世紀80年代圖像壓縮逐步進入建立標準階段。1989年CCITT提出電視電話/會議電視的壓縮標準H.261，其壓縮比達到25:1到48:1；1991年“多灰度靜止圖像壓縮編碼