信息論基礎

第1章引言韓宇輝2/3/20231教材信息論理論基礎（第3版）—賈世樓，電子工業出版社參考書信息理論與編碼

—姜丹，中國科技大學出版社信息論基礎理論與應用

—傅祖蕓，電子工業出版社糾錯碼與差錯控制

—王新梅，人民郵電出版社2/3/20232第1章引言1.1通信系統的基本模型1.2信息論的研究范疇2/3/202331.1通信系統的基本模型2/3/202341.1.1通信基本模型2/3/20235信源：信息的發出者

離散信源連續信源信宿：信息的接收者信道：信息傳輸的通道

有線信道和無線信道恒參信道和變參信道離散信道和連續信道2/3/20236變換和反變換：使信息適合在信道中傳輸能量變換模數變換和數模變換編碼與譯碼提高傳輸的有效性和可靠性

調制與解調頻譜搬移2/3/202371.1.2對通信的基本要求有效性：盡量用較少的資源傳輸較多的信息。可靠性：由于受到干擾和噪聲的影響所產生的畸變和錯誤越小越好。

模擬通信系統：SNR

數字通信系統：SER、BER其它要求：適應性、經濟性、實用性。2/3/202381.1.3通信理論的研究方法信源的狀態是隨機的，信息傳輸過程中受到的噪聲和干擾也是隨機的。需要用概率論和隨機過程等統計數學工具來描述和分析通信的問題。2/3/202391.2信息論的研究范疇2/3/2023101.2.1信息論的研究內容1.信息論研究的內容(1)通信的統計理論的研究利用統計數學工具分析信息和信息傳輸的統計規律。信息的度量信息速率與熵信道容量2/3/202311(2)信源的統計特性文字、字母統計特性語音的參數分析和統計特性圖片和活動圖像的統計特性其他信源的統計特性(3)收信者接收器官的研究與生物學、生理學、心理學密切相關。

人的聽覺和視覺器官的特性人的大腦感受和記憶能力的模擬2/3/202312(4)編碼理論與技術的研究有效性編碼（信源編碼）可靠性編碼（信道編碼）(5)提高信息傳輸效率的研究

功率的節約頻帶的壓縮傳輸時間的壓縮2/3/202313(6)抗干擾理論與技術的研究

各種調制制度的抗干擾性理想接收機的實現(7)噪聲中信號檢測理論與技術的研究

信號檢測的最佳準則信號最佳檢測的實現2/3/2023142.信息論的研究范疇狹義信息論也稱為基本信息論，主要研究信息度量、信道容量、信源編碼等。一般信息論主要研究一般的通信理論，包括信號與噪聲理論、信號過濾與檢測、調制制度、信道編碼、信息處理等問題。廣義信息論不僅包括上述兩個方面，還包括與信息有關的其他領域，如生理學、生物學、遺傳工程學等。2/3/2023151.2.2信息論的發展簡史1924年奈奎斯特發表了“影響電報速率因素的確定”，證明了通信系統的信息傳輸能力與帶寬成正比。1928年哈特萊發表了“信息傳輸”，給出了信息度量的方法。1946年柯契爾尼科夫發表了“起伏噪聲下的潛在抗干擾理論”，根據最小錯誤概率準則和最小均方誤差準則研究信號的過濾問題。2/3/2023161848年山農發表了“通信中的數學理論”；1949年他又發表了“噪聲中通信”。這兩篇文章給出了通信系統的模型，討論了信源和信道的統計特性以及信道容量，并給出了信源編碼定