第七章有噪信道編碼白慧慧辦公地址：9號教學樓北605Email:hhbai@手機容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系內容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系1.信道模型我們要盡可能的提高信息傳輸率，并控制傳輸誤差。信源編碼以提高傳輸效率作為主要考慮因素，信道編碼以提高傳輸可靠性作為主要考慮因素。這一章討論信道編碼的一些基本概念及信道編碼定理。一、信道編碼和譯碼的基本概念1.信道模型信道編碼的編碼對象是信源編碼器輸出的數字序列M，又稱信息序列。通常由二元符號0,1構成的序列，且0,1是獨立等概的。信道編碼：就是按照一定規則給數字序列M增加一些多余的碼元，使不具有規律性的序列M變換為具有某種規律性的序列X，又稱為碼序列。信道譯碼：在接收端，信道譯碼器利用這種預知的編碼規則來譯碼，或者說檢驗接收到的數字序列Y中是否有錯，或者糾正其中的差錯。一、信道編碼和譯碼的基本概念2.單符號離散信道的數學模型一、信道編碼和譯碼的基本概念一、信道編碼和譯碼的基本概念2.單符號離散信道的數學模型一、信道編碼和譯碼的基本概念3.相關概率定義及關系信道總不可避免會攙雜噪聲，所以信息在信道傳輸過程中，差錯是不可避免的。選擇合適的譯碼規則可以彌補信道的不足。為了減少錯誤，提高通信的可靠性，就必須分析錯誤概率與哪些因素有關，有沒有辦法控制，能控制到什么程度。前邊已經討論過，錯誤概率與信道的統計特性有關，但并不是唯一相關的因素，譯碼方法的選擇也會影響錯誤率。一、信道編碼和譯碼的基本概念3.相關概率定義及關系一、信道編碼和譯碼的基本概念3.相關概率定義及關系一、信道編碼和譯碼的基本概念3.譯碼規則及錯誤概率一、信道編碼和譯碼的基本概念3.譯碼規則及錯誤概率一、信道編碼和譯碼的基本概念3.譯碼規則及錯誤概率內容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系二、最大后驗概率譯碼準則和極大似然譯碼準則1.最大后驗概率準則二、最大后驗概率譯碼準則和極大似然譯碼準則2.極大似然譯碼準則二、最大后驗概率譯碼準則和極大似然譯碼準則2.極大似然譯碼準則當輸入符號為等概率時，內容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系三、錯誤概率的計算方法1.計算平均錯誤概率三、錯誤概率的計算方法1.計算平均錯誤概率三、錯誤概率的計算方法1.計算平均錯誤概率三、錯誤概率的計算方法2.例題三、錯誤概率的計算方法2.例題三、錯誤概率的計算方法2.例題對上述例題求平均錯誤概率，如果上例中信源為等概分布，對其譯碼并求平均錯誤概率內容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系四、Fano不等式1.Fano不等式

設信道的輸入與輸出分別為X、Y，定義條件熵H(X/Y)為信道疑義度。它有如下含義：信道疑義度表示接收到Y條件下X的平均不確定性；根據I(X;Y)=H(X)-H(X/Y)，信道疑義度又表示X經信道傳輸后信息量的損失；接收的不確定性由信道噪聲引起，在無噪情況，H(X/Y)=0。四、Fano不等式2.信道疑義度證明：因為3.Fano不等式證明四、Fano不等式將代入而條件熵故：應用不等式

（1）費諾不等式給出了信道疑義度的上界，無論什么譯碼規則，費諾不等式成立；譯碼規則變化只會改變的值；（2）信道疑義度的上界由信源、信道及譯碼規則所限定；因為信源決定p(x)，r，而p(x)，p(y|x)及譯碼規則決定

；（3）如果H(X/Y)>0，那么>0；（4）不等式的物理意義可以這樣來理解：當接收到Y后，關于X平均不確定性的解除可以分成兩步來實現：第1步是確定傳輸是否有錯，解除這種不確定性所需信息量為；第2步是當確定傳輸出錯后，究竟是哪一個錯，解除這種不確定性所需最大信息量是log(r-1)。4.Fano不等式物理意義四、Fano不等式

圖為費諾不等式示意圖：

圖中，曲線下面的區域為信道疑義度被限定的區域。信道疑義度不能超過區域邊界的曲線。現求曲線所表示的函數的極大值。僅當，

時等式成立。由于當時，有

信道疑義度達到最大值的充要條件是，信道輸入與輸出統計獨立。內容提要一、信道編碼和譯碼的基本概念二、最大后驗概率譯碼準則和極大似然譯碼準則三、錯誤概率的計算方法四、Fano不等式五、錯誤概率與編碼方法的關系

五、錯誤概率與編碼方法的關系1.重復編碼五、錯誤概率與編碼方法的關系1.重復