信息論信源與信息熵第一頁，共二十二頁，編輯于2023年，星期六22.1信源的描述和分類2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續信源的熵和互信息2.5冗余度內容第二頁，共二十二頁，編輯于2023年，星期六32.3離散序列信源的熵第三頁，共二十二頁，編輯于2023年，星期六4信源輸出的隨機序列為序列熵:信源中平均每個消息的不確定度第四頁，共二十二頁，編輯于2023年，星期六5符號熵：平均每個符號的熵若當信源退化為無記憶時:若進一步又滿足平穩性時第五頁，共二十二頁，編輯于2023年，星期六6a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號的概率空間為:設發出的符號只與前一個符號有關,這兩個符號的概率關聯性用條件概率p(aj|ai)表示,如表p(aj|ai)分析離散信源的熵和符號熵?第六頁，共二十二頁，編輯于2023年，星期六由p(ai,aj)=p(ai)p(aj|ai)計算得聯合概率p(aiaj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36聯合熵H(X1,X2)表示平均每二個信源符號所攜帶的信息量。符號熵：平均每一個信源符號攜帶的信息量：

第七頁，共二十二頁，編輯于2023年，星期六8單符號信源X的信息熵為H(X2|X1)＜H(X)信源的條件熵比無依賴時的熵H(X)減少了0.671比特,這正是因為符號之間有依賴性所造成的結果。符號之間存在關聯性第八頁，共二十二頁，編輯于2023年，星期六9離散平穩信源對于離散平穩信源,有下列結論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。第九頁，共二十二頁，編輯于2023年，星期六10⑶HL(X)是L的單調非增函數

HL(X)≤HL-1(X)⑷H∞稱為平穩信源的極限熵或極限信息量⑵L給定時,平均符號熵≥條件熵

H

L(X)≥H(XL|XL-1)證明：定義+結論1+結論2第十頁，共二十二頁，編輯于2023年，星期六11（5）H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)對于有記憶信源，發出的符號序列中符號之間有依賴性，而且這種依賴性是無窮的，所以有記憶信源的信息熵只能用平均符號熵的極限值來表示。第十一頁，共二十二頁，編輯于2023年，星期六122.4連續信源的熵

和互信息

第十二頁，共二十二頁，編輯于2023年，星期六13單符號離散信源的數學模型—概率空間第十三頁，共二十二頁，編輯于2023年，星期六14連續信源的表達方式：（用概率分布密度函數pX(x)來表示）連續信源X的數學模型：連續信源數學模型第十四頁，共二十二頁，編輯于2023年，星期六15圖概率密度函數x落入第i個區間的概率：離散隨機變量X△連續信源熵第十五頁，共二十二頁，編輯于2023年，星期六16第一項具有離散信源熵的形式，是定值，第二項為無窮大。即不考慮第二項無窮大項，定義連續信源熵(也叫相對熵)為:第十六頁，共二十二頁，編輯于2023年，星期六17相對熵與離散熵相對熵與離散熵在形式上相似，概念上有區別：1、相對熵是離散熵的有限項，去掉了無窮大項，所以不能作為連續隨機變量不確定性的度量公式2、連續隨機變量取值于連續區間，有無窮多個取值點，每一點的概率均為0，自信息量無意義，不能把相對熵視作自信息量的統計平均。在離散情況下的自信息量、條件自信息量等在連續情況下都失去了物理意義。第十七頁，共二十二頁，編輯于2023年，星期六18例：求具有如下概率密度函數的隨機變量的相對熵。1、指數分布2、均勻分布3、高斯分布第十八頁，共二十二頁，編輯于2023年，星期六19連續信源聯合相對熵連續信源條件相對熵

Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)互信息定義為：I(X;Y)＝I(Y;X)＝Hc(X)－Hc(X/Y)

＝Hc(X)＋Hc(Y)－Hc(XY)

＝Hc(Y)－Hc(Y/X)第十九頁，共二十二頁，編輯于2023年，星期六20冗余度冗余度(多余度、剩余度)表示信源在實際發出消息時所包含的多余信息。如果一個消息所包含的符號比表達這個消息所需要的符號多，這樣的消息就含有多余度。冗余度來源：信源符號間的相關性。相關程度越大,信源的實際熵越小信源符號分布的不均勻性。等概率分布時信源熵最大。第二十頁，共二十二頁，編輯于2023年，星期六21冗余度對于有記憶信源,極限熵為H∞(X)。即傳送這一信源的信息,理論上只需要傳送H∞(X)即可。而要計算H∞(X)必須掌握信源全部概率統計特性,這是不現實。實際上,傳遞Hm(X)信息量，與理論極限值相比,多傳送信息量Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度第二十一頁，共二十二頁，編輯于2023年，星期六22冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進一步壓縮其信息率的可能性。信源冗余度越大,其進一步壓縮的潛力越大。這是信源編碼與數據壓縮的前提與理論基礎。例：英文字母：等概率H0=log27=4.76比特/符號不等概率H1=4.0