信源與信息熵第二章12.1

信源的描述和分類2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續信源的熵和互信息2.5冗余度內容22.2離散信源熵和互信息3第一級處理器第二級處理器XYZ輸入

級聯處理器2.2.4

數據處理中信息的變化數據處理定理:當消息通過多級處理器時,隨著處理器數目增多,輸入消息與輸出消息間的平均互信息量趨于變小假設Y條件下X和Z相互獨立4數據處理定理

數據處理定理說明：當對信號、數據或消息進行多級處理時,每處理一次,就有可能損失一部分信息,也就是說數據處理會把信號、數據或消息變成更有用的形式，但是絕不會創造出新的信息,這就是所謂的信息不增原理。5三維聯合集XYZ上的平均互信息量62.2.5熵的性質1.非負性

H(X)＝H(p1，p2，…，pn)≥0式中等號只有在pi=1時成立。2.對稱性

H(p1，p2，…，pn)=H(p2，p1，…，pn)例如下列信源的熵都是相等的：7熵的性質3.確定性

H(X)＝H(p1，p2，…，pn)≥0只要信源符號中有一個符號出現概率為1,信源熵就等于零。4.極值性(香農輔助定理)對任意兩個消息數相同的信源8熵的性質5.最大熵定理

離散無記憶信源輸出M個不同的信息符號,當且僅當各個符號出現概率相等時即(pi＝1/M)熵最大。6.條件熵小于無條件熵

92.3離散序列信源的熵10離散信源{離散無記憶信源離散有記憶信源{{發出單個符號的無記憶信源發出符號序列的無記憶信源發出符號序列的有記憶信源發出符號序列的馬爾可夫信源2.3.1離散無記憶信源的序列熵發出單個符號的信源指信源每次只發出一個符號代表一個消息；發出符號序列的信源指信源每次發出一組含二個以上符號的符號序列代表一個消息。11發出符號序列的信源發出單個符號的信源12離散無記憶信源的序列熵

隨機序列的概率為

設信源輸出的隨機序列為

X

=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}

X稱為離散無記憶信源X的L次擴展信源

13離散無記憶信源的序列熵

當信源無記憶時信源的序列熵

14離散無記憶信源的序列熵若又滿足平穩特性,即與序號l無關時：信源的序列熵

平均每個符號(消息)熵為

15例:有一個無記憶信源隨機變量X∈(0,1),等概率分布,若以單個符號出現為一事件,則此時的信源熵:即用1比特就可表示該事件。如果以兩個符號出現(L=2的序列)為一事件，則隨機序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示該事件。信源的符號熵16例:有一離散平穩無記憶信源求：二次擴展信源的熵X2信源的元素

a1

a2a3a4a5a6a7a8a9對應的消息序列

x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/1617平均每個符號(消息)熵為

信源的序列熵18離散有記憶信源的序列熵對于有記憶信源,就不像無記憶信源那樣簡單,它必須引入條件熵的概念,而且只能在某些特殊情況下才能得到一些有價值的結論。對于由兩個符號組成的聯合信源,有下列結論:當前后符號無依存關系時,有下列推論：19若信源輸出一個L長序列,則信源的序列熵為平均每個符號的熵為：若當信源退化為無記憶時:若進一步又滿足平穩性時20a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號的概率空間為:設發出的符號只與前一個符號有關,這兩個符號的概率關聯性用條件概率p(aj|ai)表示,如表p(aj|ai)求離散信源的序列熵和平均每個符號的熵?21由p(ai,aj)=p(ai)p(aj|

ai)計算得聯合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36當信源符號之間無依賴性時,信源X的信息熵為當考慮符號之間有依賴性時,計算得條件熵

H(X2|X1)＜H(X)信源的條件熵比無依賴時的熵H(X)減少了0.671比特,這正是因為符號之間有依賴性所造成的結果。22聯合熵H(X1,X2)表示平均每二個信源符號所攜帶的信息量。我們用1/2H(X1,X2)作為二維平穩信源X的信息熵的近似值。那么平均每一個信源符號攜帶的信息量近似為:

符號之間存在關聯性發二重符號序列的熵比較23離散平穩信源對于離散平穩信源,有下列結論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。24⑶HL(X)是L的單調非增函數

HL(X)≤HL-1(X)⑷H∞稱為平穩信源的極限熵或極限信息量

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)⑵L給定時,平均符號熵≥條件熵：

H

L(X)≥H(XL|XL-1)25馬爾可夫信源的信息熵馬爾可夫信源齊次、遍歷的馬爾可夫信源的熵26s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例三狀態馬爾可夫信源0/0.827282.5冗余度29冗余度冗余度(多余度、剩余度)表示信源在實際發出消息時所包含的多余信息。冗余度：信源符號間的相關性。相關程度越大,信源的實際熵越小信源符號分布的不均勻性。等概率分布時信源熵最大。30冗余度對于有記憶信源,極限熵為H∞(X)。這就是說我們需要傳送這一信源的信息,理論上只需要傳送H∞(X)即可。但必須掌握信源全部概率統計特性,這顯然是不現實的。實際上,只能算出Hm(X)。那么與理論極限值相比,就要多傳送Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度31冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進一步壓縮其信息率的可能性。信源冗余度越大,其進一步壓縮的潛力越大。這是信源編碼與數據壓縮的前提與理論基礎。例：英文字母：等概率H0=log27=4.76比特/符號不等概率H1=4.03比特/符號考慮相關性H2

=3.32比特/符號極限熵H∞=1.4比特/符號冗余度英語文章有71%是由語言結構定好的,只有29%是自由選擇32習題2-132-162-262-3033本章小結34信源的描述一個離散信源發出的各個符號消息的集合為：它們的概率分別為p(xi):xi的先驗概率單符號離散信源的數學模型—概率空間a,b,c,…z3500011110狀態轉移概率矩陣符號條件概率矩陣(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3馬爾可夫信源36穩態分布概率穩態后的符號概率分布37離散信源熵和互信息問題：

什么叫不確定度？什么叫自信息量？什么叫平均不確定度？什么叫信源熵？什么叫平均自信息量？什么叫條件熵？什么叫聯合熵？聯合熵、條件熵和熵的關系是什么？38離散信源熵和互信息問題：什么叫后驗概率？什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數據處理定理是如何描述的？熵的性質有哪些？39自信息量設離散信源X，其概率空間為I

(xi)含義:當事件xi發生以前,表示事件xi發生的不確定性當事件xi發生以后,表示事件xi所含有的信息量40自信息量自信息量條件自信息量聯合自信息量41離散信源熵離散信源熵H(X)信源熵具有以下三種物理含意：信息熵H(X)表示信源輸出后,每個離散消息所提供的平均信息量。信息熵H(X)表示信源輸出前,信源的平均不確定性。信息熵H(X)反映了變量X的隨機性。42信源熵無條件熵條件熵聯合熵43互信息互信息定義為

xi的后驗概率與先驗概率比值的對數互信息I(xi;yj)表示接收到某消息yj后獲得的關于事件xi的信息量。44平均互信息平均互信息定義

信息=先驗不確定性－后驗不確定性=不確定性減少的量Y未知,X的不確定度為H(X)Y已知,X的不確定度變為H(X|Y)45維拉圖H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)46收發兩端的熵關系I(X;Y)

H(X)

H(Y)

H(X/Y)疑義度

H(Y/X)噪聲熵47馬爾可夫信源的信息熵齊次、遍歷的馬爾可夫信源的熵48概率論基礎無條件概率、條件概率、聯合概率的性質和關系⑴⑵⑶49概率論基礎無條件概率、條件概率、聯合概率的性質和關系⑷⑸⑹50例

一個二元二階馬爾可夫信源,其信源符號集為{0,1}信源開始時：p(0)=p(1)=0.5發出隨機變量X1。

下一單位時間：輸出隨機變量X2與X1有依賴關系x2x10100.30.410.70.6p(x2|x1)再下一單位時間：輸出隨機變量X3與X2X1有依賴關系x3x1x20001101100.40.20.30.410.60.80.70.6p(x3|x1x2)51從第四單位時間開始，隨機變量Xi只與前面二個單位時間的隨機變量Xi-2Xi-1有依賴關系:

p(xi|xi-1

xi-2…x2

x1)=p(xi|xi-1

xi-2)(i＞3)且

p(xi|xi-1

xi-2)=p(x3|x2x1)(i＞3)解:設信源開始處于s0狀態,并以等概率發出符號0和1,分別到達狀態s1和s2

:若處于s1,以0.3和0.7的概率發出0和1到達s3和s4若處于s2,以0.4和0.6的概率發出0和1到達s5和s600011011(0)0.5(1)0.5(0)0.3(0)0.4(1)0.7(1)0.6s1s2s0s6s5s4s352信源發完第2個符號后再發第3個及以后的符號。從第3單位時間以后信源必處在s3

s4s5

s6四種狀態之一。在i≥3后,信源的狀態轉移可用下圖表示:10110100(0)0.3(0)0.4(1)0.7(0)0.2(1)0.8(1)0.6(0)0.4(1)0.6狀態s1和s5功能是完全相同狀態s2和s6功能是完