1、1;.2.1 2.1 信源的描畫和分類信源的描畫和分類2.2 2.2 離散信源熵和互信息離散信源熵和互信息2.3 2.3 離散序列信源的熵離散序列信源的熵2.4 2.4 延續(xù)信源的熵和互信延續(xù)信源的熵和互信2.5 2.5 冗余度冗余度23問題：問題： 什么叫不確定度？什么叫不確定度？ 什么叫自信息量？什么叫自信息量？ 什么叫平均不確定度？什么叫平均不確定度？ 什么叫信源熵？什么叫信源熵？ 什么叫平均自信息量？什么叫平均自信息量？ 什么叫條件熵？什么叫條件熵？ 什么叫結(jié)合熵？什么叫結(jié)合熵？ 結(jié)合熵、條件熵和熵的關(guān)系是什么？結(jié)合熵、條件熵和熵的關(guān)系是什么？4問題：問題：什么叫后驗概率？什么叫后驗概

2、率？什么叫互信息量？什么叫互信息量？什么叫平均互信息量？什么叫平均互信息量？什么叫疑義度？什么叫疑義度？什么叫噪聲熵或分布度？什么叫噪聲熵或分布度？數(shù)據(jù)處置定理是如何描畫的？數(shù)據(jù)處置定理是如何描畫的？熵的性質(zhì)有哪些？熵的性質(zhì)有哪些？5設(shè)離散信源X，其概率空間為)(log)(iixpxI)()()(2121nnxpxpxpxxxPXI (xi) 含義:當(dāng)事件xi發(fā)生以前,表示事件xi 發(fā)生的不確定性當(dāng)事件xi發(fā)生以后,表示事件xi所含有的信息量6自信息量)(log)(iixpxI條件自信息量結(jié)合自信息量)|(log)|(jijiyxpyxI)(log)(jijiyxpyxI7離散信源熵H(X)i

3、iiiiixpxpxIxpXH)(log)()()()(信源熵具有以下三種物理含意：信息熵H(X)表示信源輸出后,每個離散音訊所提供的平均信息量。信息熵H(X)表示信源輸出前,信源的平均不確定性。信息熵H(X)反映了變量X的隨機(jī)性 。8無條件熵?zé)o條件熵)|(log)|()|(jiijijyxpyxpyXH)|(log),()|(jiijjiyxpyxpYXH),(log),(),(jiijjiyxpyxpYXH條件熵條件熵結(jié)合熵結(jié)合熵iiixpxpXH)(log)()(9設(shè)有兩個隨機(jī)事件X和Y ,X取值于信源發(fā)出的離散音訊集合, Y取值于信宿收到的離散符號集合有擾信道干擾源信源X信宿Y)()(

4、)(2121nnxpxpxpxxxPX)()()(2121nnypypypyyyPY10假設(shè)信道是無噪的,當(dāng)信源發(fā)出音訊xi后,信宿必能準(zhǔn)確無誤地收到該音訊,徹底消除對xi的不確定度,所獲得的信息量就是xi的不確定度I(xi),即xi本身含有的全部信息。普通而言,信道中總是存在著噪聲和干擾,信源發(fā)出音訊xi,經(jīng)過信道后信宿只能夠收到由于干擾作用引起的某種變型yj 。信宿收到y(tǒng)j 后推測信源發(fā)出xi的概率p(xi|yj)稱為后驗概率。信源發(fā)出音訊xi的概率p(xi) 稱為先驗概率。11互信息定義為 xi的后驗概率與先驗概率比值的對數(shù))()|(log);(2ijijixpyxpyxI互信息I(xi

5、;yj)表示接納到某音訊yj后獲得的關(guān)于事件xi的信息量。)()|(log)()()(log)()|(log);(jijjijiijijiypxypypxpyxpxpyxpyxI)|()()|()();(ijjjiijixyIyIyxIxIyxI12例某地二月份天氣 構(gòu)成的信源為：8/ 18/ 14/ 12/ 1)(雪雨陰晴xpXbitxIxIbitxIbitxI4)()(,2)(,121log)(43221假設(shè)得知“今天不是晴天,把這句話作為收到的音訊y1當(dāng)收到y(tǒng)1后,各種天氣發(fā)生的概率變成后驗概率了p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4

6、, p(x4|y1) = 1/4 0)()|(log);(111211xpyxpyxI求得自信息量分別為 13bitxpyxpyxI14/12/1log)()|(log);(2212212闡明從y1分別得到了x2 x3 x4各 1比特的信息量。音訊y1使x2 x3 x4的不確定度各減少1bit 。bityxIyxI18/14/1log);();(2141314例2-8:一個二進(jìn)信源X發(fā)出符號集0,1,經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示,由于信道中存在噪聲,接納端除收到0和1的符號外,還有不確定符號“2知X的先驗概率: p(x0)=2/3, p(x1)= 1/3,符號轉(zhuǎn)移概率： p(y0|

7、x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵符號/92. 031log3132log32)31,32()(bitHXH15得結(jié)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p

8、(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6條件熵)/()()/()()(jijijijiyxpypxypxpyxp符號/88. 021log6121log6141log6143log21)|(log),()|(bitxypyxpXYHijijji由16結(jié)合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符號)()(),()(11imjjijnijixpyxpypyxp得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6

9、 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由符號/47. 161log6131log3121log21)61,31,21()(bitHYH17)()()()()|(1jjinijijijiypyxpyxpyxpyxp由12/12/1)()()|(00000ypyxpyxp得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/20)()()|(00101ypyxpyxp符號/33. 0)|(log),()|(bityxpyxpYXHjiijji18H(X)：表示接納到輸出符號Y前

10、關(guān)于輸入變量X的平均不確定度。H(X|Y)： 表示接納到輸出符號Y 后關(guān)于輸入變量X的平均不確定度。符號/92. 031log3132log32)31,32()(bitHXH符號/33. 0)|(log),()|(bityxpyxpYXHjiijji這個對X尚存在的平均不確定度是由于干擾(噪聲)引起的 19平均互信息定義 信息= 先驗不確定性后驗不確定性 = 不確定性減少的量)|()();(YXHXHYXIY未知,X 的不確定度為H(X)Y知,X 的不確定度變?yōu)镠(X |Y)20有擾信道干擾源信源X信宿Y通訊系統(tǒng)中,假設(shè)發(fā)端的符號為X ,收端的符號為Y假設(shè)是一一對應(yīng)信道,接納到Y(jié)后,對X的不確

11、定性將完全消除：H(X|Y) = 0普通情況： H(X |Y) H(X),即了解Y后對X的不確定度的將減少經(jīng)過信道傳輸消除了一些不確定性,獲得了一定的信息。)();(0XHYXI21);()()|(log)()()()(log)()()|(log)();(XYIypxypyxpypxpyxpyxpxpyxpyxpYXIijiijjiijijijijijijiji平均互信息的另一種定義方法： 22例假設(shè)一條電線上串聯(lián)了8個燈泡x1, x2，x8如圖，這8個燈泡損壞的概率相等p(xi) = 1/8，現(xiàn)假設(shè)只需一個燈泡已損壞，致使串聯(lián)燈泡都不能點亮。未丈量前,8個燈泡都有能夠損壞,它們損壞的先驗概率

12、: p(xi)=1/8這時存在的不確定性：bitxpxIii38log)(1log)(223第1次丈量后,可知4個燈泡是好的,另4個燈泡中有一個是壞的,這時后驗概率p(xi|y) =1/4尚存在的不確定性所獲得的信息量就是丈量前后不確定性減少的量,第1次丈量獲得的信息量：bityxpyxIii24log)|(1log)|(2bityxIxIyxIiiji123)|()();(24第2次丈量后變成猜測哪2個燈泡中一個是損壞的,這時后驗概率為： p(xi|yz) = 1/2尚存在的不確定性：第2次丈量獲得的信息量：bityzxpyzxIii12log)|(1log)|(2第3次丈量完全消除了不確定

13、性，能獲知哪個燈泡是壞了的。尚存在的不確定性等于零。第3次丈量獲得的信息量：bityzxIyxIii112)|()|(bityzxIi1010)|(25信源消息 x1 x2x3x4x5x6x7x8先驗概率 1/81/81/81/81/81/81/81/8后驗概率第1次測量y1/41/41/41/4第2次測量z1/21/2第3次測量w1bitxpyxpyxI14/12/1log)()|(log);(22222bitxpyzxpyzxI28/12/1log)()|(log);(22222bitxpyzwxpyzwxI38/11log)()|(log);(22222要從8個等能夠損壞的串聯(lián)燈泡中確定

14、哪個燈泡是壞的,至少要獲得3個bit的信息量 26方法2：逐個檢查第1次:x1壞,獲得信息量=3bit,能夠性較小1/8；x1通,其他7只中1只壞,壞燈泡的不確定性：log27=2.8073bit獲得信息量=3-2.8073=0.1927bit,能夠性較大7/8第1次所獲得的平均信息量:543. 01927. 0873811184184 “對半開 第1次所獲得的平均信息量: 27在有3個變量的情況下,符號xi與符號yj , zk之間的互信息量定義為)|;();()|()|(log)()|(log)|()()|()|(log)()|(log);(jkijijikjiijijiikjijiikji

15、kjiyzxIyxIyxpzyxpxpyxpyxpxpzyxpyxpxpzyxpzyxI)|;();();(kjikikjizyxIzxIzyxI同理28我們定義在知事件zk的條件下,接納到y(tǒng)j后獲得關(guān)于某事件xi的條件互信息)|()|()|(log)|()|(log)|()|(log)|;(kjkikjikjkijkikjikjizypzxpzyxpzypzxypzxpzyxpzyxI29)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI熵只是平均不確定性的描畫;不確定性的消除(兩熵之差)才等于接納端所獲得的信息量。 獲得的信息量不應(yīng)該和不確定性混為一談 )()(

16、)()|()()|()()(YHXHXYHYXHYHXYHXHXYH30H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH31H(X|Y)：信道疑義度，損失熵信源符號經(jīng)過有噪信道傳輸后所引起的信息量的損失。信源X的熵等于接納到的信息量加上損失掉的信息量。 H(Y|X)：噪聲熵，分布熵它反映了信道中噪聲源的不確定性。輸出端信源Y 的熵H(Y)等于接納到關(guān)于X的信息量I(X;Y)加上H(Y|X),

17、這完全是由于信道中噪聲引起的。32I(X;Y) H(X) H(Y) H(X/Y)疑義度 H(Y/X)噪聲熵33假設(shè)信道是無噪一一對應(yīng)信道,信道傳送概率： )(1)(0)|(xfyxfyxyp)(1)(0)|()()|()()()()|(xfyxfyxypxpxypxpypxypyxp計算得:0)|(; 0)|(XYHYXH)()();(YHXHYXI)()();(YHXHYXI34假設(shè)信道輸入端X與輸出端Y完全統(tǒng)計獨立 )()|()()|(xpyxpypxyp那么:)()|();()|(YHXYHXHYXH0);(YXI)|()(YXHXH)|()(XYHYH35第一級處置器第二級處置器XYZ

18、輸入 級聯(lián)處置器數(shù)據(jù)處置定理 :當(dāng)音訊經(jīng)過多級處置器時,隨著處置器數(shù)目增多,輸入音訊與輸出音訊間的平均互信息量趨于變小假設(shè)Y條件下X和Z相互獨立 );();();();(YXIZXIZYIZXI36數(shù)據(jù)處置定理闡明：當(dāng)對信號、數(shù)據(jù)或音訊進(jìn)展多級處置時,每處置一次,就有能夠損失一部分信息,也就是說數(shù)據(jù)處置睬把信號、數(shù)據(jù)或音訊變成更有用的方式，但是絕不會發(fā)明出新的信息,這就是所謂的信息不增原理。 37三維結(jié)合集XYZ上的平均互信息量 )|;();()|;();();()|;()|;();();()|;();();();()|;();();()|;(),();(YZXIZYIXZYIZXIZXYIZYXIYZXIYXIZXIZYXIZXIZYXIYZXIYXZIXYIXYZIYZXIYXIYZXI381.非負(fù)性 H(X)H(p1，p2，pn)0式中等號只需在pi =1時成立。2.對稱性 H(p1，p2，pn) = H(p2，p1，pn)例如以下信源的熵都是相等的：6 / 12 / 13 / 1321xxxPX2/ 16/ 1