數字圖像處理信息的統計度量第1頁，課件共92頁，創作于2023年2月2.1自信息量和條件自信息量

信息不確定性信息的度量隨機性、概率相互獨立事件符合概率相乘、信息相加熵事件集的平均不確定性2第2頁，課件共92頁，創作于2023年2月直觀推導信息測度信息I應該是消息概率p的遞降函數由兩個不同的消息（相互統計獨立）所提供的信息等于它們分別提供信息之和（可加性）3第3頁，課件共92頁，創作于2023年2月4第4頁，課件共92頁，創作于2023年2月5兩個消息的相互依賴性越大，它們相互間的信息量就越大（這里指絕對值）例W：貴陽明日氣溫H：修文明日氣溫B：北京明日氣溫N：紐約明日氣溫W與H相互間的信息量大，W與B相互間的信息量小，W與N相互間的信息量幾乎為0第5頁，課件共92頁，創作于2023年2月定義2-1：對于給定的離散概率空間表示的信源，x=ai事件所對應的（自）信息量為以2為底，單位為比特（bit)以e=2.718281828為底，單位為奈特（nat),理論推導時常用1nat=1.433bit1bit=0.693nat以10為底，單位為笛特（det)或哈特（Hart）1det=3.322bit1bit=0.301det6第6頁，課件共92頁，創作于2023年2月對通信系統來說：7第7頁，課件共92頁，創作于2023年2月自信息量和概率成反比。規定0log0=0自信息量的含義可從多個不同的角度來理解自信息量的單位表示的含義可理解為：用n進制的數表示這些信息量需要多少位數。例2-1試求兩個事件的自信息量。8第8頁，課件共92頁，創作于2023年2月I=-log1/52!=22558I=-log413/C1352≈13.219第9頁，課件共92頁，創作于2023年2月定義2-2：聯合概率空間中任一聯合事件的聯合（自）信息量為：當xi和yj相互獨立是，有10第10頁，課件共92頁，創作于2023年2月聯合自信息量的單位與自信息量的單位相同，它的含義是：兩個事件同時發生的不確定性的大小；兩個事件同時發生帶來的信息量；將該信息量表示出來所需的n進制位的個數。11第11頁，課件共92頁，創作于2023年2月自信息量的特性p（xi）=1，I（xi）=0p（xi）→0，I（xi）→∞；p（xi）=0，I（xi）=∞非負性，由于一個符號出現的概率總在閉區間[0,1]內，所以自信息量為非負值。單調遞減性，P7圖2-1可加性12第12頁，課件共92頁，創作于2023年2月例英文字母中“e”的出現頻率為0.105，“c”出現的頻率為0.023，“o”出現的頻率為0.001，分別計算它們的自信息量。I（e）=-log0.105=3.25bitI（c）=-log0.023=5.44bitI（o）=-log0.001=9.97bit13第13頁，課件共92頁，創作于2023年2月定義2.3事件xi在事件yj給定條件下的條件自信息量為：14第14頁，課件共92頁，創作于2023年2月2.2離散信源熵與互信息15第15頁，課件共92頁，創作于2023年2月16第16頁，課件共92頁，創作于2023年2月例2-2I（x）=13.2877bitI（x/y）=6.6439bit17第17頁，課件共92頁，創作于2023年2月2.2離散信源熵與互信息例一個布袋內放100個球，其中80個球為紅色，20球為白色。若隨機摸取一個球，猜測其顏色，求平均摸取一次所獲得的（自）信息量。解：隨機事件的概率空間為18第18頁，課件共92頁，創作于2023年2月2.2離散信源熵與互信息19第19頁，課件共92頁，創作于2023年2月2.2互信息自信息量是衡量一個事件所包含的信息量的大小，互信息量是衡量兩個或多個事件之間關系的緊密程度。20第20頁，課件共92頁，創作于2023年2月定義2.4對于給定離散概率空間表示的信源，在出現y事件后所提供有關事件x的信息量定義互信息量，單位為比特21第21頁，課件共92頁，創作于2023年2月互信息量=自信息量-條件自信息量

=原有的不確定性-仍然保留的不確定性互信息量的含義：1.由事件yi消除掉的關于事件xi的不確定性。2.由事件yi能夠提供的事件xi的信息量。3.一個事件能夠提供的關于另一個事件的信息量越多，說明兩者關系越密切，因此互信息量還表示了事件yi和事件xi之間關系的密切程度。互信息量的絕對值越大事件yi和事件xi關系越密切。22第22頁，課件共92頁，創作于2023年2月23第23頁，課件共92頁，創作于2023年2月24第24頁，課件共92頁，創作于2023年2月25第25頁，課件共92頁，創作于2023年2月互信息量例2-326第26頁，課件共92頁，創作于2023年2月27第27頁，課件共92頁，創作于2023年2月28第28頁，課件共92頁，創作于2023年2月互信息量的性質1.互易性

I（x；y）=I（y；x）其含義是由事件y所提供的關于事件x的信息量等于由事件x提供的關于事件y的信息量。2.當事件x、y統計獨立時，互信息量為0.例2-429第29頁，課件共92頁，創作于2023年2月3.互信息量可正可負例2-530第30頁，課件共92頁，創作于2023年2月4.互信息量不大于其中任一事件的自信息量。31第31頁，課件共92頁，創作于2023年2月2.3平均自信息量—熵自信息量是針對一個事件而言的，很多事件組成一個離散事件集合，概率空間為：

p(xi)0，32第32頁，課件共92頁，創作于2023年2月定義2-5：對于給定離散概率空間表示的信源所定義的隨機變量I的數學期望為信源的信息熵，單位為比特/符號集合X的平均自信息量又稱為X的信息熵，簡稱熵。33第33頁，課件共92頁，創作于2023年2月在信息論中，認為信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。34第34頁，課件共92頁，創作于2023年2月因此,接收的信息量在無干擾時,在數值上就等于信源的信息熵，式中P(xi)為信源取第i個符號的概率。但在概念上,信息熵與信息量是有區別的。信息熵是描述信源本身統計特性的一個物理量。它是信源平均不定度，是信源統計特性的一個客觀表征量。不管是否有接收者它總是客觀存在的。信息量則往往是針對接收者而言的，所謂接收者獲得了信息，是指接收者收到消息后解除了對信源的平均不定度，它具有相對性。35第35頁，課件共92頁，創作于2023年2月熵的含義：

1.表示了集合中所有事件是否發生的平均不確定性的大小。2.表示了集合中事件發生，帶給人們的平均信息量的大小。3.表示了確定集合中到底哪個事件發生時所需的平均信息量的大小。4.表示了如果用二進制數據將集合中的各個元素表示出來所需的二進制位的平均數。例2-636第36頁，課件共92頁，創作于2023年2月2.3.2熵函數的數學性質熵的性質對稱性非負性確定性香農輔助定理(香農不等式)極值性（最大熵定理）條件熵不大于無條件熵（熵的不增原理）37第37頁，課件共92頁，創作于2023年2月對稱性

38第38頁，課件共92頁，創作于2023年2月對稱性表明，熵具有局限性，它僅與隨機變量的總體結構有關，抹殺了個體的特性。例2-7A、B兩地的天氣狀況。由于熵的這種局限性，提出了加權熵的概念。定義2-6例2-8香農熵是權重系數均為1的加權熵。39第39頁，課件共92頁，創作于2023年2月非負性式中的等號只有在pi=1時出現。

40第40頁，課件共92頁，創作于2023年2月非負性的含義是當集合中有一個事件必然出現，其他事件不可能出現時，集合的熵為0，此時這個集合沒有不確定性，否則這個集合或多或少總會存在一定的不確定性。41第41頁，課件共92頁，創作于2023年2月確定性42第42頁，課件共92頁，創作于2023年2月例2-943第43頁，課件共92頁，創作于2023年2月極值性（最大熵定理）對于包含M個不同離散消息的無記憶信源X，有：44第44頁，課件共92頁，創作于2023年2月上凸性45第45頁，課件共92頁，創作于2023年2月條件熵不大于無條件熵（熵的不增原理）增加條件只可能使不確定性減少46第46頁，課件共92頁，創作于2023年2月定義2-7：對于給定離散概率空間表示的信源所定義的隨機變量I（x/y)在集合X上的數學期望為給定y條件下信源的條件熵，單位為比特/序列2.3.3條件熵47第47頁，課件共92頁，創作于2023年2月2.3.3條件熵48第48頁，課件共92頁，創作于2023年2月49第49頁，課件共92頁，創作于2023年2月2.3.4聯合熵定義2-8：對于給定離散概率空間表示的信源所定義的隨機變量I（x，y)的數學期望為集合X和集合Y的信源聯合熵，單位為比特/序列50第50頁，課件共92頁，創作于2023年2月符號熵條件熵聯合熵51第51頁，課件共92頁，創作于2023年2月2.3.5各種熵之間的關系1.聯合熵、條件熵與熵的關系52第52頁，課件共92頁，創作于2023年2月2.聯合熵和熵之間的關系

H（X，Y）≤H（X）+H（Y）；當X，Y統計獨立時等號成立。3.條件熵和熵之間的關系

H（Y/X）≤H（Y）；當X，Y統計獨立時等號成立。例2-1253第53頁，課件共92頁，創作于2023年2月2.4平均互信息54第54頁，課件共92頁，創作于2023年2月Eg設信源發出8種消息符號，各消息等概發送，各符號分別用3位二進碼元表示，并輸出事件。通過對輸出事件的觀察來推測信源的輸出。假設信源發出的消息x4，用二進碼011表示，接收到每個二進制碼元后得到有關x4信息。第55頁，課件共92頁，創作于2023年2月信源輸出二進碼字先驗概率后驗概率收到0收到01收到011X10001/8?00X20011/8?00X30101/8??0X40111/8??1X51001/8000X61011/8000X71101/8000x81111/8000等概率二進碼的后驗概率第56頁，課件共92頁，創作于2023年2月第57頁，課件共92頁，創作于2023年2月信源輸出二進碼字先驗概率后驗概率收到0收到01收到011X10001/81/600X2001?1/300X30101/81/61/30X4011?1/32/31X51001/16000X61011/16000X71101/16000x81111/16000不等概率二進碼的后驗概率第58頁，課件共92頁，創作于2023年2月I(x4；0)=0.145bit/符號I(x4；01)=1.145bit/符號I(x4；011)=2bit/符號同樣的事件011，等概時信息要大些。第59頁，課件共92頁，創作于2023年2月平均互信息量

其中60第60頁，課件共92頁，創作于2023年2月平均互信息的含義：1.知道了集合Y之后，平均Y中的一個事件消除掉的關于集合X中的一個事件的不確定性。2.由Y中的一個事件平均能夠提供出來的關于集合X中的一個事件的信息量。3.表示了兩個集合之間關系的密切程度。61第61頁，課件共92頁，創作于2023年2月62第62頁，課件共92頁，創作于2023年2月63第63頁，課件共92頁，創作于2023年2月64第64頁，課件共92頁，創作于2023年2月平均互信息的性質1.非負性65第65頁，課件共92頁，創作于2023年2月2.互易性66第66頁，課件共92頁，創作于2023年2月3.極值性67第67頁，課件共92頁，創作于2023年2月68第68頁，課件共92頁，創作于2023年2月4.凸性函數當條件概率分布給定時，平均互信息量是輸入概率分布的上凸函數當集合X的概率分布保持不變時，平均互信息量是條件概率分布的下凸函數69第69頁，課件共92頁，創作于2023年2月2.4.3各種熵和平均互信息量之間的關系70第70頁，課件共92頁，創作于2023年2月信息不增性71第71頁，課件共92頁，創作于2023年2月數據處理定理72第72頁，課件共92頁，創作于2023年2月如果想從測量結果Y中得到越來越多的關于X的信息量，必須付出代價。常用的方法是通過多次測量，因為H（X/Y1,Y2）≤H（X/Y1），所以I（X；Y1,Y2）≥I（X；Y1）。可以證明取測量值Y的次數越多，X的條件熵越小，獲得的信息量就越大。尤其當各次測量值相互獨立時，趨勢更明顯。取Y無數次后，

H（X/Y1,Y2,Y3,……）→0I（X；Y1,Y2Y3,……）→H（X）第73頁，課件共92頁，創作于2023年2月解決方法：多次測量74第74頁，課件共92頁，創作于2023年2月例有一信源輸出X∈{0，1，2}，其概率為p（0）=1/4，p(1)=1/4，p(2)=1/2。設計兩個獨立實驗去觀察它，其結果分別為Y1∈

{0，1}，Y2∈

{0，1}

，已知條件概率為下表所列，p(y1/x)01p(y2/x)0101001010111021/21/2201第75頁，課件共92頁，創作于2023年2月求(1)I（X；Y1）和I（X；Y2），并判斷哪一個實驗好些。

(2)I（X；Y1，Y2），并計算做Y1和Y2兩個實驗比作Y1或Y2