1、采用結(jié)合梯的互信息測方法較好討論內(nèi)容 互信息的概念 互信息的改進 搜索策略的優(yōu)化第1頁/共48頁1. 互信息的概念 互信息是信息理論中的一個基本概念。 1948年C. E. Shannon提出， A mathematical theory of communication,Bell System Technical Journal, vol. 27, pp. 379423/623656,1948. 1995年Colligon和Viola首次用于醫(yī)學圖像配準。 互信息用于描述兩個系統(tǒng)間的統(tǒng)計相關性，或者一個系統(tǒng)中包含的另一個系統(tǒng)的信息的多少。 對于來自同一對象的兩幅圖像，配準后，互信息應為最大。

2、 互信息只是一種相似性測度 基于互信息的配準方法仍然遵循一般的配準框架第2頁/共48頁 Collignon A, et al, Automated multi-modality registration based on information theory, Information Processing in Medical Imaging, 1995,263-274 Viola P, Wells WM, Alignment by Maximization of mutual information, International Conference on computer Vision,

3、1995, Los Alamitos,CA: IEEE Computer Science Press,1995,1623.1. 互信息的概念第3頁/共48頁 熵 熵（entropy）是信息的測度。熵的概念來源于通訊理論。 Pi = 灰度值為i的像素點數(shù) / 總像素點數(shù) 1. 互信息的概念第4頁/共48頁熵可以有三種解釋： 當一個事件發(fā)生時，其給出的信息數(shù)量； 一個事件的結(jié)果的不確定性； 事件發(fā)生的概率分布。 Question: 熵大，說明什么問題？ 熵小，又說明什么？1. 互信息的概念第5頁/共48頁 熵 Jumarie entropy 不適于多模態(tài)圖像配準 Renyi entropy 在圖像

4、配準中很少使用1. 互信息的概念第6頁/共48頁 聯(lián)合熵 聯(lián)合熵H(A,B)是隨機變量A和B相關性的統(tǒng)計量。PAB(a,b)是聯(lián)合概率分布函數(shù)。聯(lián)合熵越小，說明什么問題？1. 互信息的概念第7頁/共48頁 Joint grey value histograms of an MR image with itself. The leftmost histogram shows the situation when the images are registered. Because the images are identical, all grey value correspondences l

5、ie on the diagonal. The three following are the resulting histograms when one MR image is rotated with respect to the other by angles of 2, 5 and 10 degrees respectively. Below the histograms are the corresponding joint entropy values.1. 互信息的概念第8頁/共48頁 條件熵 1993年，Woods應用條件熵作為配準的測度，開發(fā)了PET-MT圖像配準的軟件AIR

6、.1. 互信息的概念第9頁/共48頁 互信息第（1）種定義形式能夠最好的解釋“互信息” 。將熵作為不確定性度量的概念時，式(1)解釋為“B的不確定性減去當A已知時B的不確定性”。換句話說，互信息是當A給出時，B的不確定性的減少程度。若A能完全表達B，則互信息最大，即不確定性減少程度最大。 (1)1. 互信息的概念第10頁/共48頁 互信息（2）第(2)種定義形式最接近聯(lián)合熵。式中的A、B不是指兩幅完整的圖像，而是分別代表兩幅圖像的重疊區(qū)域。互信息和聯(lián)合熵都是在圖像的重疊區(qū)域上計算的，因此，度量值取決于重疊區(qū)域的大小和重疊區(qū)的內(nèi)容。1. 互信息的概念第11頁/共48頁 式(2)含有項H(A,B)

7、，表示最大互信息與最小聯(lián)合熵有關。 聯(lián)合熵表明了兩幅圖的灰度值分布。 在通常情況下，聯(lián)合熵小，表明對齊的程度高。 但是，采用兩幅圖像重疊區(qū)域的聯(lián)合熵可能會出現(xiàn)兩幅圖像完全誤配時，聯(lián)合熵最小的情況。 如一幅圖像例的一部分背景區(qū)域和另一幅圖像的一部分背景區(qū)域重疊，其它部分不重疊時，聯(lián)合熵最小。 采用互信息可以避免這種情況，因為對只有部分背景對齊的情況，H(A)和H(B)很小，因而互信息很小。隨著A、B重疊區(qū)域的增大，A、B中包含更多的信息，使得H(A)、H(B)增大。盡管聯(lián)合熵也增大，但是互信息在增加，更好的反映了對齊的程度。互信息 VS 聯(lián)合熵1. 互信息的概念第12頁/共48頁 互信息（3）第

8、(3)種形式與Kullback-Leibler距離有關。測量了兩幅圖像灰度值的聯(lián)合分布p(a,b)和在兩幅圖像相互獨立的情況下的聯(lián)合分布p(a)p(b)之間的距離。是兩幅圖像的依賴性的度量。其假設就是，在兩幅圖像正確對齊的情況下，它們的灰度值之間的依賴最大。誤配會導致度量值降低。 1. 互信息的概念第13頁/共48頁 圓代表了圖像的邊緣熵 兩圓合并區(qū)域為聯(lián)合熵 重疊部分為互信息1. 互信息的概念第14頁/共48頁互信息的優(yōu)點分割和特征提取方法中存在的問題 在圖像的獲取和特征提取過程中會產(chǎn)生不同程度的噪聲，使得提取到的特征點位置存在一定的誤差，要使一幅圖像中的特征點精確匹配另一幅圖像中的特征點是

9、很困難的； 從兩幅圖像中提取到的圖像特征點集數(shù)目是不等的，確定它們之間的對應關系較難； 一幅圖像中的某些特征點在另一幅圖像中沒有相對應的特征點，即存在著出界點； 特征點集之間的變換可能是剛性的，也可能是非剛性的。 第15頁/共48頁互信息的性質(zhì) 非負性：I(A,B)=0。B的不確定性不會因為對A的了解而增大。 獨立性：當PAB(a,b) = PA(a)PB(b)時，I(A,B)=0。若A和B是獨立的，則不能從一幅圖像中獲得任何關于另一幅圖像的信息。 對稱性：I(A,B) = I(B,A) 自信息：I(A,A) = H(A) 有界性：I(A,B) =min(H(A),H(B)第16頁/共48頁 I(A,B) = min (H(A), H(B) = (H(A) + H(B) / 2 = max (H(A), H(B) = H(A,B)