1、第30卷第6期2005年6月武漢大學學報信息科學版收稿日期:2005203224。項目來源:國家重點基礎研究發展規劃基金資助項目(G1998030600。文章編號:167128860(20050620514204文獻標志碼:A一種新的基于高斯混合模型的紋理圖像分割方法余鵬1,2封舉富3童行偉4(1北京大學數學科學學院,北京市海淀區,100871(2國家基礎地理信息中心,北京市西外紫竹院百勝村1號,100044(3北京大學信息科學中心,北京市海淀區,100871(4北京師范大學數學科學學院,北京市新街口外大街19號,100875摘要:提出了一種新的結合了小波變換的高斯混合模型紋理分割方法。該方法

2、包括預處理、小波變換、模型訓練、計算后驗概率和標記圖像等5個階段,并分析了將高斯混合模型引入紋理分割需要注意的幾個方面。試驗結果表明,該算法具有較好的分割性能。關鍵詞:圖像分割;紋理圖像;高斯混合模型;EM 算法;小波變換中圖法分類號:TP751;P237.3對于紋理圖像的分割,研究的方法已經有很多,根據特征提取的方法不同,一般分為基于統計的方法、基于結構的方法和基于空間頻率的方法等3大類。基于統計的方法主要通過計算紋理的灰度共生矩陣、對比度、熵以及同質性(homoge 2neity 等紋理特征,然后采用直方圖等技術進行分割;結構化方法則根據紋理基元和排列規則來定義紋理特征,再采用直方圖、形態

3、學等方法來進行紋理分割;而基于空間頻率的方法則利用不同的模板與紋理圖像進行卷積來計算特征,最后通過K 均值等方法進行分割1。高斯混合模型最早于1894年就開始得到研究,Day 2研究了高斯混合模型的矩估計、最小2估計、貝葉斯估計以及最大似然估計,發現最大似然估計要優于其他幾類估計。Demp ster3發明了EM 算法,隨后,EM 算法成為高斯混合模型最大似然估計的主要算法,并廣泛應用于無監督學習4。由于高斯混合模型能模擬任何形式的概率分布,因此,用于聚類的概率模型也用到了高斯混合模型5。在過去的20多年里,高斯混合模型在語音處理領域取得了很大的成功,然而,在圖像處理領域的應用卻很少6。本文主要

4、將高斯混合模型應用到紋理分割進行了試驗,并將它與小波變換進行結合,給出了一個新的圖像分割算法。1高斯混合模型和EM 算法1.1高斯混合模型及最大似然估計設Y =Y 1,Y d T 是d 維的隨機變量,y =y 1,y d T表示Y 的一個實例。如果其概率密度函數能寫成k 個成分分布的和:p (y |=km =1mp (y |m(1則Y 服從有限混合分布,其對應的模型就為有限混合模型。其中,1,k 是各個成分分布混合的概率;m 是第m 個成分分布的參數;1,k ,1,k 是所有參數的集合;同時,m 必須滿足如下條件:m 0,m =1,k ,且km =1m=1(2如果假設所有成分分布都是高斯分布,

5、則所對應的模型為高斯混合模型。而d 維的高斯混合模型的參數m 實際上由均值向量m 和方差矩陣m 7所決定。在式(2約束下,求式(1參數的解析解非常復雜,一般采用迭代方法8。即先建立樣本的最大似然方程,然后采用EM 算法對類參數及混合參數進行估計。最大似然估計的基本假設是所有N 個樣本第30卷第6期余鵬等:一種新的基于高斯混合模型的紋理圖像分割方法的集合Y =y (1,y (N 是獨立的,則其似然函數可定義如下:l (=p (Y |=Nn =1p (yn|(3進一步定義對數似然函數為:H (=1n l (=Nn =11n p (y n|(4將式(1代入式(4,得:H (=Nn =11n Km =

6、1mp (y n|m (5 所謂最大似然估計,就是要找到使式(4最大的的估計值,即H (=maxNn =11n km =1mp (y n|m (61.2利用EM 算法進行參數估計參數估計的EM 算法分為E 2步和M 2步。對于高斯混合模型,采用EM 算法進行參數估計的過程如下。E 2步:首先初始化參數m 、m 和m ,計算樣本n 屬于第m 類的后驗概率:Q mn =m p (y |m (7標準化后為:R mn=Q mn Q n=m p (y |m k m =1m p (y |m (8其中,p (y |m =2-d/2|m |-1/2exp -12(y n -m T -1m (y n -m 服從

7、高斯分布。M 2步:最大化式(8,得到新的參數值 m 、 m和 m 。具體計算公式為:m =Nn =1RmnN(9m =Nn =1R mn y nN m(10m =Nn =1Rmn(y n - m (y n - m TN m(11利用式(8式(11,迭代收斂后,可以得到樣本n 屬于第m 類的后驗概率R mn。這一結果可應用于數據分類、圖像分割等。2基于高斯混合模型的圖像分割算法從統計的觀點來看,一幅包含多個紋理的圖像,其像素值的分布可以用高斯混合模型進行模擬。每一個紋理相對于其他紋理,在空間上會表現出一定的正態分布。通過一定數量的訓練樣本來估計每個正態分布的參數,在此基礎上,再將該圖像的所有像

8、素代入該正態分布,從而計算出圖像中每一個像素屬于某一類的概率,概率最大者,即為該類。對每一個像素進行歸類后,就完成了圖像的分割。其算法框架如圖1所示。圖1算法流程圖Fig.1Schema of Algorithm2.1預處理預處理采用Laws 9的紋理相似性測度,在Laws 的方法中,使用大小為(2n 1+1(2n 1+1的窗口內像素與均值的偏差(mean deviation 作為分割的宏特征:s (i ,j =1(2n 1+12i+n 1k =i-n 1j +n 1l =j -n 1|g (k ,l -m (i ,j |(12式中,g (k ,l 為原始圖像;m (i ,j 為窗口內g (k

9、 ,l 的平均值。該特征是紋理局部“能量”的一種測度。考慮到紋理之間的邊緣效應,采用文獻10中的方法對特征圖像進一步進行平滑,平滑窗口大小為(2n 2+1(2n 2+1:S (i ,j =1(2n 2+12i+n 2k =i-n 2j +n 2l =j -n 2s (k ,l (13式中,s (i ,j 為式(12定義的特征。考慮到區域一致性和邊緣準確性的矛盾,窗口大小應進行合理的選取。根據經驗,分別選取n 1=3、n 2=2,在邊緣準確性和區域一致性方面達到了良好的折中。212小波變換小波變換是使用小波函數族及其相應的尺度函數將原始信號分解成不同的頻帶進行輸出,與傳統的Fourier 變換和

10、短時Fourier 變換相比,小波變換具有一些獨特的優點。其中一個就是時頻局部化特性11,這一特性可應用于紋理圖像的特征提取12。另外一個優點是各層子圖(即分解系數之間是相互獨立的,圖像的主要能量集中于低頻分量上。雖然能量集中可能與圖像本身有一定的關系,但合適的小波基函數的選取對圖像能量集中515武漢大學學報信息科學版2005年6月有很大的作用。一般選取正則性較強的小波,比如Daubechies 小波,往往能集中原始圖像99.5%以上的能量11。Donoho 13就利用了這種能量集中特性進行圖像增強。基于以上考慮,在小波基函數的選取上,筆者選取了Daubechies 4點小波14。在圖像邊界擴

11、展上,也選擇了避免邊界出現突變的對稱擴展10。2.3算法結合第一部分的公式推導,假設類別數已知的情況下,具體的算法如下。1對原始圖像進行預處理。2選用Daubechies 4點小波,對預處理后的圖像波進行小波變換。3選擇樣本。在小波變換的逼近系數上,隨機選取N 個窗口為w w 大小的圖像塊。4初始化。設定初始類別個數、各類均值向量、協方差矩陣等。5訓練。利用EM 算法,估計最大似然參數:a E 2步:利用式(8,計算樣本n 屬于第m 類的標準化后驗概率R mn ;b M 2步:利用式(9式(11,計算最新的參數值 m , m 和 m ;c 重復以上兩步直到收斂。6計算后驗概率。得到各類別的似然

12、參數后,逐點從圖像中讀入待分割圖像塊(w w 大小,計算該樣本屬于各類別的后驗概率。7標記圖像(分割。根據樣本的后驗概率的大小,將該樣本的中間像素判為不同的圖像類。3試驗筆者從Brodatz 紋理數據庫中隨機選取8幅紋理圖像,然后手工將它們兩兩合成,圖2是將它們合成后的結果。 圖2合成圖像Fig.2Merged Images在實際的分割過程中,還有幾個方面需要考慮。第一個方面是窗口w 選取的問題。筆者對不同大小的窗口進行了試驗(w =3,4,17,發現所有這些圖像的窗口都以77大小的窗口分割結果最好。第二個方面是特征選取的問題。在計算時,并不是以77窗口內的所有像素值作為特征,這是考慮了如下一

13、些方面的原因:首先,以所有這些像素作為特征,維數高達49維,在高維空間,像素分布表現出“空空間現象”,已經不是所謂的高斯分布了;其次,在高維空間,像素分布的訓練需要大樣本,在樣本有限的情況下,也不能完全估計出高斯分布的參數;第三,由于利用了所有的像素值,因此分布受極值的影響較大;最后一點就是計算的速度也會受到影響。為了能夠更好地進行紋理分割,筆者通過試驗,選取了窗口內5個特征向量,即樣本方差、均值、樣本當前值、極大值和極小值作為特征,這樣整個數據從49維降低到5維,運算時間與以前相比,降低了約1/2。在P42.4G 、512M 內存的機器上,一幅256256大小紋理圖像的分割時間為18s 。最

14、后需要說明的是,雖然EM 算法對初始值選取比較敏感,但并沒有作特殊處理。均值向量選取的就是待分割圖像的均值;協方差矩陣則是待分割圖像數據協方差矩陣經對角化所形成的對角陣;混合比例則初始化為以類別數為分母的均勻分布。圖2(a 、2(b 、2(c 、2(d 圖像的分割的結果分別對應于圖3(a 、3(b 、3(c 、3(d 。 圖3分割結果Fig.3Segmented Results615第30卷第6期余鵬等:一種新的基于高斯混合模型的紋理圖像分割方法應該說明的是,以上的分割結果沒有作任何后處理操作。雖然圖3(d中的分割結果不是十分理想,但這與背景紋理與前景紋理間的相似性太強有很大的關系。參考文獻1

15、賈云德1機器視覺1北京:科學出版社,20002Day N E.Estimating the Components of a Mixture of Normal Distributions.Biometrika,1969,56(3:463 4744J ain A K,Duin R P W,Mao J.Statistical Pattern Rec2 ognition:A Review.IEEE Transactions on Pattern A2 nalysis and Machine Intelligence,2000,22(1:448 5Figueiredo M A T,J ain A K.

16、Unsupervised Learning of Finite Mixture Models.IEEE Transactions on Pat2 tern Analysis and Machine Intelligence,2002,24(3: 3813966Popat K,Picard R.Cluster2Based Probability Model and Its Application to Image and Texture Processing.IEEE Transactions on Image Processing,1997,6(2:2682847McLachlan G,Pee

17、l D.Finite Mixture Models.New Y ork:John Wiley&Sons,20009Laws K I.Rapid Texture Identification.SPIE,1980, 238:37638010吳高洪,章毓晉,林行剛1利用小波變換和特征加權進行紋理分割.中國圖像圖形學報,2001,6(4:333 33711彭玉華1小波變換與工程應用.北京:科學出版社, 200012章毓晉1圖像分割.北京:科學出版社,200113Donoho D L.De2Noising by Soft2Thresholding.IEEE Transactions on Informa

18、tion Theory,1995,41(3: 613627第一作者簡介:余鵬,博士生,工程師。主要從事圖像處理、模式識別、GIS應用等方面的研究。A N e w T extured Image Segmentation AlgorithmB ased onG aussian Mixture ModelsYU Peng1,2F EN G J u f u3TO N G X i n gw ei4(1School of Mat hematical Sciences,Peking University,Haidian District,Beijing100871,China(2National Geom

19、atics Center of China,1Zizhuyuan Road,Beijing100044,China(3Center for Information Science,Peking University,Haidian District,Beijing100871,China (4School of Mat hematical Sciences,Beijing Normal University,19Xinjiekouwai Street,Beijing100875,ChinaAbstract:This paper proposes a new text ured image seg