1、基于嵌入式平臺的智能視頻處理系統基于嵌入式平臺的智能視頻處理系統蘇州大學蘇州大學 電子信息學院電子信息學院圖像分割與表示圖像分割與表示1.邊緣檢測分割邊緣檢測分割2.閾值處理分割閾值處理分割3.基于區域分割基于區域分割4.形態學分水嶺分割形態學分水嶺分割5.分割后的區域表示分割后的區域表示邊緣檢測邊緣檢測1 1、差分、差分邊緣是那些灰度變化較大的地方，連續函數用導數來反映邊緣是那些灰度變化較大的地方，連續函數用導數來反映變化的變化的“快慢快慢”程度，數字信號可用差分來定義。程度，數字信號可用差分來定義。)() 1()(xfxfxfxf)() 1(2)2()() 1(22xfxfxfxfxfxf

2、邊緣檢測邊緣檢測邊緣檢測邊緣檢測1 1）一階導數通常產生較粗的邊緣）一階導數通常產生較粗的邊緣2 2）二階導數對精細細節有較強的響應，對噪聲也更敏感）二階導數對精細細節有較強的響應，對噪聲也更敏感3 3）二階導數在灰度斜坡和灰度臺階處產生雙邊緣響應）二階導數在灰度斜坡和灰度臺階處產生雙邊緣響應4)4)二階導數的符號可以確定邊緣的過渡是從亮到暗還是從二階導數的符號可以確定邊緣的過渡是從亮到暗還是從暗到亮。暗到亮。邊緣檢測邊緣檢測 對于二維的圖像，計算圖像中每個像素位置處的一階導數對于二維的圖像，計算圖像中每個像素位置處的一階導數和二階導數的選擇方法是使用空間濾波器。和二階導數的選擇方法是使用空間

3、濾波器。91992211wkkkzwzzwzwR 邊緣檢測邊緣檢測2 2、孤立點檢測、孤立點檢測 1 1）以二階導數為基礎，使用拉普拉斯：）以二階導數為基礎，使用拉普拉斯：偏微分如下：偏微分如下：22222),(yfxfyxf),(2), 1(), 1(),(22yxfyxfyxfxyxf),(2) 1,() 1,(),(22yxfyxfyxfyyxf邊緣檢測邊緣檢測拉普拉斯：拉普拉斯：),(4) 1,() 1,(), 1(), 1(),(2yxfyxfyxfyxfyxfyxf對應的掩膜模版如圖對應的掩膜模版如圖a a：也可以利用如圖也可以利用如圖b b的掩膜模版，又稱為拉普拉斯模版的掩膜模版

4、，又稱為拉普拉斯模版 f= f=imreadimread(點檢測點檢測. .tiftif);); imshow(fimshow(f) ) w=-1 -1 w=-1 -1 -1-1 ; ; -1 8 -1;-1 -1 -1 8 -1;-1 -1 -1-1; g = g = abs(imfilter(double(f),wabs(imfilter(double(f),w);); t= t= max(gmax(g(:);(:); g=g=t; g=g=t; figure,imshow(gfigure,imshow(g););邊緣檢測邊緣檢測2 2）MATLABMATLAB處理效果處理效果點檢測原圖點

5、檢測原圖邊緣檢測邊緣檢測點檢測效果圖點檢測效果圖邊緣檢測邊緣檢測3 3、線檢測、線檢測 1 1）對于線檢測，二階導數將導致更強烈的響應，產生比一階）對于線檢測，二階導數將導致更強烈的響應，產生比一階導數更細的線。導數更細的線。 線檢測計算，可以采用前面所提到的圖線檢測計算，可以采用前面所提到的圖b b拉普拉斯模版。拉普拉斯模版。 拉普拉斯檢測子是各向同性的，其響應與方向無關。拉普拉斯檢測子是各向同性的，其響應與方向無關。 通常我們的興趣在于在于檢測特定方向的線，考慮下一頁的通常我們的興趣在于在于檢測特定方向的線，考慮下一頁的模版。若第一個模板在在圖上四處移動更強烈地響應（一個像模版。若第一個模

6、板在在圖上四處移動更強烈地響應（一個像素寬）的水平線素寬）的水平線邊緣檢測邊緣檢測2 2）四個方向上線檢測掩膜如下，若我們對檢測圖像中給定方向的）四個方向上線檢測掩膜如下，若我們對檢測圖像中給定方向的所有線感興趣，則可以簡單地在圖像上運行掩膜并作閾值處理。所有線感興趣，則可以簡單地在圖像上運行掩膜并作閾值處理。3)3)使用拉普拉斯模板時使用拉普拉斯模板時 邊緣檢測邊緣檢測 f= f=imread(imread(線檢測線檢測.tif.tif);); w=-1 -1 w=-1 -1 -1-1 ;-1 8 -1;-1 -1 ;-1 8 -1;-1 -1 -1-1; g= g=imfilter(dou

7、ble(f),wimfilter(double(f),w);); imshow(gimshow(g,),) T= T=max(gmax(g(:);(:); T1=0.5 T1=0.5* *T;T; g=g=T1; g=g=T1; figure,imshow(gfigure,imshow(g,),)線檢測原圖線檢測原圖邊緣檢測邊緣檢測拉普拉斯線檢測效果圖拉普拉斯線檢測效果圖 邊緣檢測邊緣檢測拉普拉斯線檢測效果圖拉普拉斯線檢測效果圖 邊緣檢測邊緣檢測4 4）使用）使用-45-45模板模板 f= f=imreadimread(線檢測線檢測. .tiftif);); w=2 -1 w=2 -1 -1-

8、1 ;-1 2 -1;-1 -1 2; ;-1 2 -1;-1 -1 2; g=imfilter(double(f),w); g=imfilter(double(f),w); imshow(gimshow(g,),) g= g=abs(gabs(g);); figure,imshow(gfigure,imshow(g,),) t= t= max(gmax(g(:);(:); g=g=t; g=g=t; figure,imshow(gfigure,imshow(g);); 邊緣檢測邊緣檢測-45-45線檢測效果圖線檢測效果圖邊緣檢測邊緣檢測-45-45線檢測效果圖線檢測效果圖邊緣檢測邊緣檢測-4

9、5-45線檢測效果圖線檢測效果圖邊緣檢測邊緣檢測4 4、邊緣檢測、邊緣檢測 1 1）基本邊緣檢測）基本邊緣檢測 梯度梯度yfxfggfgradfyx)(f f22)(),(yxggfmagyxMf f的大小的大小f f的方向的方向xyggacyxtan),(邊緣檢測邊緣檢測梯度算子梯度算子)()(321987zzzzzzxfgx)()(741963zzzzzzyfgy上式對應下面的上式對應下面的PrewittPrewitt算子，也可以使用算子，也可以使用SobelSobel算子，中心位算子，中心位置置 處用處用2 2來平滑圖像來平滑圖像邊緣檢測邊緣檢測 f= f=imreadimread(邊緣

10、檢測邊緣檢測. .tiftif);); w=-1 -2 -1 ;0 0 0;1 2 1; w=-1 -2 -1 ;0 0 0;1 2 1; g=imfilter(double(f),w); g=imfilter(double(f),w); g= g=abs(gabs(g);); figure,imshow(gfigure,imshow(g,);,); w=-1 0 1 ;-2 0 2;-1 0 1; w=-1 0 1 ;-2 0 2;-1 0 1; g1=imfilter(double(f),w); g1=imfilter(double(f),w); g1=abs(g1); g1=abs(g1

11、); figure,imshow(g1,); figure,imshow(g1,); g2=g+g1; g2=g+g1; figure,imshow(g2,); figure,imshow(g2,);邊緣檢測邊緣檢測邊緣檢測原圖邊緣檢測原圖 |gx| |gx|圖圖邊緣檢測邊緣檢測 |gy| |gy|圖圖 |gx| + |gy| |gx| + |gy|圖圖邊緣檢測邊緣檢測2)2)坎尼邊緣檢測（是迄今討論過的最優秀的邊緣檢測器）坎尼邊緣檢測（是迄今討論過的最優秀的邊緣檢測器） a.a.用一個高斯濾波器平滑輸入圖像。用一個高斯濾波器平滑輸入圖像。( (減弱噪聲減弱噪聲) ) b.b.計算梯度幅值圖像

12、和角度圖像。計算梯度幅值圖像和角度圖像。 c.c.對梯度圖像應用非最大抑制。對梯度圖像應用非最大抑制。 d.d.用雙閾值處理和連接分析來檢測并連接邊緣用雙閾值處理和連接分析來檢測并連接邊緣 Canny Canny 邊緣檢測器的語法為邊緣檢測器的語法為 g ,t=edge( f, canny, T, sigma)g ,t=edge( f, canny, T, sigma)T=T1,T2T=T1,T2為兩個閾值，為兩個閾值，sigmasigma是平滑濾波器的標準誤差，是平滑濾波器的標準誤差，g g為輸為輸出二值圖像，出二值圖像，t t是其使用的閾值。是其使用的閾值。邊緣檢測邊緣檢測3 3）Sobe

13、lSobel邊緣檢測與邊緣檢測與CannyCanny邊緣檢測處理效果的比較邊緣檢測處理效果的比較 SobelSobel邊緣檢測邊緣檢測MatlabMatlab程序程序 f= f=imread(imread(邊緣檢測邊緣檢測.tif.tif););gv,tgv,t=edge(f,sobel,verticaledge(f,sobel,vertical; ; t tt =t = 0.05160.0516 g_sobel_default,ts= g_sobel_default,ts=edge(f,sobeledge(f,sobel););imshow(g_sobel_defaultimshow(g_s

14、obel_default,);,); g_sobel_bestg_sobel_best=edge(f,sobel,0.05);=edge(f,sobel,0.05);figure,imshow(g_sobel_bestfigure,imshow(g_sobel_best,);,);邊緣檢測邊緣檢測SobelSobel邊緣檢測效果圖邊緣檢測效果圖邊緣檢測邊緣檢測CannyCanny邊緣檢測邊緣檢測MatlabMatlab源程序源程序 f= f=imread(imread(邊緣檢測邊緣檢測.tif.tif);); g_sobel_default,tcg_sobel_default,tc=edge(

15、f,cannyedge(f,canny););imshow(g_sobel_defaultimshow(g_sobel_default,);,); g_canny_bestg_canny_best=edge(f,canny,0.04 =edge(f,canny,0.04 0.10,1.5);0.10,1.5);figure,imshow(g_sobel_bestfigure,imshow(g_sobel_best,);,);邊緣檢測邊緣檢測CannyCanny邊緣檢測效果圖邊緣檢測效果圖邊緣檢測邊緣檢測5 5、邊緣連接和邊界檢測、邊緣連接和邊界檢測 1 1）邊緣檢測僅產生位于邊緣上的像素集合，

16、但噪聲、不均勻）邊緣檢測僅產生位于邊緣上的像素集合，但噪聲、不均勻照明會引起邊緣間斷一般邊緣檢測后會緊跟連接算法。照明會引起邊緣間斷一般邊緣檢測后會緊跟連接算法。 局部處理：在每個（局部處理：在每個（x ,yx ,y）處（檢測出的邊緣像素）的小鄰）處（檢測出的邊緣像素）的小鄰域內分析像素特點，將所有相似點連接起來，形成根據指定準域內分析像素特點，將所有相似點連接起來，形成根據指定準則，滿足相同特性的一條邊緣。則，滿足相同特性的一條邊緣。 區域處理：用在感興趣區域的位置已知或者可以確定，使用區域處理：用在感興趣區域的位置已知或者可以確定，使用在區域的基礎上連接像素的技術，有多邊形近似連接方法，和

17、在區域的基礎上連接像素的技術，有多邊形近似連接方法，和多邊形擬合方法。多邊形擬合方法。 全局處理：霍夫變換全局處理：霍夫變換 邊緣檢測邊緣檢測2 2）霍夫變換）霍夫變換直角坐標直角坐標HoughHough變換圖變換圖邊緣檢測邊緣檢測當直線逼近垂直方向時，當直線逼近垂直方向時，a a趨于無窮大，解決方法是用一條直線趨于無窮大，解決方法是用一條直線的發現表示：的發現表示： sincosyx極坐標極坐標HoughHough變換圖變換圖 邊緣檢測邊緣檢測霍夫變換計算上的魅力在于將霍夫變換計算上的魅力在于將空間劃分為所謂的累加空間劃分為所謂的累加單元，如下圖所示單元，如下圖所示, ,所期望的取值范圍：所

18、期望的取值范圍：-90-90到到9090和和-D-D到到D D。位于坐標（。位于坐標（i i，j j）處的單元具有累加器）處的單元具有累加器A(i,jA(i,j) )，它對應于參數空間（它對應于參數空間（ ii，ii）相關聯的正方形。然后，相關聯的正方形。然后，xyxy平面平面中的每一個非背景點（中的每一個非背景點（x xk k，y yk k），令，令等于等于軸上每一個允許的軸上每一個允許的細分值，求解出對應的細分值，求解出對應的，選擇選擇一個一個p得到解得到解q，令，令A(p,qA(p,q)+)+邊緣檢測邊緣檢測HoughHough變換效果圖變換效果圖邊緣檢測邊緣檢測 使用使用HoughHo

19、ugh變化做線檢測與連接變化做線檢測與連接 HoughHough線檢測與連接原圖線檢測與連接原圖邊緣檢測邊緣檢測HoughHough變換及峰值檢測變換及峰值檢測邊緣檢測邊緣檢測HoughHough變換進行線連接變換進行線連接1、閾值處理：直觀、實現簡單且計算快速，在圖、閾值處理：直觀、實現簡單且計算快速，在圖像分割中處核心地位像分割中處核心地位閾值處理閾值處理閾值處理閾值處理2、可區分直方圖模式的谷的寬度和深度直接關系到灰、可區分直方圖模式的谷的寬度和深度直接關系到灰度閾值分割的成功與否。度閾值分割的成功與否。 影響波谷特性的關鍵因素是：影響波谷特性的關鍵因素是：1）波峰間的間隔（波峰離得越遠

20、分離這些模式的機會）波峰間的間隔（波峰離得越遠分離這些模式的機會越好）越好）2）圖像中的噪聲內容（模式隨噪聲的增加而展寬）圖像中的噪聲內容（模式隨噪聲的增加而展寬）3）圖像和背景的相對尺寸）圖像和背景的相對尺寸4）光源的均勻性）光源的均勻性5）圖像反射性的均勻性）圖像反射性的均勻性閾值處理閾值處理以噪聲對閾值處理的影響為例：以噪聲對閾值處理的影響為例：加噪聲前后圖像加噪聲前后圖像閾值處理閾值處理加噪聲前后直方圖加噪聲前后直方圖注：利用圖像平滑可以改善上述處理，降低噪聲的影響注：利用圖像平滑可以改善上述處理，降低噪聲的影響 閾值處理閾值處理3 3、閾值的獲取、閾值的獲取 a.a.基本的全局閾值處

21、理，利用迭代算法求閾值基本的全局閾值處理，利用迭代算法求閾值 b.b.用用OtsuOtsu方法的最佳閾值處理，方法也稱為最大間差法。方法的最佳閾值處理，方法也稱為最大間差法。 c.c.可變閾值處理可變閾值處理 d.d.多變量閾值處理多變量閾值處理這里主要探討全局閾值處理，這里主要探討全局閾值處理，MatlabMatlab工具箱中提供工具箱中提供graythreshgraythresh的函數，該函數使用的函數，該函數使用OtsuOtsu方法來計算獲取閾值。方法來計算獲取閾值。閾值處理閾值處理4 4、T=T=graythreshgraythresh（f f） f f為輸入圖像，為輸入圖像，T T為

22、產生的閾值為產生的閾值 T= T=graythresh(fgraythresh(f);); T=T T=T* *255255T =T = 101 101 T= T=graythresh(fgraythresh(f);); g=im2bw(f,T); g=im2bw(f,T); figure,imshow(g) figure,imshow(g) figure,imshow(gfigure,imshow(g) )閾值處理原圖閾值處理原圖閾值處理閾值處理閾值處理效果圖閾值處理效果圖閾值處理閾值處理閾值處理效果圖閾值處理效果圖基于區域分割基于區域分割1 1、基于區域的分割討論以直接尋找區域為基礎的分割

23、技術、基于區域的分割討論以直接尋找區域為基礎的分割技術 主要方法有區域生長和區域分割與聚合主要方法有區域生長和區域分割與聚合 2 2、區域生長是根據預先定義的生長準則將像素或者子域組合為、區域生長是根據預先定義的生長準則將像素或者子域組合為最大區域的的過程。基本方法是從一組最大區域的的過程。基本方法是從一組種子種子點開始，將與種點開始，將與種子預先定義的性質相似的鄰域點添加到生長域中。子預先定義的性質相似的鄰域點添加到生長域中。 也就是一個有條件的膨脹過程，其要點有兩個，種子點的獲也就是一個有條件的膨脹過程，其要點有兩個，種子點的獲取，用以判斷的屬性。取，用以判斷的屬性。基于區域分割基于區域分

24、割以一個例子來說明區域生長：以一個例子來說明區域生長：下圖為一個焊縫的下圖為一個焊縫的X X射線圖像，要求把焊縫的區域分割出來。射線圖像，要求把焊縫的區域分割出來。基于區域分割基于區域分割 這個例子中，這個例子中，“種子種子”點的獲取可以直接把圖像中最亮的區點的獲取可以直接把圖像中最亮的區域作為域作為“種子種子”區域，將鄰域像素與種子區域的亮度差作為判斷區域，將鄰域像素與種子區域的亮度差作為判斷的依據。的依據。 MatlabMatlab中開發一個名為中開發一個名為regiongrowregiongrow的的M M函數來完成基本的區域生函數來完成基本的區域生長。該函數為長。該函數為 g,NR,S

25、I,TIg,NR,SI,TI=regiongrow(f,S,Tregiongrow(f,S,T) ) 輸入中：輸入中：f f為輸入圖像，為輸入圖像，S S為為“種子種子”，T T為閾值（標量時為全為閾值（標量時為全局閾值）局閾值） 輸出中：輸出中：g g為分割后的圖像，為分割后的圖像，NRNR為連通區域的數目，為連通區域的數目，SISI為一幅為一幅包含有種子點的圖像。包含有種子點的圖像。SISI也為一幅圖像，包含在連通性處理前，也為一幅圖像，包含在連通性處理前，通過閾值檢測的像素。通過閾值檢測的像素。基于區域分割基于區域分割MatlabMatlab程序程序 f= f=imreadimread(

26、區域生長分割法區域生長分割法. .tiftif);); g,NR,SI,TIg,NR,SI,TI=regiongrow(f,255,25);=regiongrow(f,255,25); imshow(f) imshow(f) figure,imshow(SIfigure,imshow(SI) ) figure,imshow(TIfigure,imshow(TI) ) figure,imshow(g) figure,imshow(g) NRNR NR = NR = 25 25基于區域分割基于區域分割區域生長種子點（區域生長種子點（SISI）圖）圖基于區域分割基于區域分割區域生長檢測點（區域生長檢

27、測點（TITI）圖）圖基于區域的分割基于區域的分割區域生長分割圖區域生長分割圖基于區域的分割基于區域的分割3 3、令、令R R表示整幅圖像區域，并選擇一個屬性表示整幅圖像區域，并選擇一個屬性Q Q。對。對R R進行分割依次將進行分割依次將它細分為越來越小的四象限區域，以便對任何區域都有它細分為越來越小的四象限區域，以便對任何區域都有Q Q（RiRi）=TRUE=TRUE。如果。如果Q Q（RiRi）=FALSE=FALSE，再將，再將RiRi細分為四個象限，以此類推。細分為四個象限，以此類推。 步驟：步驟： 1 1）對滿足）對滿足Q Q（RiRi）=FALSE=FALSE的任何區域的任何區域R

28、iRi分割為四個不相交區域。分割為四個不相交區域。 2 2）無法進一步分裂時，對）無法進一步分裂時，對Q Q（RjRjRk）=TRUE=TRUE的任意兩個鄰接區的任意兩個鄰接區域進行聚合。域進行聚合。 3 3）無法進一步聚合時停止操作。）無法進一步聚合時停止操作。基于區域的分割基于區域的分割a)a)被分割的圖像被分割的圖像 b b）對應的四叉樹）對應的四叉樹形態學分水嶺分割形態學分水嶺分割1 1、形態學分割將將其他方法中的許多概念進行了具體化，會產、形態學分割將將其他方法中的許多概念進行了具體化，會產生更穩定的分割結果，包括連接的分割邊界。生更穩定的分割結果，包括連接的分割邊界。 匯水盆地：對于一個特定的區域最小值，滿足如果把一點（看匯水盆地：對于一個特定的區域最小值，滿足如果把一點（看成水滴）放在任意位置上，水滴會下落到單一的最小值點這一條成水滴）放在任意位置上，水滴會下落到單一的最小值點這一條件的點的集合稱為該最小值的匯水盆地。件的點的集合稱為該最小值的匯水盆地。