1、第5章 基于機器視覺的測控技術,主要內容 機器視覺測控系統 數字圖像處理 圖像融合技術 典型應用 HALCON簡介,介紹機器視覺測控系統、數字圖像處理方法以及圖像信息融合術，簡要介紹應用作者研制的ZM-VS1300視覺智能測控系統平臺研制開發自己專用視覺測控系統方案，最后給出了作者研制的機器視覺測控系統典型應用案例,第5章 基于機器視覺的測控技術,第5章 基于機器視覺的測控技術,5.1 機器視覺測控系統,本節從機器視覺測控系統的基本概念出發，綜合機器視覺測控系統原理、技術和應用進行介紹 。 典型的視覺檢測系統的構成,4,5.1.1 機器視覺檢測系統硬件,光源 照度要適中 亮度要均勻 亮度要穩定

2、 不應產生陰影 照度可調,5.1.1 機器視覺檢測系統硬件,圖像傳感器 CCD電荷耦合器件攝像機（Charge Coupled Device）:感光像元在接收輸入光后，產生電荷轉移，形成輸出電壓。分為線陣和面陣兩種。性價比高，受到廣泛應用。 CMOS攝像機（Complementary Metal Oxide Semiconductor）:體積小、耗電少、價格低，在光學分辨率、感光度、信噪比和高速成像等已超過CCD,5.1.1 機器視覺檢測系統硬件,圖像傳感器 其他：飛點掃描器（Flying Point Scanner）、掃描鼓、掃描儀、顯微光密度計等。 遙感圖像獲取設備： 光學攝影：攝像機、多

3、光譜攝像機等； 紅外攝影：紅外輻射計、紅外攝像儀、多通道紅外掃描儀 等,5.1.1 機器視覺檢測系統硬件,圖像采集卡: 將視頻圖像以模擬電信號方式輸出 標準視頻信號：黑白視頻（RS-170、 RS-330、RS- 343、CCIR）、復合視 頻（NTSC、PALSECAM 制式）、分量 模擬視頻、S-Video等。 非標準視頻信號：非標準RGB信號、線掃描信號、 逐行掃描信號,5.1.1 機器視覺檢測系統硬件,圖像采集卡的設計 基于PCI總線的圖像采集卡的設計,5.1.1 機器視覺檢測系統硬件,基于USB總線的圖像采集卡的設計,5.1.2 機器視覺檢測系統軟件,近年來，機器視覺工作者在研究視覺

4、測控系統硬件的同時，也對機器視覺檢測處理的共性軟件進行了研究開發，出現了很多機器視覺測控系統組態軟件平臺，如最 具代表性的機器視覺軟件HALCON,5.1.3 視覺檢測系統應用,缺陷檢測 尺寸測量 PCB焊點檢測與分類,5.2 數字圖像處理,數字圖像處理技術是一門跨學科的前沿高科技，是在信號處理、計算機科學、自動控制理論及其他應用領域基礎上發展起來的邊緣學科，是認識世界、改造世界的重要手段。目前圖像處理與識別技術已應用于許多領域，成為21世紀信息時代的一門重要的高新科學技術,5.2.1 平滑和濾波,鄰域平均,一般實際情況中，考慮到運算的計算量，為33的模板,5.2.1 平滑和濾波,中值濾波法

5、將模板在圖中漫游，并將模板中心與圖中某個像素 位置重合； 讀取模板下各對應像素的灰度值； 將這些灰度值從小到大排成1列； 找出這些值里排在中間的1個； 將這個中間值賦給對應模板中心位置的像素,空域濾波實現,5.2.1 平滑和濾波,5.2.2 邊緣檢測,梯度算子 實際操作中，用下面式子取代微分,梯度算子 用標準的模板來計算梯度： （a）Roberts （b）Prewitt （c）Sobel,5.2.2 邊緣檢測,拉普拉斯算子 對一個連續函數，它在位置處的拉普拉斯值定義 如下,5.2.2 邊緣檢測,拉普拉斯算子 計算函數的拉普拉斯值也可以借助各種模板實現，它要求模板的中心像素系數應該是正的，而對應

6、中心像素的鄰近像素的系數應是負的，且它們之和應該是零,5.2.2 邊緣檢測,Marr-Hildreth邊緣檢測算子,5.2.2 邊緣檢測,此算子有無限長拖尾，在具體實現卷積時，應取一個NN的窗口 。同時，為了減小卷積運算的計算量，可用兩個不同帶寬的高斯曲面之差（DOG）來近似,Marr-Hildreth邊緣檢測算子,5.2.2 邊緣檢測,考慮到M-H算子的對稱性，可采用分解的方法來提高運算速度。即把一個二維濾波器分解為獨立的行、列濾波器,將方程改寫為 其中,5.2.2 邊緣檢測,Canny邊緣檢測法 Canny給出了評價邊緣檢測性能優劣的三個指標 （1）低失誤概率 （2）高定位精度 （3）對單

7、一邊緣僅有唯一響應 設n為任意方向，Gaussian函數在這個方向上的一 階導數為,5.2.2 邊緣檢測,Canny邊緣檢測法 當一個像素滿足以下三個條件時，則被認為是圖像的邊緣點： （1）該點的邊緣強度大于沿該點梯度方向的兩個相鄰像素的邊緣強度； （2）與該點梯度方向上相鄰兩點的方向差小于 45； （3）以該點為中心33的鄰域中的邊緣強度極大值小于某個閉值,5.2.2 邊緣檢測,Canny邊緣檢測法 Canny算子的算法實現 （1）對要處理的圖像I作高斯光滑，則新的圖像為 ，其次對求的方向導數 （2）細化M中所有的邊 （3）雙閾值操作,5.2.2 邊緣檢測,5.2.3 圖像分割,灰度閾值法

8、圖像閾值化處理的變換函數表達式為： 閾值的選取 間接閾值法 多閾值法 p尾法確定閾值,閾值的選取 間接閾值法 多閾值法 p尾法確定閾值 最大類間方差確定閾值 假定圖像的灰度區間為，設以灰度k為閾值將圖像分為兩 個區域，灰度為1k的像素和灰度為k+1L的像素分別屬 于區域A和B，則區域A和B的概率分別為,5.2.3 圖像分割,最大類間方差確定閾值 區域A和B的平均灰度為： 其中為全圖的平均灰度： 兩個區域的方差為,5.2.3 圖像分割,最大類間方差確定閾值 按照最大類間方差的準則：組間方差越大，則兩組 的差別越大。即k值越大，表明分割效果越好。從1至L 改變k，并計算類間方差，使式最大的k,即是

9、區域分割 的閾值。 最佳熵自動閾值法 峰谷法,5.2.3 圖像分割,區域生長,5.2.3 圖像分割,在實際應用區域生長法時需要解決3個問題： 選擇或確定1組能正確代表所需區域的種子像素； 確定在生長過程中能將相鄰像素包括進來的準則； 制定使生長停止的條件或規則,區域生長 實現步驟 對圖像進行光柵掃描，求出不屬于任何區域的像素。當尋找不到這樣的像素時結束操作。 把這個像素灰度同其周圍（4-鄰域或8-鄰域）不屬于其他區域的像素進行比較，若灰度差值小于閾值，則合并到同一區域，并對合并的像素賦予標記,5.2.3 圖像分割,從新合并的像素開始，反復進行步驟的操作。 反復進行步驟、的操作，直至不能再合并。

10、 返回步驟的操作，尋找新區域出發點的像素,5.2.3 圖像分割,分裂合并 利用分裂合并算法對圖像進行分割的步驟 生成圖像的四叉樹結構,5.2.3 圖像分割,根據經驗和任務需要，從四叉樹的某一層開始，合并滿足一致性屬性的共根的4個子塊。重復對圖像進行操作，直到不能合并為止。 考慮上一步中沒有合并的子塊，如果它的子節點不滿足一致性準則，將這個節點永久地分為4個子塊。如果分出的子塊仍不滿足一致性準則，繼續劃分，直到所有的子塊都滿足為止,5.2.3 圖像分割,由于人為地將圖像進行四叉樹分解，可能會將同一區域的像素分在不能按照四叉樹合并的子塊內，因此需要搜索所有的圖像塊，將鄰近的未合并的子塊合并為一個區

11、域。 由于噪聲影響或者按照四叉樹劃分區域邊緣未對準，進行上述操作后可能仍存在大量的小的區域，為了消除這些影響，可以將它們按照相似性準則歸入鄰近的大區域內,5.2.3 圖像分割,5.2.4 特征提取,線提取 Hough變換原理 在圖像空間XY里，設所有過點（x,y）的直線都滿足方程： 式中，p為直線的斜率，q為直線的截距。也可以寫成： 式中表示參數空間PQ中過點（p,q）的一條直線。圖像空 間到參數空間之間的轉換可以用圖表示,Hough變換原理 在實際使用哈夫變換時，要在上述基本方法的基礎上根據圖像具體情況采取一些方法以提高精度和速度，在實際中常用的是極坐標直線方程,5.2.4 特征提取,Hou

12、gh變換原理 圖像平面上的一個點就對應到參數平面上的一條正弦曲線 上。哈夫變換最適合于檢測較簡單曲線,5.2.4 特征提取,直線提取 以下是用Hough變換檢測直線的算法過程： 初始化變換域空間的數組，表示圖像對角線方向的像 素數，方向上角度初始化數目為90。 順序搜索圖像中所有的物體點，對每一個物體點，按 照變換域的各個點加1。 求出變換域的值大于一定閾值的點并記錄。 根據這些點在原空間內畫出直線,5.2.4 特征提取,骨架提取 中軸變換原理 具有邊界B的區域R的MAT是如下確定的：對每個R中 的點P，在B中搜尋與它最近的點。如果對P能找到多于1 個這樣的點（即有2個或以上的B中的點與P同時

13、最近）， 就可認為P屬于R的中線或骨架，或者說P是1個骨架點,5.2.4 特征提取,簡化的中軸變換算法：根據對二值圖像特點的分析，經過實驗，采用了一種簡單而且效果很好的算法。可以根據一個像素的8個相鄰點的情況來判斷該點是否應該刪除 內部點不能刪除； 孤立點不能刪除； 直線端點不能刪除； 如果P是邊界點，去掉P后，如果連通分量不增加，則P可以刪除,5.2.4 特征提取,每次對整幅圖像逐行掃描一遍，對于每個點（不包括邊界點），計算它對應在表中的索引，若為0，則保留，否則刪除該點。如果這次掃描沒有一個點被刪除，則循環結束，剩下的點就是骨架點，如果有點被刪除，則進行新的一輪掃描，如此反復，直到沒有點被

14、刪除為止,5.2.4 特征提取,可以根據上述的判據，事先做出一張表，每個元素不是0，就是1。根據某點（即目標點）的8個相鄰點的情況查表，若表中的元素是1，則表示該點可刪，否則保留。查表的方法是：設白點為1，黑點為0；位置關系如圖，按這樣組成的8位數去查表即可,輪廓提取與跟蹤 在目標跟蹤中，通過輪廓提取或輪廓跟蹤技術確定目標的輪廓參數。 輪廓跟蹤的最基本方法是：先根據某些嚴格的“探測準則”找出物體輪廓上的像素，再根據這些像素的某些特征用一定的“跟蹤準則”找出目標物體上的其他像素。這里介紹一種二值圖像的輪廓跟蹤。 首先找第一個邊界點像素：按照從左到右，從下到上的順序搜索，找到的第一個黑點一定是最左

15、下方的邊界點，記為A。點A的右、右上、上,5.2.4 特征提取,左上四個鄰點中至少有一個邊界點，記為B。從邊界點B開始，定義初始的搜索方向為左方； 如果左方的點為黑點，則為邊界點，否則搜索方向順時針旋轉45。這樣一直找到第一個黑點為止。然后把這個點作為新的邊界點，在當前的搜索方向上逆時針旋轉90， 繼續用同樣的方法搜索下一 個黑點，直到返回初始的邊 界點為止,5.2.4 特征提取,在一些工業生產的領域，被檢測的物體圖像的缺陷往往表現為破損形狀，這樣會引起物體的角點變化，這也可以稱為檢測缺陷的依據。圖像中的角點是指圖像中具有高曲率的點，它由物體邊緣曲率較大的地方或者多條邊緣的交點形成，角點也可以

16、作為物體識別、檢測和定位的一個重要特征,5.2.4 特征提取,角點提取,Harris法是角點檢測的常用方法，它的原理是利用水平、豎直兩個差分算子Ix、Iy, 求得如圖中m的4個元素值，并對圖像每個像素進行濾波，最后根據求得的角點陣cim的值來確定每個點是否為角點,5.2.4 特征提取,角點最直觀的印象就是在水平、豎直兩個方向上變化均較大的點，即Ix、Iy 都較大。 Ix、Iy是沿著水平和垂直方向的差分算子。這也是把角點和圖像上的邊緣已經平坦地區區分的依據。 邊緣：僅在水平、或者僅在豎直方向有較大的變化量， 即Ix、Iy只有其一較大。 平坦地區：在水平、豎直方向的變化量均較小，即 Ix、Iy都較

17、小,5.2.4 特征提取,紋理特征提取 相位編碼法 實部為： 虛部為,5.2.4 特征提取,紋理特征提取 多通道Gabor的特征提取法 假設每一通道濾波器的數字模型為： 其中， 為濾波器輸入的圖像， 和 分別為偶對稱和奇對稱的Gabor濾波 器,5.2.4 特征提取,紋理特征提取 多通道Gabor的特征提取法 實際操作中，我們用FFT來實現,5.2.4 特征提取,5.3 圖像融合技術,本節從圖像融合技術的概念出發，介紹3種具有代表性的圖像融合方法，分別是Laplacian算法、RoLP算法和小波變換方法,5.3.1 圖像融合概述,圖像融合的基本過程,設圖像元素的橫、縱坐標分別用，表示，則級間的

18、運算可以表示為： Laplacian金字塔技術: 對比度金字塔技術,5.3.2 Laplacian金字塔方法,融合算法 獲取每一路圖像的Gaussian金字塔序列； 獲得每一路圖像的Laplacian金字塔； Laplacian金字塔序列對應級融合：融合算子取對應 各級的“或”運算或加權平均等； 重構圖像,5.3.2 Laplacian金字塔方法,獲取每一路圖像的Gaussian金字塔序列； 獲得每一路圖像的對比度金字塔； 對比度金字塔序列對應級融合，融合對比度金字塔有以下標準法則即,5.3.3 RoLP金字塔方法,圖像的細節變化可以認為是對比度的變化。由于人類視覺系統對圖像的對比度變化較為敏

19、感，且不同圖像傳感器對同一目標所成圖像的對比度分布不同，融合不同圖像的細節可以設法通過融合對比度來實現，具體操作如下,式中 、 和 分別為待融合圖 像、融合圖像的對比度金字塔序列中的第L級。 重構圖像,5.3.3 RoLP金字塔方法,二維離散小波變換,5.3.4 二維小波變換方法,對于圖像處理，需要將連續小波變換與逆變換離散化，在此給出經典Mallat算法的離散形式,5.3.4 二維小波變換方法,圖像融合,5.3.4 二維小波變換方法,二維離散小波圖像重構,5.3.4 二維小波變換方法,小波變換的圖像融合應用,5.3.4 二維小波變換方法,本節介紹作者研制的電子槍扭彎曲特性視覺檢測系統、背投電

20、視會聚特性視覺測控系統，以及ZM-VS1300視覺測控系統平臺，通過其軟硬件系統的實現，充分展示基于機器視覺測控技術在工業測控領域的迅速發展和廣泛應用,5.4 典型應用,5.4.1 電子槍扭彎曲特性智能檢測系統,電子槍與其基座通過焊接 連成一個整體。但是，在焊接時 不可避免地會出現誤差，表現為 基座中心與電子槍中心不在同一 垂直線上，出現彎曲誤差；電子 槍與其基座將產生一定的旋轉角 度，這就是扭曲誤差,電子槍扭曲、彎曲檢測原理,5.4.1 電子槍扭彎曲特性智能檢測系統,圖像采集與圖像處理結構圖,5.4.1 電子槍扭彎曲特性智能檢測系統,扭彎曲檢測圖像處理算法 圖像預處理 基于改進遺傳算法的圖像

21、分割 M-H算子 簡化的中軸變換算法 改進的Hough算法,5.4.1 電子槍扭彎曲特性智能檢測系統,軟件技術 系統應用 軟件主界面 系統實物圖,5.4.1 電子槍扭彎曲特性智能檢測系統,系統工作原理圖,5.4.2背投電視會聚特性視覺檢測測控系統,圖像處理： 測控結果圖1 圖2,5.4.2背投電視會聚特性視覺檢測測控系統,系統工作原理ZM-VS1300平臺簡介 應用領域 圖像處理功能庫 系統操作,5.4.3 ZM-VS1300視覺智能測控系統平臺,HALCON是德國MVtec公司推出的圖像處理軟件，是世界公認具有最佳效能的機器視覺軟件。實際上是一套圖像處理庫，由1000多個各自獨立的函數，以及底層的數據管理核心構成,5.5 HALCON簡介,5.5.1 HALCON的基本結構,5.5.4 利用HALCON進行應用開發,C 下列的程序代碼說明了如何讀取一幅圖像，并且將其顯示 在