機器視覺產品研發方案綱要機器視覺產品研發方案綱要機器視覺產品研發方案綱要機器視覺產品研發方案劉風光(開發部目錄第一章概論(3§1.1機器視覺技術的發展(3§1.2機器視覺原理及系統構成(4§1.3機器視覺系統的行業應用(4§1.3機器視覺系統的應用現狀(5§1.4本文案章節安排(5第二章軸承生產線機器視覺檢測技術方案(6§2.1軸承視覺檢測系統歸納(6§2.2軸承圖像灰度變換及增強辦理(7§2.3未插入連接器軸承的缺點檢測(8§2.4插入連接器軸承的缺點檢測(13§2.5軸承潤滑油注入量的檢測(15§2.6軸承視覺檢測系統總結(16第三章智能交通車牌鑒識技術方案(17§3.1車輛牌照鑒識系統的發展及現狀(18§3.2車牌鑒識系統工作原理與流程(18§3.3車牌定位算法的解析與設計(19§3.4車牌字符切割算法設計(25§3.5車牌字符鑒識算法設計(27§3.6車牌鑒識系統方案總結(32第四章總結與展望(33參照文件(35第一章歸納§1.1機器視覺技術的發展機器視覺是指利用攝像機和計算機取代人類視覺對目標進行鑒識、追蹤和丈量等。它是一個相當新且發展十分迅速的研究領域,并已成為計算機科學的重要研究領域之一。機器視覺是在20世紀50年代從統計模式鑒識開始的,當時的工作主要集中在二維圖像解析和鑒識上。20世紀60年代,Roberts(1965經過計算機程序從數字圖像中提拿出諸如立方體、楔形體、棱柱體等多面體的三維構造,并對物體形狀及物體的空間關系進行描述。到了70年代,已經出現了一些視覺應用系統。70年代中期,麻省理工學院(MIT人工智能(AI實驗室正式開設“機器視覺”(MachineVision課程,由國際有名學者B.K.P.Horn教授解說.同時,MITAI實驗室吸引了國際上好多有名學者參加機器視覺的理論、算法、系統設計的研究,DavidMarr教授就是此中的一位.他于1973年應邀在MITAI實驗室領導一個以博士生為主體的研究小組,1977年提出了不一樣于"積木世界"解析方法的計算視覺理論(computationalvision,該理論在80年代成為機器視覺研究領域中的一個十分重要的理論框架.1977年提出不一樣于“積木世界”解析方法的計算視覺理論(computationalvision。人們對機器視覺的全世界性研究高潮基本上是從20世紀80年代開始的,到了80年代中期,機器視覺獲取了蓬勃發展。20世紀90年代,跟著光電自動化和計算機技術的高速發展,利用機器視覺的迅速性、可重復性、智能化和可現場性的特色,機器視覺在汽車零配件批量加工的尺寸檢查和自動裝置的完好性檢查、電子裝置線的元件定位、IC上的字符鑒識、PCB電路板的檢驗等工業場合獲取了詳細的應用。§1.2機器視覺原理及系統構成機器視覺系統平時由光源部分、CCD圖象傳感器、圖象收集卡、計算機和圖像解析辦理軟件構成。如圖1所示。圖1-1機器視覺系統構成經過CCD圖像傳感器收集圖像(目標,把目標的三維圖像收集為二維圖像,經過光信號轉變為電信號,即所謂的模擬信號;再由圖像收集卡把模擬信號轉變為數字信號,供計算機辦理。一般來說,機器視覺系統為了防備環境自然光或燈光對其工作狀態的影響,光源應亮度大、亮度可調、均勻性好及穩固性高,以克制外界環境各種光對圖像質量產生較大影響而以致機器視覺系統的故障或誤判行為。常用的CCD圖像傳感器有兩種形式,一種為線性CCD,一種為面陣CCD。基于PC機的機器視覺系統,圖像收集卡擁有圖像信號接收與A/D變換、協調攝像機進行同步或異步重置拍攝和準時拍攝,經過PC總線進行高精度數據傳輸,由圖像解析辦理軟件達成對圖像的解析和理解。§1.3機器視覺系統的行業應用機器視覺系統可以提高生產的柔性和自動化程度。在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來代替人工視覺;同時在大量量工業生產過程中,用人工視覺檢查產質量量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。并且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術。正是因為機器視覺系統可以迅速獲取大量信息,并且易于自動辦理,也易于同設計信息以及加工控制信息集成,所以,在現代自動化生產過程中,人們將機器視覺系統廣泛地用于工況監察、成品檢驗和質量控制等領域。機器視覺系統的應用主要分布在以下幾個行業。1.電子與電氣制造(包含半導體;2.機械工程;3.汽車工業;4.食品、飲料、藥品和化妝品;5.其余(包含木材加工,紙漿和紙產品,化工,紡織品等等如圖6所示。圖1-2機器視覺系統的主要應用領域在電子制造領域的應用主若是指引機器人進行高精度PCB定位和SMT元件放置,還有表面檢測。在機械領域主若是部件鑒識和在線質量檢測,經過反響控制來提高產品的產量和成品率。在汽車領域主若是裝置的在線檢測和零部件的離線檢測,還有表面檢測。在食品飲料領域主要有包裝檢測和分類鑒識方面的應用。在紙產品領域主若是表面檢測和均勻度檢測,同時優化生產流程。在醫藥領域主若是包裝檢測和標簽鑒識。其余領域主若是部件鑒識和表面檢測方面應用。§1.3機器視覺系統的應用現狀機器視覺自起步發展到此刻,已有15年的發展歷史。應該說機器視覺作為一種應用系統,其功能特色是跟著工業自動化的發展而逐漸完美和發展的。當前全世界整個視覺市場總量大概在60~70億美元,主要集中在歐美和日本,在中國大概有1~2億美元的市場。依照我國的GDP增添速度8%來說,此中工業增添的份額為20%~30%,依照守舊的預計,視覺的增添速度不該低于10%~15%。在外國,機器視覺的應用普及主要表此刻電子電氣制造、機械工程、汽車工業以及食品醫療等行業。此中大概40%~60%都集中在電子電氣制造和汽車行業。而在中國,因為機器視覺家產起步較晚,當前尚處于上升期,市場還未飽和與成熟。跟著國內配套基礎建設的完美,技術、資本的累積,各行各業對采納圖像和機器視覺技術的工業自動化、智能化需求開始廣泛出現,國內相關高等院校、研究所以及企業近幾年在圖像和機器視覺技術領域進行了踴躍考慮和英勇的試試,逐漸開始了工業現場的應用。其主要應用于制藥、印刷、PCB板、瓶口檢測等領域。但是,這些應用大多集中在中低端市場,真實高端的應用還極少。所以,以上相關行業的應用空間還比較大。§1.4本文章節安排本文的構造安排以下:第一章:歸納。簡要介紹了機器視覺的原理、發展以及應用。大概解析了機器視覺系統的行業應用以及市場需求等。第二章:軸承生產線視覺檢測技術方案。是作者當前正在研究的一種機器視覺產品。方案中提出一種適用于軸承自動化生產線的軸承缺點視覺檢測系統。作為機器視覺產品的一個事例,此章介紹了經過對軸承圖像進行增強、濾波、邊沿檢測、切割、丈量以及般配等辦理達成軸承視覺檢測系統的設計。第三章:智能交通車牌鑒識技術方案。也是作者正在研究的課題,方案中詳細描述了車牌鑒識算法各個構成部分,包含車輛圖片的預辦理、車牌定位、車牌字符切割以及字符鑒識等算法。當前,固然車牌鑒識技術已經十分成熟,但也存在好多不足之處。基于此作者對該技術進行了商討,設計一套完好的算法方案。第四章:總結與展望。是本文的結束部分,總結了本文方案的特色以及需要改進的地方,并談論了機器視覺產品的開發及其將來的發展。第二章軸承生產線視覺檢測技術方案§2.1軸承視覺檢測系統歸納當前,國內大多數軸承生產廠家在軸承缺點檢測方面仍舊靠人工來達成,占用大量人力資源,且檢測效率低、成本高、易于引入人為偏差。跟著現代制造業的發展,傳統的檢測技術已不可以滿足其需要,現代制造重申及時、在線、非接觸檢測,因此對軸承的缺點檢測提出了愈來愈高的要求。為了適應軸承制造業大量量生產、質量要求嚴格、檢測任務深重的特色以及自動化流水線作業的要求,需要研究新式的產品檢測技術。機器視覺檢測技術擁有非接觸、速度快、檢驗效率高、現場抗攪亂能力強等突出的長處,能很好地滿足軸承自動化生產的需要。本文提出了基于機器視覺的軸承缺點檢測方案。軸承缺點機器視覺檢測系統主要由CCD傳感器、光學系統、圖像收集單元、圖像預辦理單元、軸承圖像切割、定位、計算單元以及機械運動平臺等部分構成。見圖2-1。CCD攝像頭、圖像收集卡屬于軸承缺點檢測系統的前置裝置。負責軸承圖像的收集工作,CCD攝像頭與收集卡的利害直接影響系統的檢測精度以及性能。圖像預辦理單元主要對軸承圖像進行灰度變換、圖像增強、濾波去噪等辦理,是后續軸承圖像切割、定位、計算的前提。軸承圖像切割、定位以及計算單元是本章的要點,也是軸承缺點檢測系統核心技術,主要包含軸承滾珠、連接器等圖像的切割、般配以及軸承圖像的定位、圖像相對轉角的計算等。圖2-1軸承缺點視覺檢測系統被檢軸承在機械運動工作平臺上,在計算機的控制下,以必定的速度和節拍在傳輸帶上運動,軸承在光源的照耀下,其影像被投射到光學成像系統,經透鏡放大聚焦在CCD的光敏陣列面上,CCD攝像頭將其接收的光學影像變換成視頻信號輸出到圖像收集卡,圖像收集卡再將視頻信號變換成數字圖像信息供計算機辦理。計算機運用各種算法對圖像數據進行預辦理、軸承圖像切割、定位以及計算等,最后判斷所檢軸承能否為合格品,為合格品者則計算并輸出圖像的相對轉角,由機械執行機構(機械臂依據此轉角達成軸承生產的下一工序。本方案是針對軸承的自動化生產而設計的,適用于軸承生產自動化妝配線。對軸承的缺點檢測共分三項,依據軸承生產工序,第一對未插入連接器軸承的檢測檢,測內容主若是判斷滾珠能否缺乏以及各滾珠之間的夾角能否相等?假如滾珠完好并且各滾珠之間的夾角均相等,判斷為合格品,反之為不合格品。關于合格品則計算該軸承圖像的相對轉角,生產設備依據該轉角使用機械臂插入軸承連接器,而后再對插入連接器的軸承進行缺點檢測。檢測的內容主若是判斷滾珠之間的連接器能否出現斷裂。假如未檢測到連接器斷裂則判斷為合格品,反之為不合格品。關于合格品則計算該軸承圖像的相對轉角,生產設備依據該轉角使用機械臂對軸承進行注入潤滑油。最后對注入潤滑油后的軸承再進行缺點檢測,檢測內容主若是判斷輸出潤滑油注入量能否滿足要求。假如檢測不滿足要求則計算軸承圖像的相對轉角,生產設備依據該轉角使用機械臂再此注入潤滑油。§2.2軸承圖像灰度變換及增強辦理本方案使用的是基于灰度圖像的軸承缺點檢測算法。這是考慮到灰度圖只含有亮度信息,比彩色圖像簡單更加易于使用;且灰度圖的每個像素只要用一個字節(8bit表示,辦理信息量小、速度快,占用的儲存空間小。依據系統收集設備的不一樣,收集得到的原始圖像可能是彩色圖像或灰度圖像,針對本算法,從前一定將車輛圖像轉變為灰度圖。為了除掉實質應用中環境要素的不利影響,還需要對原始圖像進行去除噪聲和增強圖像質量等辦理。對圖像進行灰度變換經過公式2-1實現的,式中R為紅色重量、G為綠色分量、B為藍色重量。BGRY114.0587.0299.0++=公式2-1圖像灰度化以后,下一步工作就是對圖像進行增強辦理。軸承缺點檢測的精度與獲取圖像的質量有著很大的關系。因為原始圖像遇到各種條件限制和隨機攪亂,一定在視覺的初期階段進行灰度校訂、躁聲過濾等圖象增強辦理。當前,常用的圖像增強方法主要有灰度拉伸、直方圖均衡化、光滑辦理以及銳化辦理等。因為需要獲取豐富的軸承邊沿細節信息,所以本方案采納一階微分圖像增強辦理方法。在圖像辦理中,一階微分是經過梯度法來實現的。關于函數,(yxf,在其坐標,(yx上的梯度是經過一個二維列向量來定義的:???????????????=??????=?yfxfGGFyx公式2-2該向量的模為:[]21222122????????????????+???????=+=?yfxfGGfyx公式2-3梯度辦理常用于工業檢測、輔助人工檢測缺點,也許是更加通用的自動檢測的預辦理等。常用的梯度增強算子有Robert算子、Sobel算子、Prewitt算子等,本文采納的是Robert交織算子。Robert算子擁有克制躁聲、銳化邊沿等功能。使用該算子對軸承圖像進行增強辦理,圖象的比較度增強、輪廓清楚、界限灰度跳變明顯,包含豐富的軸承邊沿信息。便于下一步對軸承圖像進行切割、定位、計算等辦理。§2.3未插入連接器軸承的缺點檢測在軸承生產過程中,對未插入連接器的軸承進行缺點檢測是很要點的一步。它影響到下一步連接器的插入,潤滑油的注入等。對未插入連接器軸承的檢測內容主若是判斷軸承內滾珠能否缺失;滾珠之間的夾角能否相等;假如滾珠出缺失或各滾珠之間夾角不相等則判斷為不合格品,反之為合格品,假如為合格品則輸出圖像相對旋轉角度。操作設備(機械臂依據此轉角插入滾珠之間的連接器。a原灰度圖象b.Canny邊沿檢測圖2-1-a是攝像頭背光狀況下收集到的未插入連接器軸承圖像。判斷軸承內滾珠能否缺失,前提是將滾珠圖像從整個圖像中切割出來,而后經過計算滾珠圖像的個數來確定。第一利用Robert交織算子對軸承圖象進行增強辦理,而后進行邊沿檢測。當前常用的邊沿檢測算子好多,主要有Roberts檢測算子、Sobel檢測算子、Prewitt檢測算子、Laplacan二階檢測算子、LoG二階檢測算子以及Canny邊沿檢測算子等。以上算子各有不一樣的特色,經過屢次實驗發現Canny算子對軸承圖象邊沿的檢測成效最為明顯。見圖2-1-b。Canny邊沿檢測算法是高斯函數的一階導數,是對信躁比與定位之乘積的最優化迫近算子。該算法的特色是1.用高斯濾波器光滑圖像;2.用一階偏導的有限差分來計算梯度的幅值和方向;3.對梯度幅值應用非極大值克制;4.用雙閾值算法檢測和連接邊沿。經過對軸承圖象進行Canny運算,我們獲取了完好的軸承圖象邊沿。見圖2-1-b。判斷軸承內滾珠能否缺失,只對軸承圖象進行邊沿檢測還不夠,還一定將滾珠從軸承邊沿圖象中分別出來。觀察該軸承邊沿圖象,可以發現軸承的內圓和外圓的邊沿都十分明顯。假如將原圖象中兩個外圓之間以及兩個內圓之間的像素和邊沿像素去掉,那么就可以獲取一個個不連續的滾珠圖象。依照此假想,第一要獲取外圓圖象(2個圓及內圓圖象(2個圓的邊沿信息,而后去掉圓內像素以及圓的邊沿。當前,對圓的檢測主要采納Hough變換方法。Hough變換適合檢測圖象中的某些給定形狀的曲線并用參數方程描述出來,其主要長處是,檢出曲線的能力較少受曲線中的斷點等攪亂的影響,是一種迅速形狀檢測方法。Hough變換是對圖象進行坐標變換,使之在另一坐標空間的特定地址上出現峰值,檢出曲線既是找出峰值的地址問題。所以很簡單檢出軸承圖象的內外圓邊沿。見圖2-2-a。使用Hough變換獲取軸承圖象的內外圓邊沿后,再去掉兩個外圓之間以及兩個內圓之間的像素和邊沿像素,就可以切割出一個個不連續的滾珠圖象。見圖2-2-b。考慮到切割后的滾珠二值圖象各像素之間存在不連續的狀況以及各個滾珠圖象可能出現粘連影響滾珠個數、各滾珠之間夾角的計算等狀況,有必需對滾珠圖象進行數學形態學運算辦理。圖2-2aHough變換b.滾珠切割形態學圖像辦理是圖像辦理的一個重要研究領域,數學形態學的應用幾乎涵蓋了諸如噪聲克制、特色提取、邊沿檢測、圖像分割、文字鑒識等圖像辦理幾乎全部的領域。數學形態學辦理的對象主若是二值圖像,數學形態學基本運算還可以構造好多有效的圖像辦理與解析方法,此中最基本的形態運算是腐化和膨脹。依照定義,二值圖像上目標界限點是指位于目標內部、且最罕有一個鄰點位于目標以外的像素。若用B代表構造元素,A代表圖像會集,則用構造元素B對圖像會集A進行膨脹和腐化運算分別定義為:膨脹:}&,|{BbAabaxxBA∈∈+==⊕關于部分公式2-4腐化:BAΘ},(|{BbAbxx∈∈+=關于每一個公式2-5腐化擁有使目標減小、目標內孔增大,除掉外面孤立噪聲的成效,膨脹則是將圖像中與目標物體接觸的背景點合并到物體中的過程,結果使目標增大、孔洞減小、可填補目標中的孔洞,使其形成連通域。圖像A被構造元素B膨脹,膨脹后A的形狀與構造元素B的形狀有很大關系,相同,腐化的結果也與構造元素的采納相關,采納不一樣的構造元素B,可能會獲取截然相反的膨脹或腐化結果。本方案采納先膨脹后腐化的方法對滾珠圖象進行形態學操作。運算結果如圖2-3-a所示,可以看到經過形態學辦理后滾珠圖像輪廓較為清楚,滾珠邊沿像素較為密集,滾珠之間可能出現的粘連狀況也得有效的改進,更有益于滾珠個數的計算以及各滾珠之間夾角的計算等。滾珠圖象形態學辦理再經過連通地區標記,即可獲取每個滾珠圖像的大小、地址和像素的個數。滾珠個數的確定是依據滾珠圖像的性質對其進行有效性鑒識,而后對再有效的滾珠圖像進行計數,得出滾珠個數。各滾珠之間的夾角確定:先求出滾珠圖象和內外圓圖象之間的交織點,而后分別交織連接這些交織點,如圖2-3-b所示,即可計算出滾珠之間的夾角。圖2-3a形態學操作b夾角計算經過以上過程計算出滾珠個數以及滾珠之間夾角,就可以判斷被檢軸承能否為合格產品?假如檢出的軸承滾珠個數與標準軸承滾珠個數相等以及檢出各滾珠夾角均相等則判斷為合格品。關于合格品則計算該圖像的相對轉角,生產設備依照此轉角使用機械臂插入滾珠之間的連接器。圖像相對轉角的計算較為復雜,涉及圖像相似度計算、模板般配以及圖像旋轉計算等,是本方案側重解決的問題之一。詳細方法是:以一幅標準軸承圖像做為檢測模板,被檢軸承圖像旋轉必定角度后與該模板進行相似度比較,取被檢圖像與模板圖像相似度最大時候的角度作為該圖像旋轉角度。因為內外圓圖像對求取圖像相對旋轉角度有影響,所以需要把被檢圖像以及標準圖像中的內外圓圖像去掉。這樣軸承圖像中只包含滾珠信息,圖像的相似度計算量以及對圖像進行旋轉運算量相對來說要小好多。其余涉及圖像相似度的計算也相對簡單一些。在進行圖像相似度比較時候,因為要考慮圖像旋轉、縮放、噪聲等要素的影響,采納傳統的模板般配算法不可以獲得優異的成效。所以,本方案采納一種計算圖像歸一化轉動慣量的方法對圖像特色進行般配,在對軸承圖像的般配上可以獲得很好的成效。在數字圖像辦理中,可以將二維數字化灰度圖像(MN看作是二維XOY平面上MN?個像素點(,xy,每個像素點的灰度值為(,fxy。依據物理學上重心的看法,定義灰度圖像(,fxy的質心(,xycc以下:11111111(,(,,(,(,MNMNxyxyxyMNMNxyxyxfxyyfxyccfxyfxy========??==∑∑∑∑∑∑∑∑公式2-6圖像環繞質心(,xycc的轉動慣量為21122211(,(,(,(,(((,MNxyxyxyMNxyxyJccxyccfxyxcycfxy====??=-????=-+-?∑∑∑∑公式2-7依據圖像的質心和轉動慣量的定義,可給出灰度圖像繞質心(,xycc的歸一化轉動慣量NMI為:2221111(((,(,MNxyxyMNxyNMIxcycfxyfxy=====??-+-??=∑∑∑∑公式2-8此中,11(,MNxymfxy===為∑∑圖像質量,代表圖像全部像素灰度之和。仿真實驗表示,同一張圖像無論進行如何的旋轉、縮放、平移操作,其NMI值的變化都應該小于1%,也就是說,假如比較兩張圖像的NMI值,就可以大概獲取其相似度的值。為了計算兩張圖像的旋轉角度,可以采納的一種方法是旋轉圖像的方法,對此中一幅圖像旋轉指定角度以后再與其余一張圖像進行相似度比較,最后取相似度最大時候的角度作為旋轉角度。因為圖像旋轉要做浮點數運算,所以這類方法的計算量比較大,假如視頻檢測的速度很快,系統的辦理速度就很難達到及時。本方案采納一種完好不一樣的方法,是基于傅立葉變換的辦理方法(頻域辦理方法,相關于上述方法來說,擁有速度快、計算量小和正確度高的特色,可以滿足軸承檢測的及時需要。傅立葉變換在圖像辦理領域有側重要的地位,因為平移、旋轉、縮放等變形在頻域中都有對應變換,所以完好可以利用傅立葉方法在頻域中進行各種圖像辦理。它擁有對圖像噪聲的不敏感性,計算效率上的高性能等長處。基于頻域的圖像的一個經典辦理方法是相位相關算法,可以用來計算兩張圖像的相對位移。依據傅立葉變換的平移不變性,關于兩張圖像1I和2I,假如只存在平移(xt,yt,即滿足:21(,(,xyIxyIxtyt=--公式2-9那么它們相對應的傅立葉變換1F和2F滿足以下關系:2(21(,(,xyjutvtFuveFuv-+=公式2-10π也就是說,這兩張圖像在頻域中擁有相同的幅值,不過相位不一樣。它們之間的相位差可以等效的表示為互功率譜的相位:*(12*12(,(,(,(,xyutvtFuvFuveFuvFuv+=公式2-11這里*是復共軛運算符。對互功率譜的相位進行傅立葉逆變換(見公式2-12,就可以獲取在位移處(,xytt獲得沖擊函數的最大值。(((,xyutvtxyIFTextyt--公式2-δ12+=基于頻域的相位相關法和直接法的空域相關法對比,這類方法不需要搜尋圖像空間,除掉首尾的傅立葉變換和傅立葉逆變換外,時間開支為(1O;而因為存在迅速傅立葉變換,整個算法的效率獲取極大的提高,完好可以做到及時。假如一張二維圖像2(,fxy是由圖像1(,fxy經過平移00(,xy和旋轉角度0θ而獲取的,21000000(,(cossin,sincosfxyfxyxxyyθθθθ--+-公式=+2-13依據傅立葉變換的性質可以獲取:002(210000(,(cossin,sincosjxyFeFπεηεηεθηθεθηθ-+=?+-+公式2-14設1M和2M分別為1F和2F的幅值:110000(cosin,sincosMFsεθηθεθηθ-+,22(,MFεη==+那么:210000(,(cossin,sincosMMεηεθηθεθηθ-+公式2-15=+很明顯它們的幅值是相同的,不過做了一個旋轉變換。因為直接求取旋轉角度比較困難,所以再對式7作極坐標變換,使旋轉變為簡單的平移:210(,(,MMρθρθθ=-此中ρ=,1tan(/-θηε=,這樣使用式2-11的互相關函數可以很簡單獲取旋轉角度0θ。依據上述算法,圖像旋轉角度的計算流程可以以以下圖所示:圖2-4圖像旋轉角度計算流程圖中的傅立葉變換使用迅速傅立葉變換法方。當前該變換算法比較成熟,且擁有計算量小、性能穩固等長處。§2.4插入連接器軸承的缺點檢測因為滾珠與連接器之間配合可能存在偏差,使用機械臂插入連接器時,可能會出現連接器斷裂狀況。所以有必需對插入連接器的軸承再進行缺點檢測,主要檢測內容是滾珠之間的連接器能否出現斷裂。假如未檢測到連接器斷裂以為是合格品,反之為不合格品。關于合格品則計算該軸承圖像的相對轉角,生產設備依照該轉角對軸承注入潤滑油。圖2-4a原灰度圖象b.Canny邊沿檢測圖2-4-a是攝像頭背光狀況下收集到的插入連接器軸承圖像。判斷軸承內連接器能否出現斷裂,前提是將連接器圖像從整個圖像中切割出來,而后再對連接器圖像進行特色檢測來確定。不失一般性,第一利用Robert交織算子對軸承圖象進行增強辦理,而后使用Canny邊沿檢測算子獲取軸承圖像的邊沿信息。關于Canny算子在§2.3節中已有介紹,這里不再贅述。經過對軸承圖象進行Canny邊沿檢測運算,我們獲取了完好的軸承邊沿圖像。見圖2-4-b。為了把連接器圖像從原圖像中分別出來,一定先把內外圓圖像去掉。而如何檢測內外圓圖像,成為這個步驟中的要點。因為插入連接器以后的圖像擁有更復雜的構造和更多的邊沿信息,利用中上一節的方法來檢測內外圓明顯是很難實現的。所以本節對內外圓檢測的方法做了特其余辦理。第一依據邊沿檢測的方法獲取外圓的外層圖像,而后依據上一節Hough變換檢測的內外圓獲取的內外圓大小的比率(半徑的比率,經過該比率可獲取其余3個圓的地址。軸承圖像的內外圓檢出后,就可以把內外圓之間的圖像部分去除掉,從而獲取連接器和滾珠相連的圖像,見圖2-5-a所示。連接器及滾珠切割后再對圖像進行形態學膨脹、腐化辦理。辦理結果見2-5-b。圖2-5a連接器及滾珠切割b形態學辦理對軸承圖像進行切割、形態學辦理后,再進行聯通地區標記,這樣可以獲取連接器和滾珠之間空白部分圖像的性質。依據空白部分圖像的性質(地址、大小、像素個數、長寬比等,即可判斷出連接器能否出現裂紋。對包含連接器和滾珠的圖像,按上節圖像近似度計算以及旋轉運算的方法與標準圖像進行比較,以計算出圖像的旋轉角度。生產設備再依據此轉角使用機械臂對軸承注入潤滑油。§2.5軸承潤滑油注入量的檢測軸承插入連接器并檢驗合格后,生產設備依據計算出的圖像相對轉角使用機械臂為軸承注入潤滑油。因為是自動化生產,潤滑油的注入量可能出現注入不均勻或注入不完好的狀況,所以有必需對注入潤滑油的軸承再次進行缺點檢測。主要檢測潤滑油注入量的狀況,判斷軸承中潤滑油注入量能否滿足要求。假如檢測不滿足要求則計算軸承圖像的相對轉角,生產設備依據該轉角使用機械臂再次注入潤滑油,直到滿足注入量要求為止。圖2-6a原灰度圖象b.二值化辦理圖2-6-a是攝像頭正光狀況下收集到的未注入潤滑油的軸承圖像。因為潤滑油分布于軸承內外環之間,內外環之間空隙被覆蓋的程度與潤滑油的注入量有很大的關系。所以經過判斷軸承圖像二值化后大圓和小圓之間的暗影部分面積即可得知潤滑油的注入狀況。假如暗影面積將整個地區都填滿,以為潤滑油注入量比較適合。反之則以為注入量不吻合要求。假如潤滑油注入量不滿足要求則計算該圖像的相對旋轉角度,生產設備依據此轉角定位,重新注入潤滑油。前面提到對軸承圖像進行二值化辦理。所謂二值化,就是將原始的灰度圖像轉變為二值圖像,使圖像內僅有灰度值為0(黑和灰度值為1(白的點的過程。因為軸承圖像的邊沿信息關于最后的鑒識結果起著要點的作用,所以在對軸承圖像二值化辦理時一定要盡可能地保留軸承圖像的幾何特色。設f(i,j表示圖像在(i,j地址處的灰度值,二值化過程可表示為公式2-16:Tf(i,jTf(i,jf(i,j?????≤≥=01公式2-16此中T成為二值化的閾值,如何選擇合適的閾值T是二值化的要點。當T值過小時,可能會增添好多虛假信息,而T值過大又可能會扔掉實用信息。比較常有的閾值切割法有全局閾值法、局部閾值法和動向閾值法等。此中全局閾值法算法簡單,關于目標背景分別明顯的圖像成效優異,但是一旦圖像有光照不均、噪聲攪亂狀況時二值化成效明顯降低;局部閾值法考慮了鄰域點對觀察點的影響,但實現速度較慢,且關于復雜或攪亂多的圖像難以應用;而動向閾值法是一種自適應的二值化方法,充分利用了像素自己及其鄰域的灰度變化特色,本方案采納后者。經過對軸承圖像進行自適應閥值后辦理后,可獲取清楚的軸承二值圖像,見圖26-b。而后依據軸承圖像二值化后大圓和小圓之間的暗影部分面積來判斷潤滑油的注入狀況。假如暗影面積沒有將整個地區都填滿,則以為潤滑油注入量不適合,需要計算軸承圖像的相對轉角。旋轉角度的計算一定在軸承二值化后進行。第一依據背景的灰度,把背景部分去掉,而后對剩下部分的圖像進行二值化,這樣因為物體反光的不一樣,以致滾珠與內外圓和連接器的灰度不一樣,二值化就可以把滾珠圖像從四周物體中分別出來。將切割后滾珠圖像與標準化的滾珠圖像進行比較,再采納§2.3受騙算旋轉角度的方法,就可以計算出相對旋轉角度。§2.6軸承視覺檢測系統總結本章介紹了軸承視覺檢測系統的各個檢測步驟以相關的檢測算法等,現將本方案各個檢測步驟及其檢測方法總結以下:1對未插入連接器軸承的檢測檢,測內容主若是判斷滾珠能否缺乏以及各滾珠之間的夾角能否相等?假如滾珠完好并且各滾珠之間的夾角均相等,判斷為合格品,反之為不合格品。關于合格品則計算該軸承圖像的相對轉角,生產設備依據該轉角使用機械臂插入軸承連接器;詳細步驟以下:a.對原軸承灰度圖像進行邊沿增強,而后利用Canny算子獲取邊沿二值圖像。b.觀察邊沿圖像,應該可以看到軸承的內圓和外圓的邊沿都很明顯。采納Hough變換的方法可以獲取外圓圖像(2個圓和內圓的圖像(2個圓。從原圖像中把2個外圓之間的像素和邊沿像素去掉,從原圖像中把2個內圓之間的像素和邊沿像素去掉,就可以獲取一個個不連續的滾珠圖像。c.對滾珠圖像進行2值化后進行腐化和膨脹操作,最后經過連通地區標記,可以獲取每個滾珠圖像的大小、地址和像素的個數。d.依據滾珠圖像的性質對其進行有效性鑒識,對有效的滾珠圖像進行計數,這樣就可以獲取原圖像中滾珠的個數。e.依據第2步和第3步的圖像,可以求得滾珠圖像和內外圓圖像之間的交織點。分別交織相連這些交差點,即可以獲取滾珠之間的夾角。f.依據滾珠個數和滾珠之間夾角,可以判斷此軸承能否為合格產品。g.因為內外圓圖像對求取圖像相對旋轉角度有影響,所以在原圖像中和標準圖像中都要把內外圓圖像去掉。最后用來求取旋轉角度的圖像只有滾珠的圖像。圖像旋轉角度的計算采納§2.3節介紹的方法。對插入連接器的軸承進行缺點檢測。檢測的內容主若是判斷滾珠之間的連接器能否出現斷裂。假如未檢測到連接器斷裂則判斷為合格品,反之為不合格品。關于合格品則計算該軸承圖像的相對轉角,生產設備依據該轉角使用機械臂對軸承進行注入潤滑油。詳細步驟以下:a.為了把連接器圖像從原圖像中分別出來,就一定第一把內外圓圖像去掉,而如何檢測內外圓圖像,成為這個步驟中的要點。因為插入連接器以后的圖像擁有更復雜的構造和更多的邊沿信息,利用§2.3節的方法來檢測內外圓明顯是很難實現的。b.這里可以依據第一個步驟獲取的數據,在第2個步驟中進執行用。即第一依據邊沿檢測的方法獲取外圓的外層圖像,而后依據第一個步驟中獲取的內外圓大小的比率(半徑的比率,可以獲取其余個圓的地址。這樣就可以把內外圓之間的圖像部分去除掉,從而獲取連接器和滾珠相連的圖像。c.對剩下的圖像進行聯通地區標記,這樣可以獲取連接器和滾珠之間空白部分圖像的性質。d.依據空白部分圖像的性質(地址、大小、像素個數、長寬比等,可以判斷出連接器能否有裂紋。e.對包含連接器和滾珠的圖像,依照§2.3節介紹的方法與標準圖像進行比較,以計算出旋轉角度的大小。3對注入潤滑油后的軸承再進行缺點檢測,檢測內容主若是判斷輸出潤滑油注入量能否滿足要求。假如檢測不滿足要求則計算軸承圖像的相對轉角,生產設備依據該轉角使用機械臂再此注入潤滑油。詳細檢測方法是:依據二值化以后大圓和小圓之間的暗影部分面積來判斷,假如暗影面積將整個地區都填滿,則以為潤滑油注入量比較適合。圖像的旋轉角度的計算一定在二值化后進行。第一依據背景的灰度,把背景部分去掉,而后對剩下部分的圖像進行二值化,這樣因為物體反光的不一樣,以致滾珠與內外圓和連接器的灰度不一樣,二值化就可以把滾珠圖像從四周物體中分別出來。分別出滾珠圖像以后,將其與標準化的滾珠圖像進行比較,再采納§2.3節計算旋轉角度的方法,就可以計算出相對旋轉角度。第三章智能交通車牌鑒識技術方案§3.1車輛牌照鑒識系統的發展及現狀車牌鑒識技術產生于上世紀末開始的智能交通革命,智能交通系統經過十多年的推行、試行和發展,當前已成功地應用于若干經濟發達及較為發達國家的都市及城市高速公路系統中。而車牌鑒識系統正是在這類應用背景下研制出來的,可以自動及時檢測車輛經過和鑒識汽車牌照的智能交通管理系統。車牌鑒識系統是一種以車牌為對象的專用機器視覺系統,它可以從一幅圖像中提取切割并鑒識出車輛牌照,運用圖像辦理、模式鑒識和人工智能技術,經過對圖像的收集和辦理達成車輛牌照的自動鑒識,鑒識結果可按需求分別包含車牌的字符、數字、牌照圖像,以致牌照顏色、坐標、字體顏色等。及時鑒識出行駛車輛的牌照號碼并與車輛管理數據庫相結合,就可以有針對性地實現車輛檢查,自動化管理等工作,可以大大簡化人工勞動。跟著車輛數目的迅猛增添,關于車輛及交通管理智能化的要求愈來愈高,牌照自動鑒識技術的發展日益成熟,應用也日益廣泛,主要包含高速公路、橋梁、地道的監控;收費管理、城市交通車輛管理;電子警察、海關邊疆交通監控;智能小區、智能泊車場管理等各種智能化交通領域。§3.2車牌鑒識系統工作原理與流程一個完好的車牌鑒識系統主要由觸發、圖像收集、圖像鑒識、輔助光源和通訊模塊構成。觸發和圖像收集是車牌鑒識系統的前置裝置。運轉時觸發模塊負責在車輛到達適合地址時給出觸發信號,控制抓拍。圖像收集模塊包含光學鏡頭、光電變換器件和模數變換器件,圖像收集的質量與鑒識成效直接相關,其前端硬件的性能直接影響車牌鑒識軟件的應用和推行。在捕獲并獲取圖像后,要對獲取的圖像進行識別。車牌鑒識一般要經過圖像預辦理、牌照定位、字符切割、字符鑒識幾個步驟,如圖3-1所示。圖3-1車牌鑒識系統流程圖像預辦理程序對抓拍的圖像進行濾波、界限增強等辦理,去除噪聲對圖像的攪亂,進行參數調整,以便進行后續的辦理。車牌定位模塊從獲取的圖像中找到車牌地區的地址并進行標記,將車牌地區從復雜的背景中切割出來,是車牌字符識其余前提,也是車牌識其余要點技術。字符切割是將已提拿出的車牌地區切割成單個的字符。字符鑒識模塊是車牌鑒識系統的核心模塊之一,其算法的好壞直接影響到系統鑒識率的高低。在字符鑒識過程中,因為實質使用條件存在諸多攪亂要素,這些對鑒識算法提出了很高的要求。當前常用的字符鑒識算法有模板般配、輪廓般配、拓撲特色檢測、模糊模式、神經網絡鑒識等。§3.2車牌定位算法的解析與設計車牌定位是車牌字符識其余前提,是車牌鑒識系統的要點技術之一。車牌的定位算法平時由圖像預辦理、車牌地區搜尋幾個步驟構成,其功能從整個車牌圖像中找到并提拿出車牌地區,為其切分成單獨的字符和字符鑒識做準備。車牌定位方法的一個共同出發點是經過牌照地區的特色來判斷牌照。可利用的車牌特色主要有車牌地區內的邊沿灰度直方圖統計特色、車牌幾何特色、車牌地區的灰度分布特色、車牌地區水平或垂直投影特色、車牌形狀特色和頻譜特色等,可以歸納以下:1車牌地區內的邊沿灰度直方圖統計特色:有兩個明顯且分其余分布中心。2車牌的幾何特色:車牌的寬、高比率在必定范圍內。3車牌地區灰度分布特色:穿過車牌的水平直線其灰度表現連續的峰、谷、峰的分布。4車牌形狀特色和字符擺列格式特色:車牌有矩形邊框,字符位于矩形框中且有間隔。5頻譜特色:對圖形作行或列的DFT變換,其頻譜圖中包含車牌地址信息。表3-1車牌特色當前典型的牌照定位方法主要有基于水平線搜尋的定位算法,基于DFT變換的頻域解析方法,基于Niblack二值化算法及自適應界限搜尋算法,基于數字圖像辦理的灰度閾值化、邊沿提取和地區生長的圖像切割方法,基于顏色的車牌提取方法等。依據不一樣的實現方法,大概可將現有的車牌定位算法分為直接基于特色的車牌定位法,運用形態學、小波解析、神經網絡等數學工具進行定位的車牌定位法,彩色圖像車牌定位法,基于矢量量化的車牌定位法等。本方案使用的是基于灰度圖像的車牌定位算法。這是考慮到灰度圖只含有亮度信息,比彩色圖像簡單更加易于使用;且灰度圖的每個像素只要用一個字節(8bit表示,辦理信息量小、速度快,占用的儲存空間小。依據系統收集設備的不一樣,收集獲取的原始圖像可能是彩色圖像或灰度圖像,針對本算法,從前一定將車輛圖像轉變為灰度圖。為了除掉實質應用中環境要素的不利影響,還需要對原始圖像進行去除噪聲和增強圖像質量等辦理。對圖像進行灰度變換經過公式3-1實現的,式中R為紅色重量、G為綠色重量、B為藍色重量。BGRY114.0587.0299.0++=公式3-1圖像灰度化以后,下一步工作就是對圖像進行增強辦理。車牌鑒識率與獲取圖像的質量有著很大的關系,因為車牌鑒識系統全天候進行工作,天氣及光照度的變化有時會引起牌照圖像的比較度降低、圖像質量降落、甚至出現圖像中牌照字符分辨不清,完好沒法進行定位的狀況。所以人們提出了各種增強圖像比較度的方法,如灰度拉伸、直方圖均衡化、使用線性濾波器對車輛圖像進行濾波等。這些方法不但可以增強圖像的比較度與車牌地區的可辨識度、除掉圖像噪聲,還對后續車牌地區的定位有著很大的影響。當造成圖像灰度失衡和失真的要素是因為曝光不足以致圖像灰度變化范圍較窄,或因為被攝物體的遠近造成中央地區和邊沿地區灰度差異較大時,可采納灰度校訂的方法來辦理。這類辦搭理增強灰度的變化范圍,豐富灰度層次,以達到增強圖像比較度和分辨率的目的。灰度拉伸和直方圖均衡是圖像增強技術中比較簡單但十分適用的方法。當圖像的比較度不高時,將圖像數據映照到整個灰度范圍內會大大增強圖像的比較度,這類方法就是灰度拉伸。它可以擴展或壓縮灰度的動向范圍,還可以進行灰度的分段辦理、如依據在某段區間中進行壓縮而在其余的區間中進行擴展。假設輸入圖像,(yxf的灰度范圍是[m,M],希望拉伸后圖像,(yxg的灰度范圍是[n,N],則灰度拉伸可以表示為下邊的數學變換:nmyxfmMnNyxg+---=],([,(公式3-2變換關系曲線圖以下所示:圖3-1灰度線性變換曲線但是若對全部獲取的車輛灰度圖像使用同一系數進行灰度拉伸,有時不僅不會起到增強比較度的成效,還有可能使車牌地區變暗、比較度降落。所以,關于實質獲取的圖片不可以采納固定的模式進行拉伸,拉伸范圍應該有動向變化,也許使用不一樣的圖像增強手段。直方圖均衡化針對的是自然圖像在低值灰度區間頻率較大、圖像中較暗的地區細節不清楚的狀況。這時為使圖像清楚可以拉開圖像的灰度范圍,讓灰度頻率較小的灰度級變大,即讓灰度直方圖在較大的動向范圍內趨于一致。假設原灰度圖像總像素為N,灰度級個數為L,第k個灰度級出現的頻率為kn,若原圖,(yxf在像素點,(yx處灰度為kr,則直方圖均衡化后的圖像,(yxg在該處的灰度ks為:∑==klNlnks0公式3-2經過直方圖均衡化的圖像細節更加清楚,各灰度等級的比率更加均衡,但是因為直方圖均衡沒有考慮圖像的內容知識簡單地將圖像進行均衡化,所以可能出現調整后圖像亮度過高的狀況。在實質使用中,應該分不一樣的狀況應用不一樣的圖像增強方法。當環境光照度較好、拍攝到的圖像較為清楚的狀況下,車輛圖像的灰度直方圖在0到255范圍之間分布較為均勻,沒有特別集中于低灰度值區或相鄰象元灰度級過于湊近的狀況,此時截取圖像[50,150]間的灰度范圍并拉伸到[0,255]的整個灰度范圍之中可以使圖像的比較度獲取增強(見圖3-2;而當環境光輝較弱,但有車燈或輔助光源等其余光源刺激時,圖像的灰度值可能集中在較低的地區,這時假如仍截取圖像在50到150間的灰度范圍做灰度拉伸反而會使低灰度級上的像素扔掉

,嚴重時甚至會湮沒整個車牌地區

,這時運用動向選擇灰度范圍進行拉伸可以獲得較好的成效

,但比較簡潔的方法是使用直方圖均衡化,提高整體亮度,車牌地區也會獲取突出(見圖3-5。fgfmaxfmingmingmax圖3-2灰度拉伸后的成效圖3-3直方圖均衡化的成效圖3-4灰度拉伸后的成效圖3-5直方圖均衡化的成效經過灰度化和增強辦理以后,接下來要做的是依據車牌特色找出車輛圖片中的車牌地區并切割出來,這一步驟直接關系到系統的鑒識速度和精度。經過對不一樣算法的模擬和測試,筆者發現車牌字符的垂直紋理相對集中,且不受車牌傾斜的影響。若使用適合字符紋理特色的垂直邊沿檢測法對車牌圖像進行運算,不一樣環境中拍攝車輛圖像的車牌地區都可以獲取很好的增強。所謂邊沿檢測實質上就是找尋圖像中變換比較激烈的像素地址,即檢測圖像特征發生變化的地址。邊沿檢測有不一樣的邊沿算子,常用的垂直邊沿檢測算子有Sobel垂直算子和Prewitt垂直算子,但實驗顯示,上述算子沒法去除非字符的垂直紋理,不利于復雜背景下的車牌切割。本方案使用的垂直邊沿檢測算子利用的是灰度圖像中車牌地區字符垂直紋理相對集中的特征,第一將灰度圖像轉變為垂直紋理圖,而后結合邊沿檢測算法有效地突出字符紋理地區,同時在保留字符地區垂直邊沿的基礎上去除大量非字符垂直邊沿。算法步驟以下:1.應用一階差分運算獲取垂直紋理圖。設原灰度圖像為,(yxf,該灰度圖像的垂直紋理圖為,(yxg,則一階差公式為|1,(,(|,(+-=jifjifjig公式3-3此中hi,...3,2,1=,wj...3,2,1=;h與w分別為待切割灰度圖像的高度和寬度;,(jif為像素點,(ji的灰度值,,(jig為垂直紋理圖中像素點,(ji的灰度值。2.計算垂直紋理圖整體均值avg,如公式3-4∑=?∑==wjwhjighiavg1,(1公式3-43.考慮以像素,(ji為中心的12(12(+?+nm大小的模版,計算每點的均值,(jiavg。=+??++∑==wjnmqjpighijiavg112(12(,(1,(公式3-5這一步的求解是整個算法的要點,為每一個像素點來找尋不一樣的灰度值作為閾值來進行下一步的二值化。與其余的閾值切割不一樣,這類算法依據每一點四周像素的灰度值,取大小為12(12(+?+nm模板進行閾值求解運算,再對整幅圖像逐點進行二值化。關于復雜背景和傾斜角度的車輛圖像卻有著很好的適應性,且因為車牌地區的固有特色,使得這類二值化方法可以特別突出有豐富垂直紋理的車牌地區,更適于數學形態學的運算。4.逐點二值化獲取垂直邊沿圖。avgkjiavgsotherorjiTjigjig?>>=?????,(,(,(01,(圖3-6車燈光源打開的灰度圖圖3-7運算后的垂直邊沿圖可以看出,經過上一步運算今后,垂直邊沿圖像中的車牌地區已經獲取了很好的增強,表現為連續的矩形區。但垂直邊沿圖中背景區仍有許多如車燈、圖形標記、四周環境等攪亂信息,為了進一步提取車牌地區,使用數學形態學運算對圖像做進一步的辦理。形態學圖像辦理是圖像辦理的一個重要研究領域,數學形態學的應用幾乎涵蓋了諸如噪聲克制、特色提取、邊沿檢測、圖像切割、文字鑒識等圖像辦理幾乎全部的領域。數學形態學辦理的對象主若是二值圖像,數學形態學基本運算還可以構造好多有效的圖像辦理與解析方法,此中最基本的形態運算是腐化和膨脹。依照定義,二值圖像上目標界限點是指位于目標內部、且最罕有一個鄰點位于目標以外的像素。若用B代表構造元素,A代表圖像會集,則用構造元素B對圖像集合A進行膨脹和腐化運算分別定義為:膨脹:}&,|{BbAabaxxBA∈∈+==⊕關于部分公式3-7腐化:BAΘ},(|{BbAbxx∈∈+=關于每一個公式3-8腐化擁有使目標減小、目標內孔增大,除掉外面孤立噪聲的成效,膨脹則是將圖像中與目標物體接觸的背景點合并到物體中的過程,結果使目標增大、孔洞減小、可填補目標中的孔洞,使其形成連通域。圖像A被構造元素B膨脹,膨脹后A的形狀與構造元素B的形狀有很大關系,相同,腐化的結果也與構造元素的采納相關,采納不一樣的構造元素B,可能會獲取截然相反的膨脹或腐化結果。在膨脹和腐化運算的基礎上,可以定義數學形態學的其余兩種重要運算方法,開運算和閉運算。定義以下:開運算:BBABA⊕Θ=(公式3-9閉運算:BABABΘ⊕=?(公式3-10先腐化后膨脹的過程稱為開運算,它擁有除掉圖像上渺小物體、在物體影像纖細處罰別物體和光滑較大物體界限的作用;閉運算則與開運算正好相反,它先膨脹后腐化,擁有填補物體影像內渺小空洞、連接周邊物體和光滑界限的作用。依照數學形態學這些算法的特色和功能對上一步獲取的垂直邊沿圖像進行形態學運算,依據背景復雜程度等狀況的不一樣,獲取的是含一個或多個矩形地區特色的候選地區。第一對整個圖像做膨脹運算,使車牌地區里的白色點連通聚合,形成一個連通的矩形。但這一操作同時也增添了背景攪亂信息的面積,所以接下來需要對辦理后的圖像進行開運算,采納適合的構造元素,濾除背景部分的較小雜質。這樣剩下的地區就是車牌地區和少量幾個仍未被濾除的背景雜質,見圖3-8。此時需要進行進一步的判斷才能最后將車牌地區從候選地區集中優選出來。圖3-8膨脹運算、開運算采納不一樣構造算子的運算結果

經過上一步的運算

,圖像中出現到若干矩形地區,這些矩形地區除車牌圖像外可能還有車燈,各種標記、商標、散熱片、四周復雜背景等。在這些候選區域中找出車牌地址稱之為車牌提取。觀察包含車牌矩形地區的圖像可以看到,這些地區大多呈矩形,且互相之間的差異較為明顯,車牌地區的幾何特色明顯與其余地區不一樣。車牌地區除了有邊沿豐富的特色以外,還有其余可以將其與非車牌地區差異開來的特色,如車牌的形狀和幾何比率。而攪亂地區的幾何形狀比率極罕有與車牌比率相仿的,即使恰好比率周邊,其尺寸也有很大的差異,這一點可以作為區分車牌與非車牌地區的重要特色。本方案選擇連通域解析的思想提取車牌地區:先對圖像進行連通域標記,而后針對每個連通域進行解析,找出每個連通域的最上、最下、最左、最右端坐標,使用這些坐標解析連通域的幾何形狀能否滿足車牌地區的大小和比率的算法,滿足即作為車牌地區保留下來,并記錄其坐標,不滿足則以為是非車牌地區。采納直線段作為連通體檢測的基本辦理單元,第一對二值圖像進行逐行掃描,掃描出當前行的每條直線線段,分別與上一行已經檢測出的線段進行連通體檢測。標記達成后,整個圖像就分為各個有著不一樣標號的連通地區,每個連通區內部的像素有著相同的標號。在記錄每個連通域特色時,依據連通域內部像素的標號即可對進行區分。簡單地記錄各個連通域的上、下、左、右四個界限,記錄這些界限行列號的原由是當連通域有凹陷或有角度傾斜時,取最靠外面的輪廓特色可以放寬車牌地區界限,不會出現削弱車牌地區的狀況。鑒識該連通域能否為車牌地區依照的是理想車牌的高度、寬度,以及高寬的比率,假如連通地區的寬度以及高寬比不在設定的范圍內,以為該連通域不是車牌地區。圖3-9為實驗中提取到的車牌,可以看出在車牌傾斜等狀況下本算法也有較好的定位成效。圖3-9提拿出的車牌圖像§3.3車牌字符切割算法設計字符切割鑒識算法是將車牌地區切割成單個字符區,而后對切割出的字符地區進行有效辨識,最后獲取車牌的漢字、英文字母及數字的過程。字符切割是字符識其余前提步驟,它將提取并校訂過的車牌地區切割成單一的字符地區供下一步字符鑒識使用。提拿出來的車牌地區灰度圖像不可以直接進行單個字符切分,為了下一步字符鑒識和切割需要,一定先進行二值化辦理。二值化與字符切割算法是密切相連的,二值化是字符切割的前提,不可以單獨地說哪一種二值化或切割算法更好,只有二者相結合,才可以獲得較好的字符切分成效。所謂二值化,就是將原始的灰度圖像轉變為二值圖像,使圖像內僅有灰度值為0(黑和灰度值為1(白的點的過程。因為車牌圖像的邊沿信息關于最后的鑒識結果起著要點的作用,所以在對車牌圖像二值化辦理時一定要盡可能地保留車牌的幾何特色。設f(i,j表示圖像在(i,j地址處的灰度值,二值化過程可表示為公式3-11:Tf(i,jTf(i,jf(i,j?????≤≥=01公式3-11此中T成為二值化的閾值,如何選擇適合的閾值T是二值化的要點。當T值過小時,可能會增添好多虛假信息,而T值過大又可能會扔掉實用信息。閾值切割法是圖像切割技術的重要部分,也是二值化方法中最常有的辦理方法。比較常有的閾值切割法有全局閾值法、局部閾值法和動向閾值法等。此中全局閾值法算法簡單,關于目標背景分別明顯的圖像成效優異,但是一旦圖像有光照不均、噪聲攪亂較大情況時二值化成效明顯降低;局部閾值法考慮了鄰域點對觀察點的影響,但實現速度較慢,且關于復雜或攪亂多的圖像難以應用;而動向閾值法是一種自適應的二值化方法,充分利用了像素自己及其鄰域的灰度變化特色。本方案采納的是后者。因為切割車牌地區時放寬的界限,保險杠的攪亂噪聲,車牌邊框過細、磨損,或二值化后形成的缺失機都會給字符的切分帶來必定的困難,所以一定要早先去除車牌外邊框。對牌照中心地址向上也許向下掃描可以發現,字符區與上下水平邊框之間有必定的空白。利用這一特征與邊框比率知識結合可以有效地去除車牌的水平邊框。算法第一對現有的二值圖像進行水平方向的投影,而后對投影圖進行解析,找出投影圖的全部波峰和波谷,分別記入兩個數組,并除掉波峰和波谷處表現水平狀態的影響。接下來計算相鄰波峰波谷的高度差,因為字符和邊框之間存在空隙,所以當這一高度差大于全部高度差的均勻值許多,也許湊近于零值時,可以判斷這就是邊框和字符的分界處。考慮到可能水平邊框因為二值化或光照不均有所缺失,所以取高度差過濾后節余部分的第一個波谷以后和擁有最大高度差的波谷從前的地區作為去除邊框后的字符區。詳細邊框去除狀況以以下圖所示,從左向右挨次是車牌地區的水平投影圖、去除邊框前的二值化圖像以及經過水平邊框去除切割后獲取的車牌圖像。圖3-10a二值圖水平投影b二值化車牌地區c切除水平邊框車牌地區經過車牌種類判斷、車牌地區二值化和水平邊框去除,獲取的是一塊只包含車牌字符的水平條形地區,這時需要將牌照上的7個字符一一單獨提拿出來,以便下一步輸入字符鑒識子系統進行鑒識。當前較為常有的字符切割方法有面積投影法、輪廓投影法、固定間距法、基于連通體檢測及投影的字符切分法、以及基于遞歸回掃的二次切割算法等等。此中投影法較為常用,它經過解析二值化牌照地區垂直方向上的投影圖來找出單個字符的初步地址。但在有鉚釘和邊框等攪亂時投影圖上字符分界其實不明顯。但關于本文的車牌字符地區有著較好的成效,這是因為在水平邊框切除后鉚釘的攪亂大多數狀況下也會得以除掉,極少出現邊框和鉚釘在垂直方向攪亂投影地區的現象;而經過水平易垂直的角度傾斜校訂后,字符地區的幾何失真也幾乎獲取了完好的克制,字符的切分地址不會出現較大偏差。但是除卻這些要素,還是可能存在噪聲引起的字符一分為二或二個字符連成一個的狀況。在這類狀況下單單利用投影法進行切分可能會將一個字符誤切分成兩個,也許將兩個字符誤識為一個。對此本文依據車牌字符的構造和字符串的間隔參數固定這一特色提出了相應的修正方法:1第一依據垂直方向上投影的累計值求出字符的均勻寬度,依據間隔點投影寬度很窄且高度遠小于字符高度的特色濾除間隔點和噪聲的影響,而后統計投影出的字符個數,若等于7則停止,不然連續。2考慮到漢字的構造特色,除了漢字“川”字以外,其余的漢字即使有左右或上下構造的分別,但投影上倒是一個完好,非零值的地區。依據這一點,只要找到第一個漢字所在處,即可除掉左邊框的影響,確定漢字字符并標記為第一個字符1。關于“川”字的影響后文予以說明。3若某投影地區的高度與字符高度湊近,而寬度遠大于字符的均勻寬度且小于三倍字符的均勻寬度,說明車牌圖像中存在字符的粘連,兩個字符誤分為一個字符。此時可找出垂直方向投影的峰谷,以此為依照將字符一分為二,分別求出新字符的界限,將字符總數加一。4此時字符數大于7,則表示有右側框的影響或因車牌字符的磨損而出現了將一個字符誤分為兩個的狀況。若字符數為8,觀察最右側的投影,假如投影近似右側框,則從漢字起取以后的6個字符,假如不是,則可能是誤分字符;而若字符數大于8,則可能是誤分也許第一個漢字為“川”字,此時要對字符進行合并,合并字符以判斷相鄰字符能否小于車牌中字符間隔為依照。這時第一解析投影圖最左邊和最右側能否有左右側框的投影,如有則搜尋類似左邊框投影的右投影區,假如此投影區湊近均勻字符寬度,則說明該投影是左邊框,若此投影區也遠小于字符的均勻寬度,則是“川”字字符的影響。其余合并時也應隨時記錄合并后的字符數,每合并一次都要掃描車牌中的字符數,等于7時就停止,以為字符切分達成。圖3-11-c為車牌字符切分結果。水平邊框切分后車牌地區圖像垂直投影圖3-11c切分后結果§3.4車牌字符鑒識算法設計字符鑒識是在車牌字符正切實割的基礎上對車牌上的漢字、英文字母和數字進行有效確認的過程,也是車牌鑒識系統的要點技術。字符鑒識有一些老例方法,如結構模式鑒識法、貝葉斯統計決策模式鑒識法、構造與統計相結合的鑒識法、模糊識別法、人工神經網絡法等。此中人工神經網絡法是近些年提出的新方法,它擁有良好的容錯能力、分類能力強、并行辦理能力和自學習能力。因此,采納神經網絡鑒識方式是一種很好的選擇。當前,常用的神經網絡主要有BP神經網絡、Hopfield網絡、Kohonen網絡等,由于神經網絡自己的復雜性,采納哪一各種類的網絡并無最優化的方式,主若是針對神經網絡進行分類的樣本種類、數目決定。出于車牌字符自己特色的考慮,采納BP神經網絡對車牌字符進行訓練和鑒識。BP神經網絡采納采納偏差反向流傳學習算法,該網絡可將一組樣本的I/O問題轉變為一個非線性優化問題,并可近似實現從輸入到輸出的任意連續的非線性映照.BP神經網絡不但有輸入節點、輸出節點,并且有隱含層節點(可以是一層或多層,本文采納含一個隱含層的網絡,如圖3-12所示.該算法分為兩個階段,第一階段是正向流傳,第二階段是反向流傳。在正向流傳過程中,關于輸入信號,要先向前流傳到隱節點,經過作用函數后,再把隱節點的輸出信息流傳到輸出節點,最后給出輸出結果,此中每一層神經元的狀態只影響下一層神經元的狀態。假如在輸出層不可以獲取希望輸出,則轉入反向流傳,將偏差信號沿本來的連接通路返回,經過更正各層神經元的權值,使得偏差達到最小。圖3-12BP神經網絡構造為了使靈巧車號牌在不一樣角度、不一樣距離、不一樣光照狀況下都能獲取穩固結果,在號牌字符進著迷經網絡鑒識前,對付字符圖像進行標準化辦理.這里的標準化操作一定保證圖像的基本形狀不發生改變,圖像的拓撲特色也不發生變化。靈巧車號牌的標準化辦理主要包含字符圖像大小的標準化、灰度均值的標準化和灰度方差的標準化。關于m×n像素的圖像,若設號牌字符圖像中像素點,(ji的灰度值為,(jif。灰度均值為f,則nmjiffminj?=∑∑==11,(公式3-12灰度值方差設為S,則nmfjifSminj?-=∑∑==121,((公式3-13而灰度均值和灰度方差的標準化過程是基于上述兩個公式進行線性變換。字符特色的提取關于鑒識字符有重要意義。字符的某些特色可以表示與其余字符的差異。綜合考慮字符的輪廓、筆劃和灰度特色,同時為增強BP神經網絡在字符變形、有噪聲等狀況下的鑒識能力。我們提取字符3種不一樣的特色分別作為3個BP神經網絡的輸入。1.采納字符圖像的灰度信息,若將靈巧車號牌中的字符標準化成m×n的像素圖,將字符像素點的灰度值作為第一個神經網絡的輸入,即每個字符在神經網絡中有m×n個輸入元,則點,(ji灰度值的范圍為:},:{,(Rcqcpcjif∈≤≤∈若神經網絡輸入元的范圍是}:{BRAR≤≤,做線性變換:ApqpjifAB+---,((公式3-14這樣,就將字符圖像的灰度信息在輸著迷經網絡之行進行標準化,使其一致在[A,B]的范圍內,有益于神經網絡的訓練和鑒識。2.采納字符圖像的投影信息作為BP網的輸入,選擇特色信息既要考慮到它能代表字符的特色,又要考慮神經網的復雜程度和收斂速度。受數碼管中“條形七段式”構造的啟示,筆者設計了“條形十三段式”投影法,即把被識其余字符投影到13條固定的直線段上,從而達到壓縮數據的目的。所謂的“條形十三段式”是由13條直線段組成,它的構造成立在“條形七段式”基礎上,如圖圖3-13B圖3-13投影方法用,...,2,1(NpLP=表示被鑒識字符投影到的直線段,在“條形十三段式”投影法中N=13。投影法操作以下:第一將每條直線段Lp分為M等份,獲取區間段,...,2,1(MpLPq=。而后,關于字符圖像上任一點ijP,將其投影到距離它近來的直線段pL上,這時,CpPij∈(Cp為字符上全部依照距離近來原則投影到pL上點的會集,若ijP投影至距其近來直線段pL時落入pqL內,則CpPij∈(Cpq為字符上全部依照距離近來原則投影到pqL內點的會集,見圖3-13A設m×n的像素圖上一點ijP的灰度值為ija,i=1,2m,j=1,2則字n符,圖像中全部點的灰度值可以構成矩陣定義區間灰度pqv為全體投影到pqL內點的灰度值最小者(}min{ijpqav=,此后將每條直線段pL上M個區間灰度值取均勻值,即得MvVMqpqp∑==1公式3-15將N個pV構成一個向量:??????????????=∑∑∑===MvMvMvVVVMqNqMqqMqqn1121121,...,,},...,,{公式3-16經過線性變換標準化為某一范圍的數值},...,,{21NVVV,并將其作為第二個BP神經網絡的輸入。這類投影法不但充分表現了字符的形態特色,還在很大程度上簡化了神經網絡的構造,有益于網絡的學習和工作。3.掃描線算法提守信息,掃描線算法主要應用于字形輪廓上有好多差其余數字和阿拉伯字母鑒識中。關于m×n的像素圖,從圖像的左界限開始,自左而右的序次掃描,計算每條掃描線與字符的交點數。關于每一字符,若掃描線數為n,每條掃描線與字符交點的個數設為,...,2,1(nisi==,如圖3-14所示,則將向量,...,,(21nsss作為第三個BP神經網絡的輸入。應用掃描線算法提取特色可防備字符在預辦理過程中因發生形變而對鑒識造成影響。圖3-14掃描線方法對待鑒識字符進行標準化后,依照前面表達的方法提取其3種不一樣的特色,分別作為3個BP網的輸入.因為號牌的第一個字符為漢字,第二個字符為拉丁大寫字母,第三、四個字符為拉丁大寫字母或數字,第五位到第七位是數字.為提高綜合鑒識率,依據字符在號牌所處地址的差異,構造了4種不一樣的子網絡分別進行學習和工作,如圖圖3-15所示。圖3-15BP神經網絡鑒識在構造的3個BP網中,神經網的輸入是提取號牌字符圖像的灰度信息、投影信息及應用掃描線算法提取的信息,這些方法有效地防備了字符在筆劃缺損、變形等條件下對鑒識成效造成的影響,但同時也忽視了字符的邊沿特色,不易區分字形周邊的類。比方,在這3個BP網的輸出中,O,Q,D的輸出值極為近似,8同B的輸出值近似。基于此狀況,在采納字符3種不一樣特色作為BP網輸入的3個網絡中,應第一使用BP神經網絡對號牌字符進行初級分類,再用局部二階差分法對字形周邊的字符進行次級分類。局部二階差分法主要應用在每個網絡的字母子網絡和字母數字子網絡中。二階差分的定義:設函數(xfy=在等距節點...1,0(0=+=iihxxi上的值(iixfy=已給出,定義(xf在點xi處的二階差分為iiiiyyyy+-=?++1222公式3-17在進行次級分類時,注意到O,Q,D在左上角和右下角地址存在差異;8和B在中部左邊和左上角、左下角地址有所不一樣,見圖3-16。那么,就利用這些局部差異作為特色,計算其二階差分值,并將其作為分類標準進行次級分類。圖3-16單個字符車號牌的字符鑒識實質上是對號牌上的漢字、拉丁字母和阿拉伯數字的鑒識,其字符復雜程度、特色數和種類數都較大。假如只使用單一的BP神經網絡進行分類,網絡構造將特別復雜,必然會影響網絡收斂速度和鑒識率。因此本方案采納3個BP神經網絡同時進行工作,每個網絡只抽取一種特色作為輸入(分別是灰度特色、投影特色、掃描線提取的筆劃特色,各網絡輸出經過適合的組合方式作為最后的鑒識結果。本方案使用加權法組合各網絡的輸出值,而實質應用中,每個BP神經網絡的輸出需依照各網絡關于相同樣本鑒識率的不一樣而確定權值。經過車牌字符集訓練上述構造的BP神經網絡,可以達到很高的鑒識率。切割后的字符圖像:BP網絡識其余結果:73051圖3-17BP網絡鑒識結果§3.4車牌鑒識系統方案總結本章介紹了車牌鑒識系統的各個算法模塊,以及對各部分算法做了詳細的解析,現將本方案各個算法總結以下:1車牌圖像預辦理:在統計灰度圖像直方圖的基礎上決定使用哪一種增強方式進行增強辦理,關于光照太強也許太弱及有車燈等光源影響狀況下的車牌圖像進行灰度調整,獲取比較度更好的車輛灰度圖;2車牌定位算法:采納基于車牌垂直紋理特色的邊沿檢測算法針對灰度圖中的每一點進行二值化運算,很大程度上地增強了車牌地區,有很好的去除復雜背景攪亂的成效,對車牌有傾斜和大小在必定范圍內略有變化的狀況也有較強的適應性;相關車牌提取,使用了改進的連通域標記法,算法簡單快捷,可以有效地提取上一步節余較少的矩形后選區坐標,再解析得出車牌地區;提出了除掉車牌垂直地區的思想,為下一步的字符切割確定了較好的前提;3車牌字符切割:在車牌地區的二值化上采納了自適應閾值方法,可以很好地區分背景和字符區,對濾除攪亂噪聲也有很好的成效;提出了一種車牌水平邊框去除法,使用垂直投影圖上峰谷特色對二值化車牌進行水平邊框的去除,這類方法關于磨損、斷裂或因二值化不清楚的邊框有很好的切分成效,且擁有運算量很小、算法簡單的長處;4車牌字符鑒識:采納3個BP神經網絡同時進行工作,每個網絡只抽取一種特色作為輸入(分別是灰度特色、投影特色、掃描線提取的筆劃特色,各網絡輸出經過適當的組合方式作為最后的輸出結果。經過車牌字符集有效地訓練該神經網絡,可獲取相當不錯的車牌鑒識成效。第四章總結與展望本文簡要介紹了機器視覺的原理、發展以及應用,大概解析了機器視覺系統的行業應用以及市場需求等。以作者當前研究的兩個機器視覺產品作為事例詳細解析了機器視覺系統的構成以及算法實現等。為了對本文有一個整體認識,現將方案中各構成部分及其實現方法總結以下。在第二章,談論了關于軸承缺點的視覺檢測技術方案。主要涉及軸承圖像的增強、濾波、邊沿檢測、切割、丈量以及般配等辦理。詳細實現步驟以及實現方法為:1對未插入連接器軸承的檢測檢,測內容主若是判斷滾珠能否缺乏以及各滾珠之間的夾角能否相等?詳細步驟以下:a.對原軸承灰度圖像進行邊沿增強,而后利用Can