項目九圖像識別技術[項目目標]1.知識要點掌握圖像識別技術的概念及應用，掌握圖像識別系統的組成。理解圖像、圖像采集、像素、圖像分辨率、色彩空間、灰度變換、二值化、圖像分割、邊緣檢測、降噪、模板匹配等概念。2.技能要點會使用辦公軟件中的調色板設置RGB/HSL模式下的顏色；會根據圖像識別的要求選用相機；會使用百度識圖識別一個歷史人物；會簡單的視覺系統設備選型。3.任務目標某型活塞零件需要進行視覺檢測和掃碼入庫，為機器人選擇機器人視覺系統。[項目知識]一、圖像識別基礎知識圖像識別（ImageRecognitionTechnology），是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。識別的發展經歷了三個階段：文字識別、數字圖像處理與識別、物體識別。文字識別的研究是從1950年開始的，一般是識別字母、數字和符號，從印刷文字識別到手寫文字識別，應用非常廣泛。數字圖像處理和識別的研究開始于1965年。數字圖像與模擬圖像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優勢，這些都為圖像識別技術的發展提供了強大的動力。物體的識別主要指的是對三維世界的客體及環境的感知和認識，屬于高級的計算機視覺范疇。它以數字圖像處理與識別為基礎，結合人工智能、系統學等學科的研究方向，其研究成果被廣泛應用在各種工業機器人及探測機器人上。圖像識別技術的一個不足就是自適應性能差，一旦目標圖像被較強的噪聲污染或是目標圖像有較大殘缺往往就得不出理想的結果。圖像識別問題的數學本質屬于模式空間到類別空間的映射問題。目前，圖像識別方法主要有三種：統計模式識別、結構模式識別、模糊模式識別。圖像識別可應用于識別、定位、測量、檢驗等方面。1、識別在識別應用中，圖像識別系統可以識別條形碼（一維碼）、DataMatrix碼（二維碼如圖9.1（a）所示）；可以識別直接部件標識（DPM），如圖9.1（b）所示）；可以通過元件、標簽和包裝上印刷的字符來識別元件，如圖9.1（c）所示；應用光學字符識別（OCR）能夠讀取PDF文檔、圖片、掃描儀上的文字信息并轉換為WORD文檔、電子表格或PDF，如圖9.1（c）所示；而應用光學字符驗證（OCV）則能夠確認字符串的存在性。另外，圖像識別系統還可以通過定位獨特的圖案來識別元件，或者基于顏色、形狀或尺寸來識別元件。除工業及倉儲領域外，圖像識別功能還常用于人臉識別、遙感圖像分析（如植物學中的植被分析、考古專業的考古發掘等）、安全鑒別（門禁系統）、監視與跟蹤（智能交通監控）、國防系統（目標自動識別與目標跟蹤）等領域，可以說其應用領域非常廣泛。（a）識別二維碼（b）直接部件標識（DPM）（c）識別生產日期（d）識別文字（OCR）圖9.1圖像識別應用于字符識別2、定位定位主要應用于確定元件在二維或三維空間內的位置和方向。如圖9.2（a）所示，也可以將定位和機器人連接，引導機器人動作，如圖9.2（b）所示。（a）設備、工件定位（b）引導機器人動作圖9.2圖像識別應用于定位3、測量圖像識別可以測量元件的外形尺寸，如圖9.3（a）所示。也可以進行3D檢測，如圖9.3（b）所示。基于測量結果，可以判斷產品是否合格。（a）尺寸檢測（b）3D檢測圖9.3圖像識別應用于字符識別4、外觀檢測圖像識別可以應用于元件外觀檢測。如可集中進行IC的各項外觀檢測，如圖9.4所示。圖9.4圖像識別應用于IC芯片外觀檢測如圖9.4所示，可以檢測IC的引腳數、IC的寬度、IC的位置偏移、測量IC引腳距離、測量IC字符缺損、檢測表面污跡等，功能強大。二、圖像識別系統組成典型的圖像識別系統由：照明光源、鏡頭、CCD相機、圖像采集卡、圖像處理系統及其它外部設備組成，如圖9.5所示。光源用于待測元件照明，讓元件的關鍵特征能夠凸顯出來，確保相機能夠清楚地看到這些特征，鏡頭用于采集圖像，并將圖像以光線的形式呈現給傳感器；相機中的傳感器將該光線轉換成數字圖像，然后將該數字圖像發送至處理器，通過圖像處理軟件進行分析；圖像采集卡是重要的輸入/輸出單元，用于圖像的高速傳輸及數字化處理。圖9.5圖像識別系統基本構成下面將介紹其中的幾個重要組成部分，包含光源、相機和圖像采集卡。（一）光源1、光源的知識正在發光的物體稱為光源，而“正在”這個條件必須具備。光源可以是天然的或人造的，如今應用于圖像識別系統中的光源通常是LED光源。LED光源由多顆LED排列而成，可以設計成復雜的結構，實現不同的光源照射角度。LED光源使用壽命長且反應快捷，能在10mS或更短時間內達到最大亮度。在中國國家標準GB5698－85中，顏色定義為：“色是光作用于人眼引起除形象以外的視覺特性”。也就是說顏色是一種光學現象，是光刺激人眼的結果，有光才有色。彩色也是一種心理感覺，它與照明光源的輻射能力分布及觀看者的視覺生理結構有關。人眼可以感知的光譜范圍為380nm~780nm，但人感知一個物體的顏色一般是指在日光照明的環境下所顯示的色彩，對于同一物體在不同光線的照射下人會感覺到不同的色彩，可見光源對于正確認知物體的色彩是至關重要的。人眼視網膜里存在著大量光敏細胞，按其形狀可分為桿狀和錐狀兩種。桿狀光敏細胞的靈敏度極高，主要靠它在低照度時辨別明暗，但它對彩色是不敏感的；而錐狀細胞既可辨別明暗，也可辨別彩色。白天的視覺過程主要靠錐狀細胞來完成，夜晚視覺則由桿狀細胞起作用。所以在較暗處無法辨別彩色。三原色學說認為在視網膜上分布有三種不同的視錐細胞，分別含有對紅（700nm）、綠（546.1nm）、藍（435.8nm）三種光敏感的視色素；當某一定波長的光線作用于視網膜時，以一定的比例使三種視錐細胞分別產生不同程度的興奮，這樣的信息傳至中樞，就產生某一種顏色的感覺。所以，當我們用某光源照明時，若光源只發出藍、綠、紅三條人眼最敏感的譜線時，就達到了人眼對照明的需求，可防止人眼無法察覺和有害射線對視力造成不良影響。2、照明光源的參數照明光源的主要參數如下：色溫，單位是開爾文（K）：當光源所發出的光的顏色與“黑體”在某一溫度下輻射的顏色相同時，“黑體的溫度就稱為該光源的色溫。“黑體”的溫度越高，光譜中藍色的成分則越多，而紅色的成分則越少。例如：白熾燈的光色是暖白色，其色溫為2700K左右，而日光色熒光燈的色溫則是6400K左右。白熾燈的色溫一般在2700K左右、日光燈的色溫在2700-6400K左右、鈉燈的色溫在2000K左右。照度，單位被照面上接收到的光通量稱為照度。如果每平方米被照面上接收到的光通量為1（lm），則照度為1（lx）。單位：勒克斯（lx或Lux）。1勒克斯（lx）相當于每平方米被照面上光通量為1流明（lm）時的照度。在高速運動條件下拍攝圖像，曝光時間很短，只有高亮度的光源才能得到足夠亮度的圖像。例如：夏日陽光下100000Lx；陰天室外10000Lx；電視臺演播室1000Lx；距60W臺燈60cm桌面300Lx；室內日光燈100Lx；黃昏室內10Lx；20cm處燭光10-15Lx；晴朗的月夜地面照度約0.2lx。壽命，光源的半衰期要長，且在半衰期內，光譜穩定，亮度衰減小。發熱特性，光源的工作溫度要低，避免高溫損壞被檢測物。信噪比，信噪比高，抗干擾能力強。閃爍頻率，在交流、直流供電下，光源的閃爍頻率。外形尺寸，便于安裝。3、常用的光源顏色光源的顏色也對圖像的成像有影響。LED光源有多種顏色可以選擇，包括紅、綠、藍、白，還有紅外、紫外。針對不同檢測物體的表面特征和材質，選用不同顏色，也就是不同波長的光源，能夠達到更加理想的拍攝效果。每一種光源都有自己的光譜，而相機的圖像都會受到光譜的影響。不同波長的光對物體的穿透力（穿透率）不同，波長越長，光對物體的穿透力越強；波長越短，光在物體表面的擴散率越大。下面以白色光、紅色光、綠色光和藍色光為例，說明在單色相機成像時，光源顏色對成像結果的影響。白色光對成像結果的影響如圖9.6（a）所示，紅色光對成像結果的影響如圖9.6（b）所示，綠色光對成像結果的影響如圖9.6（c）所示，藍色光對成像結果的影響如圖9.6（d）所示。（a）白色光對成像結果的影響（b）紅色光對成像結果的影響（c）綠色光對成像結果的影響（d）藍色光對成像結果的影響圖9.6不同顏色光源對成像結果的影響從上面不同顏色光源的特征可以發現，某種顏色的光源照射在同種顏色的物體上，視野中的物體就是發亮的。應用此特征可以過濾掉檢測中的無用信息，如使用紅色光源可以過濾掉紅色文字。同時可以應用互補色增加圖像的對比度，如紅色背景使用綠色光源等。光源顏色的適用范圍見表9.1。表9.1光源顏色的適用范圍光源顏色適用范圍白色適用性廣，亮度高，拍攝彩色圖像時使用較多紅色可以透過一些比較暗的物體，如底材黑色的透明軟板孔、綠色電路板（線路檢測）、透光膜（厚度監測）綠色紅色背景產品、銀色背景產品藍色銀色背景產品（鈑金、車加工件等）、薄膜上的金屬印制品4、照明方式（1）背光照明入射光照明是指光源在相機和被檢測物之間，而背光照明使用從被檢測物背面照射的照明方式，被檢測物在相機與光源之間，如圖9.7所示。（a）背光照明（b）入射光照明圖9.7背光照明與入射光照明由于圖像分析的是入射光而不是反射光，所以背光照明可以獲得穩定的高對比度圖像，可以強烈凸顯物體的輪廓特征，卻無法辨別物體的表面特性。背光照明適合物體的形狀檢測和半透明物體的檢測。通常應用于：機械零件的外形尺寸測量，電子零件，IC芯片的形狀檢測，膠片的污跡檢測，透明物體的劃痕檢測等。（2）同軸光源同軸光源（也叫漫射同軸燈、金屬平面漫反射照明光源）從側面將光線發射到半反射鏡上，反射鏡再將光線反射到工件上，提供了幾近垂直角度的光線，從而能夠獲得比傳統光源更均勻、更明亮的照明，提高圖像識別的準確性。如圖9.8所示。（a）同軸光源（b）同軸光源的工作原理圖9.8同軸光源使用同軸光源照明時，光線照射到工件后進入相機，在工件表面凹凸不平的部分產生漫反射，可以從被測物的不光滑表面上獲得帶有少量陰影的穩定圖像。同軸光源能夠凸顯物體表面的不平整，克服表面反光造成的干擾，主要用于檢測物體平整光滑表面的碰傷、劃傷、裂紋和異物。同軸光源最適宜用于反射度極高的物體，如金屬、玻璃、膠片、鏡片等表面的劃痕檢測，芯片和硅晶片的破損檢測，條碼包裝識別等，部分應用實例如圖9.9所示。標準照明下同軸照明下標準照明下同軸照明下邊緣不明顯，因為漫反射和鏡面反射光都被CCD接收凹陷區域的光發生擴散，顯得較暗，從而能夠輕松識別邊緣各種成分的光線向所有角度反射，造成各個部件的圖像不一從彎曲到平坦的變化能清楚地識別，平坦區域在CCD中被良好地突出（a）沖壓部件的檢測（b）螺絲頭的檢測圖9.9同軸光源的應用實例（3）環形光源環形光源是指LED陣列成圓錐狀以斜角照射在被測物體表面，通過漫反射方式照亮一小片區域。與檢測目標的距離恰當時，環形光源可以突出顯示被測物體的邊緣和高度變化，突出原本難以看清的部分，適合用于邊緣檢測、金屬表面的刻字和損傷檢測，也可用于電子零件、塑膠成型零件上的文字檢查，可有效去除因小型工件表面的局部反射造成的影響。（4）條形光源使用條形光源可以均勻照射寬廣區域，其方向性好，尺寸靈活多變，結構可自由組合，角度也可自由調整，條形光源可應用于金屬表面檢測、表面裂紋檢測以及LCD面板檢測等。（5）圓頂光源圓頂光源（又叫穹頂光源、DOME光源、連續漫反射光源）是指LED環形光源安裝在碗狀表面內且向圓頂內照射，來自環形光源的光通過高反射率的擴散圓頂進行漫反射，實現均勻照明的照明方式。對于形狀復雜的工件，圓頂光源可以將工件各個角度照亮，從而消除反光不均勻的地方，獲得工件整體的無影圖像。圓頂光源適用于各種形狀復雜的工件，通常可用于以下情況：飲料罐上的日期文字檢查，手機按鍵上的文字檢查，金屬、玻璃等反射較強的體表面的檢測，彈簧表面的裂縫測等。（二）相機相機可以分為模擬式相機和數字式相機，現階段相機以數碼相機為主。數碼相機集光學技術、傳感技術、微電子技術、計算機技術和機械技術于一體，采用光電陣列圖像傳感器，將光點圖像信息轉換為對應的電信息，再加特定處理并進行存儲，是一個典型的光機電一體化產品。相機分為民用相機和工業相機。如圖9.10（a）所示為便攜式卡片數碼相機，10.10（b）為專業級單反數碼相機。圖9.10數碼相機數碼相機通常由鏡頭、圖像傳感器、A/D模數轉換器、MPU微處理器、LCD液晶顯示器、存儲卡、輸出接口等部分組成。如圖9.11所示。圖9.11數碼相機的組成數碼相機的鏡頭是由一塊或者多塊光學玻璃或塑料組成的透鏡組，用于收集光線，產生銳利的圖像，數碼相機使用四種鏡頭：定焦鏡頭：價格便宜且適合抓拍，但使用很受局限。自動調焦的光學變焦鏡頭：類似于攝像機的鏡頭，具備“廣角”與“遠攝”選項和自動聚焦功能。數字變焦鏡頭：在圖像傳感器中獲取像素并進行軟件數字插補，以形成完整大小的圖像，這種方法形成的圖像可能有顆粒感或模糊。可更換鏡頭：高級單反數碼相機可以使用35mm相機使用的鏡頭。圖像傳感器是數碼相機的核心部件，其像素決定了數碼相機的成像質量。圖像傳感器的尺寸通常小于24mm×35mm，但包含了幾百萬乃至上千萬個具有感光特性的光敏元件-光電二極管，每個光敏元件為一個像素。當有光線照射時候，光敏二極管就會產生光電子形成電荷累積，光線越強，電荷的累積就越多，這些累積的電荷經過后續電路轉換為相應的像素數據，從而構成數字圖像。根據累積電荷轉換電路的不同，圖像傳感器分為電荷耦合器件（ChargeCoupledDevice，CCD）和互補金屬氧化物半導體（ComplementaryMetalOxideSemiconductor，CMOS）。CCD器件轉換電路復雜，需要在同步信號控制下逐位讀取，信息讀取復雜，速度慢；三組電源供電，耗電量大，但技術成熟，成像質量好，因此，CCD主要占據圖像傳感器的高端市場。CMOS電路簡單，成像質量比CCD要低一些，占據圖像傳感器的中低端市場。與民用相機相比，工業相機在圖像穩定性、抗干擾能力和傳輸能力上有著更大的優勢，是組成圖像識別系統的關鍵部件。圖9.12中列出了與工業相機相關的各個關鍵參數，圖中的硬件包括相機主機和鏡頭、圖像傳感器和被測對象。圖中幾個重要參數的定義見表9.2。下面將介紹工業相機的主要組成部分及重要參數。圖9.12有關工業相機的各種參數表9.2工業相機的相關參數標號定義注釋①圖像圖像傳感器接收到的內容②視野物體在某一方向上可被檢測到的區域，是物體將傳感器某一方向填滿圖像的區城③工作距離從鏡頭前端到被測物體表面的距離④傳感器尺寸傳感器的有效面積，典型的指標是水平尺寸⑤景深在整個聚焦范圍內，能夠維持清楚成像對應的最大物體深度1、工業相機的核心—CCD圖像傳感器根據前面的介紹，CCD的作用就像傳統的膠片一樣，用來承載圖像，但它能夠把光學影像轉換成數字信號。CCD的成像點呈XY縱橫矩陣排列，每個成像點由一個光電二極管和其控制的一個鄰近電荷存儲區組成。光電二極管將光線轉換為電荷，聚集的電荷量與光線強度成正比。在讀取這些電荷時，各行數據被移動到緩存器中。每行的電荷信息被連續讀出，再通過電荷/電壓轉換器和放大器傳至圖像采集卡。2、焦距焦距，也稱為焦長，是光學系統中衡量光的聚集或發散的度量方式，指從透鏡中心到光聚集焦點的距離；也是相機中從鏡片光學中心到底片或圖像傳感器成像平面的距離。短焦距的光學系統往往比長焦距的光學系統具有更佳的聚光能力。焦距的計算方法：焦距=傳感器尺寸×鏡頭到物體的距離÷視野例如，根據圖9.13所示尺寸計算焦距。圖9.13焦距計算示例焦距f=1500mm×4.8mm÷250mm=28.8mm在設計上，是將鏡頭透鏡的主平面與底片或圖像傳感器的距離調整為焦距的長度，然后遠距離的物體就能在底片或CCD上形成清晰的影像。當鏡頭要拍攝比較接近的物體時，使鏡頭的主平面與CCD或膠片的距離發生變化，有限距離內的物體便得以清晰成像。在應用上，如果工作離不變，可選擇定焦鏡頭；如果工作距離時變，可選擇變焦鏡頭。如果需要測量的景深大，則根據物像最近、最遠端都可清晰成像選擇焦距范圍。3、光圈和景深對于已經制造好的鏡頭，不能隨意改變鏡頭的直徑，但是可以通過在鏡頭內部加入多邊形或者圓形并且面積可變的孔狀光柵來達到控制鏡頭進光量的目的，這個裝置就是光圈。光圈是照相機上用來控制鏡頭孔徑大小的部件，用以控制景深、鏡頭成像質量，同時可以和快門速度協同控制進光量，光圈的大小（或稱光圈系數、光圈值）用f值表示，有光圈f值=鏡頭的焦距÷光圈孔徑從上面的公式能夠看出，在焦距不變的情況下，f值越小，光圈孔徑越大，進光量越多，畫面比較亮，主體背景虛化越大；f值越大，光圈孔徑越小，進光量越少，畫面比較暗，主體前后越清晰。用于調節光圈大小的光圈環位于鏡頭上，上面顯示可調光圈系數（f值范圍為2-16）如圖9.14所示。調節光圈環下面有光圈值，對焦環上有對應的景深刻度，光圈值的顏色對應焦環上的景深刻度顏色。例如把光圈調為黃色的11，對應的景深就是上方黃色刻度線指示的數值位置，用米和英尺兩種單位表示。在實際應用中，需要根據不同的檢測要求設定不同的光圈和景深。圖9.14調節光圈的光圈環圖9.15光圈大小與孔徑和進光量的關系事實上，我們在圖9.14上看到的光圈值是通過一定規律排列的，光圈系數序列中相鄰兩個光圈系數的平方比約為1：2。例如，2×22≈2.82，2×2.82≈42，…。光圈孔徑和f值成反比，進光量和光圈孔徑的平方成正比，也就是和f值的平方成反比，如圖9.15所示。因此，光圈環轉動格，進光量相差一倍。對于上文中提到的“主體背景虛化”、“主體前后清晰”，其實還有一個更加專業的名詞來形容這種圖像效果—景深，如圖9.16所示。圖9.16景深在光學中，尤其是錄影或是攝影，景深是一個描述在空間中可以清楚成像的距離范圍的術語。雖然鏡頭只能夠將光聚集到某一固定的距離（即焦距），遠離此點則會逐漸模糊，但是在某一段特定的距離內，影像模糊的程度是肉眼無法察覺的，這段距離就是景深。景深之內的影像比較清楚，景深之外的影像則比較模糊。景深通常由物距、鏡頭焦距以及鏡頭的光圈值所決定。如果固定光圈值，則增加放大率時，不論是更靠近拍攝物或是使用更長焦距的鏡頭，都會減少景深的距離；減少放大率時，則會增加景深。如果固定放大率，則增加光圈值會增加景深，減少光圈值會減少景深。4、快門速度快門速度是攝影中常用的用于表達曝光時間的專門術語，即相機快門開啟的有效時間長度。總的曝光量和曝光時間成正比，也可以說是和光到達膠片或圖像傳感器的持續時間成正比。快門速度和鏡頭的光圈大小一起決定光到達膠片或圖像傳感器的量。（三）圖像采集卡早期的相機多數使用CCD的線陣TTL工藝傳感器，這種傳感器成像后輸出的是模擬信號，想要傳輸到計算機進行處理和存儲，就需要通過圖像采集卡進行A/D轉換，再通過計算機總線實時傳送到內存和顯存。現今使用的CCD相機能夠直接采集到數字圖像，這時圖像采集卡的作用就僅是將數字信號通過計算機總線傳輸到計算機內存或顯存，方便計算機對現場采集的圖像進行實時處理和存儲。圖像采集卡實際上是一塊板卡，如圖9.17所示為研華PCIe-1674PC/1672PC視頻采集卡，可以連接在計算機的PCIe擴展槽上（就是顯卡旁邊的插槽），其主要功能就是完成圖像數字化處理與傳輸。圖9.17研華視頻采集卡不同型號圖像采集卡的區別主要表現在輸入信號、圖像質量、總線形式、處理功能等方面。在選擇圖像采集卡時，首先需要考慮的就是相機的輸出信號類型（模擬信號還是數字信號），據此來選擇不同的圖像采集卡。圖像質量由于不同板卡使用的芯片及設計的不同有較大差異。同時，不同用途的圖像采集卡的圖像質量及價格也有很大的差別。目前使用較多的總線有PCI、PC/104-Plus、PCI-E、MimiPCI及筆記本所用的PCMCIA總線。PCI總線使用最多，多數計算機及工控機均使用PCI總線，這種傳輸方式幾乎不占用CPU，留給CPU更多的時間去進行圖像的其他運算與處理。PCI總線的缺點是總線的抗震動能力不強，總線帶寬限133MB，圖像傳送速度平均50~90MB，對于大量數據無法傳輸。PCI-Express（（簡寫為PCI-E或PCIe）是繼PCI總線后新發展的計算機總線，由Intel公司開發并于2004年推出，其4.0版本于2017年發布，且計劃于2019年發布5.0版本。由于PCI-Express具有高帶寬的優勢，因此支持PCI-Express總線的主板越來越多。三、圖像識別工作內容（一）圖像和圖像采集1、圖像的概念圖像是人對視覺感知的物質再現。這個詞匯是圖像識別技術的基礎，圖像采集、圖像處理和圖像分析都是與圖像相關的概念。圖像可以由光學設備獲取，如相機、鏡子、望遠鏡及顯微鏡等；也可以人為創作，如手工繪畫。圖像可以記錄、保存在紙質媒介、膠片等對光信號敏感的介質上；而隨著信號處理理論和數字采集技術的發展，越來越多的圖像以數字形式存儲。所以，本項目中“圖像”一詞實際上是指數字圖像。圖像分為靜態圖像（如圖片、照片等）和動態圖像（如視頻等）兩種。下面將對數字圖像的三個參數—像素、分辨率和色彩空間進行介紹，讓大家更加了解圖像。（1）像素像素是圖像顯示的基本單位，通常被視為圖像的最小完整采樣。像素的英文單詞是pixel，其中pi為英語單詞picture的常用簡寫，加上英語單詞element（元素），就得到了pixel，故“像素”表示“圖像元素”，有時也被稱為pel（pictureelement）。每個像素都承載著圖像中的信息，在很多情況下，它們采用點或者方塊顯示，如圖9.19所示。單從像素的概念來說，每個這樣的信息元素并不能簡單地看作一個點或者一個方塊，而是一個信息集合的抽象采樣。通常每個像素都含有以下信息：圖像中的位置（行，列）位置光強度黑白圖像的灰度值彩色圖像的RGB色彩值圖9.19像素圖像是一個個取樣點的集合，單位面積內的像素越多代表分辨率越高，所顯示的圖像就會越接近于真實物體。這也是選購相機時人們關注的相機參數中通常會有分辨率的原因。兆像素（Megapixels，MP）是指“一百萬個像素”，通常用于表示數碼相機的分辨率。例如，一個相機可以使用2048×1536像素的分辨率，通常稱其有“310萬像素”（2048×1536=3145728，通常只取前兩位作有效數字）。（2）分辨率分辨率泛指圖像或顯示系統對細節的分辨能力。日常用語中的分辨率多用于表示圖像清晰度，分辨率越高，代表圖像質量越好，越能表現出更多的細節。我們經常接觸到的有屏幕分辨率和圖像分辨率。屏幕分辨率是屏幕每行的像素點數乘以每列的像素點數。每個屏幕都有自己的分辨率，屏幕分辨率越高，所呈現的色彩越多，清晰度越高。這個概念常常被用在計算機顯示器、電視、投影儀和手機上。比如人們去選購顯示器時所說的分辨率1920×1080，就是指這個顯示器能夠達到的最大分辨率。圖像分辨率是指每英寸圖像內的像素點數。分辨率越高，像素的點密度越高，圖像越逼真；但相對的，因為記錄的信息過多，文件也就會越大。這就是為什么做大幅的噴繪時，要求圖片分辨率要盡可能高，就是為了保證每英寸的畫面上擁有更多的像素點。圖9.20所示為不同分辨率的圖像差別。1×12×25×510×1020×2050×50100×100圖9.20不同分辨率的圖像差別（圖中的N×N表示的是相鄰邊的像素數）本項目主要介紹圖像分辨率。描述圖像分辨率的單位有DPI（點每英寸）、LPI（線每英寸）PPI（像素每英寸）。LPI是描述光學分辨率的尺度的，雖然DPI和PPI也同屬于分率范疇內的單位，但是它們的含義與LPI不同，而且LPI與DPI無法轉換，只能憑經驗估算。另外，PPI和DPI經常會出現混用現象，但是它們所用的領域也存在區別。從技術角度說，“像素“只存在于計算機顯示領城，而“點“只出現于打印或印刷領域。很顯然，適用于項目內容的分辨率單位是PPI，其計算公式為式中，X表示長邊像素數，Y表示寬邊像素數，Z表示圖像對角線長度。根據此公式可知，如果保持圖像的尺寸不變，將圖像的分辨率提高一倍，則圖像的像素數變為原來的4倍，即圖像文件的大小也變為原來的4倍。（3）色彩空間我們知道在繪畫時可以使用紅色、黃色和藍色這三種原色生成色彩空間不同的顏色，而這些顏色就定義了一個色彩空間。將品紅色的量定義為X坐標軸、青色的量定義為Y坐標軸、黃色的量定義為Z坐標軸，這樣就得到一個三維空間，每種可能的顏色在這個三維空間中都有唯一的一個位置。但是，這并不是唯一的一個色彩空間。例如，在計算機監視器上顯示顏色的時候，通常使用RGB（紅色、綠色、藍色）色彩空間進行定義，紅色、綠色，藍色被當作X、和z坐標軸。也就是說、任意種顏色在RGB空間中都能找到一個唯一的三維坐標值（R、G、B）。每個坐標值的范圍都是0~255，由8位二進制數保存（28=256）。如圖9.21（a）所示為顏色設置對話框中的RGB模式。當紅色、綠色、藍色取值均為0時，為黑色；紅色、綠色、藍色取值均為255時，為白色。可以通過拖動圖中右側的滾動條觀察三種顏色取值的變化，體會顏色與R、G、B數值的對應關系。除了RGB色彩空間之外，常用的還有HSL色彩空間，其采用圓柱坐標系表示色調（Hue）、飽和度（Saturation）和亮度（Lightness）。如圖9.21（b）所示顏色設置對話框中的HSL模式。一樣可以通過調整色調、飽和度和亮度來獲取不同的顏色。（a）RGB顏色模式（b）HSL顏色模式圖9.21顏色設置對話框中不同的顏色模式2、數字圖像的獲取最初相機獲得的圖像由連續的、有不同色彩及亮度等屬性的顏色點組成，以模擬圖像的形式存在。如果想要利用數字計算機處理模擬圖像，就必須將模擬圖像轉換為用數字方式表示的數字圖像文件，即數字圖像。將模擬圖像轉換成數字圖像的過程稱為圖像數字化過程。數字圖像的采集過程可以概括為：首先，光經過鏡頭聚焦在圖像傳感器上；然后，圖像傳感器將光信號轉變為電信號，傳輸給A/D轉換器，由A/D轉換器完成數字化變換；最后，由圖像采集卡輸出到圖像處理裝置。圖9.22所示為數字圖像采集過程示意圖。圖9.22數字圖像采集過程示意圖A/D轉換器的數字化過程又可以細分為采樣和量化兩個步驟。采樣就是將圖像在空間上離散化，通常是將在二維空間上連續的圖像在水平和垂直方向上等間隔地分割成矩形的網狀結構，進而得到若干個被稱為像素的方形小區域。經過采樣后，圖像在空間上離散為像素，但像素的顏色幅值仍為連續量。將采樣所得的各像素的顏色幅值進行離散化的過程，稱為量化。經過采樣和量化后，每一幅圖像都被離散化為一個個像素，成為一個由像素組成的二維矩陣，矩陣中的每個元素對應了一個像素，如圖9.23所示。每一個像素里保存著該像素的顏色或亮度信息，其值可以為RCB圖像的向量，也可以為灰度圖像的0-255之間的某一個數值，或者是二值圖像的0或1。圖9.23像素矩陣化的圖像信息（二）圖像處理與其他類型的傳感器提供的信息不同，圖像信息豐富多樣，圖像處理需要從圖像中提取數字信息，從而得到用戶對場景中感興趣的目標。圖像處理，就是對圖像進行分析、加工和處理，使其滿足圖像識別以及其他要求的技術。圖像處理是信號處理在圖像領域上的一個應用，目前大多數的圖像是以數字形式存儲的，因而圖像處理在多數情況下指數字圖像處理。圖像處理是信號處理的子類，與計算機科學、人工智能等領域也有密切的關系。很多傳統的一維信號處理的方法和概念仍然可以直接應用在圖像處理上，比如降噪、量化等。然而，圖像屬于二維信號，和一維信號程比，它有自己特殊的一面，處理的方式和角度也有所不同。下面將介紹幾種基礎而典型的圖像處理方式，方便大家理解圖像都能做些什么，是如何方便后續圖像分析的。1、顏色處理（1）灰度變換灰度圖像是每個像素只有一個采樣顏色的圖像，得到灰度圖像的過程被稱為灰度變換。如圖9.24所示為九寨溝珍珠灘瀑布的標準圖像與灰度圖像的對比。圖9.24標準圖像與灰度圖像的對比灰度值為像素光強弱信息的表示，是真實世界圖像量化的表現方法。通常灰度值從最黑到最白為0~255。光線進入CCD感光元件，如果光強達到CCD感應的極限，此像素為純白色，對應于內存中該像素灰度值為255；如果完全沒有光線進入CCD，此像素為純黑色，對應于內存中該像素灰度值為0。灰度圖像的每個像素通常由8位二進制數來保存，這樣就可以有256種灰度表示（0~255）。這種精度剛剛能夠避免可見的條帶失真，并且非常易于編程。在介紹RGB色彩空間時提到過，每一種顏色都可以由個分別代表紅、綠、藍的三維向量表示，向量中每個分量都需要由8位存儲，那么每個像素點需要24位，因此彩色圖像的信息量較大。灰度圖像與RGB圖像相比，后續圖像處理的計算量大大減少。與黑白雙色圖像不同，灰度圖像中的不同像素在黑色與白色之間還有許多級的顏色深度，這些顏色深度經常是在單個電磁波頻譜（如可見光）內測量每個像素的亮度得到的。但要注意的是，在數字圖像領域之外，“黑白圖像”也表示“灰度圖像”，就如灰度的照片通常也稱為“黑白照片”。在醫學圖像與遙感圖像這些技術應用中，經常采用更多的存儲級數以充分利用每個采樣10位或12位的傳感器精度，并且避免計算時的近似誤差。在這樣的應用領域流行使用16位即65536個灰度（或65536種顏色）。（2）二值化二值化是進行圖像分割前經常使用的一種顏色處理方法。在二值化圖像時，會把大于某個臨界灰度值（閾值）的像素灰度設為灰度極大值（255，即白色），把小于這個值的像素灰度設為灰度極小值（0，即黑色），從而實現二值化。根據閾值選取的不同，二值化的算法分為固定閾值和自適應閾值。比較常用的二值化方法有雙峰法、P參數法、迭代法和OTSU法（最大類間方差法）等。二值圖像是圖像二值化的結果，每個像素只有黑色與白色兩個可能值而沒有中間顏色。也就是說，二值圖像是一個對比清晰、非黑即白的單色圖像，如圖9.25所示。人們經常用黑白、B&W、單色圖像表示二值圖像。但是其他領域也用上述這些詞匯來表示每個像素只有一個采樣值的任何圖像，例如灰度圖像等。圖9.25灰度圖像與二值圖像的對比二值圖像經常出現在數字圖像處理中，使用位圖格式存儲。一些輸人/輸出設備，如激光打印機、傳真機、單色計算機顯示器等都可以處理二值圖像。2、幾何變換幾何變換是指從具有幾何結構的集合至其自身或其他此類集合的一種映射。具體來說，幾何變換是一個函數，其定義域與值域為點集合。幾何變換可以按其操作集合的維度來分類（可分為平面變換與空間變換），也可依據其保留的性質來分類，如圖9.26所示。平移：保留距離與方向角度。歐氏：保留距離與角度。相似：保留距離間的比例。仿射：保留平行關系投影：保留共線性圖9.26各種幾何變換3、圖像分割與邊緣檢測圖像分割指的是將數字圖像細分為多個圖像子區域，并提取出感興趣目標的過程。它是由圖像處理到圖像分析的關鍵步驟，其目的是簡化或改變圖像的表示形式，使得圖像更容易被理解和分析。圖像分割通常用于定位圖像中的物體和邊界（線、曲線等），大量應用了上文中提到的灰度變換和二值化。更精確地說，圖像分割是對圖像中的每個像素加標簽的一個過程，這一過程使得具有相同標簽的像素具有某種共同特性。圖像分割的結果是圖像上子區域的集合，或是從圖像中提取的輪廓線的集合（例如邊緣檢測）。子區域中的每個像素在某種特性的度量下或是由計算得出的特性都是相似的，例如顏色、亮度、紋理；相鄰區域在此種特性的度量下則有很大的不同。前面提到圖像分割包含邊緣檢測，在介紹邊緣檢測前，先簡要說明下二者的聯系與區別，方便大家理解。圖像分割是將目標分割出來，針對的是目標對象；而邊緣檢測是通過圖像的梯度變化將圖像中梯度變化明顯的地方檢測出來，針對的是邊緣信息。二者雖然有包含關系，但針對的目標有所不同。邊緣檢測是圖像處理中，尤其是特征檢測中的一個研究領域，其目的是標識數字圖像中亮度變化明顯的點。未經處理的灰度圖像如圖9.27（a）所示，經過邊緣檢測處理后如圖9.27（b）所示。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化，包括深度上的不連續、表面方向不連續、物質屬性變化和場景照明變化。（a）灰度圖像（b）邊緣檢測（c）降噪處理圖9.26邊緣檢測與降噪處理圖像邊緣檢測大幅度減少了數據量，并且剔除了重要性較低的信息，保留了圖像重要的結構屬性。實現邊緣檢測有許多方法，絕大部分可以劃分為兩類：基于查找和基于零穿越。基于查找的方法是通過尋找圖像灰度值一階導數中的最大和最小值來檢測邊界，通常是將邊界定位在梯度最大的方向；基于零穿越的方法是通過尋找圖像二階導數零穿越來尋找邊界，通常是拉普拉斯算子過零點或者非線性差分表示的過零點。4、降噪圖像噪聲是圖像中一種亮度或顏色信息的隨機變化（被拍攝物體本身并沒有），通常是電子噪聲的表現，如圖9.26（c）所示。它一般是由相機的傳感器和電路產生的，也可能是受膠片顆粒或者圖像傳感器中不可避免的散粒噪聲影響產生的。圖像噪聲是圖像拍攝過程中不希望存在的副產品，給圖像帶來了錯誤和額外的信息。圖像噪聲的強度范圍可以小至具有良好光照條件的數字圖片中難以察覺的微小的噪點，大到光學天文學或射電天文學中幾乎滿畫面的噪聲，在這種情況下（圖像中的噪聲水平過高，以至于無法確定其中的目標是什么），只能通過非常復雜的手段獲取到一小部分有用信息。圖像降噪的目的是移除圖像中不必要的噪聲，保留圖像中較為重要的細節信息，使得到的圖像看起來清晰且干凈。不論是使用數碼相機是傳統的底片，拍攝出的圖像時常會產生各種不同的噪聲。現今的生活中有大量的數字影像拍攝的品質不盡良好，即便是使用了良好的數碼相機，圖像降噪等后制的影像重建技術仍被廣泛利用，占有重要的一席之地。（三）圖像分析1、圖像分析用途圖像分析和圖像處理關系密切，兩者有一定程度的交叉，但是又有所不同。圖像處理側重于信號處理方面的研究，如圖像對比度的調節、圖像編碼、降噪等。而圖像分析的側重點在于研究圖像的內容，包括但不局限于使用圖像處理的各種技術，它更傾向于對圖像內容的分析、解釋和識別。因而，圖像分析和計算機科學領域中的模式識別、計算機視覺關系更密切一些。圖像分析一般利用數學模型并結合圖像處理的技術來分析圖像的特征和結構，從而提取特定的信息，達到識別的目標。2、模板匹配模板匹配的本質是基于圖像內容的檢索，屬于圖像分析領域最常用的技術之一。其目的是在給定查詢圖像的前提下，依據內容信息或指定查詢標準，在圖像數據庫中搜索并查找出符合查詢條件的相應圖像。互聯網上傳統的搜索引擎，包括百度、Google都推出了相應的圖片搜素功能，但是這種搜索主要是基于圖片的文件名建立索引來實現查詢功能（或許也利用網頁上的文字信息）。這種從查詢文字、文件名，最后到圖片查詢的機制并不是基于圖像內容的檢索。基于圖像內容的檢索指的是查詢條件本身就是一個圖像，或者是對于圖像內容的描述，其建立索引的方式是通過提取圖像的底層特征，然后計算比較這些特征和查詢條件之間的異同，來決定兩個圖片的相似程度。這里使用百度識圖來進行說明，百度識圖提供了人物、商品、建筑、藝術、影視、美食、游戲等圖片的識別功能。如圖9.28所示為植物識別功能。用戶想要在網上搜索某種不認識的植物，可以通過手機或相機拍攝該植物的相片，上傳到百度識圖。通過在軟件的內部進行圖像特征提取，然后在網站的數據庫中跟眾多商品的圖像進行查詢和比對，即可找到符合特征條件的植物。圖9.28模板匹配搜索模板匹配的核心包括以下三部分。（1）特征提取從廣義上講，圖像特征包括基于文本的特征（如關鍵字、注釋等）和視覺特征（如色彩、紋理、形狀、對象表面等）兩類。視覺特征又可分為通用的視覺特征和領域相關的視覺特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內容無關，主要包括色彩、紋理和形狀，這些特征又被稱為底層特征；后者則建立在對所描述圖像內容的某些先驗知識（或假設）的基礎上，與具體應用緊密相關，如人的面部特征或指紋特征等。可提取的圖像特征可以包括顏色、紋理、平面空間對應關系、外形或者其他統計特征。圖像特征的提取與表達是模板匹配的基礎。（2）相似度測量從圖像中提取的特征可以組成一個向量，兩個圖像之間可以通過定義一個距離或者相似性的測量度來計算相似度。（3）模板查詢模板查詢有著不同的查詢方式，典型的三個查詢方式如下。按例查詢：用戶提供一個查詢圖像，在數據庫中搜索相似圖像。按繪查詢：用戶在類似畫筆的接口上進行簡單的繪畫，以此為標準進行查詢。按描述查詢：例如指定條件可以是30%的黃色、70%的藍色等。3、其它功能（1）識別物體幾何中心位置在制造裝配等應用中、物體的位置起著十分重要的作用。工業應用中、物體通常出現在已知表面（如工作臺面）上，而且相機相對臺面的位置也是已知的。在這種情況下，圖像中物體的位置決定了其空間位置。確定物體中心位置的方法很多，如采用物體的外接矩形、物體矩心（區域質心）等來表示物體的位置。當物體的邊球已知時，可用其外接矩形的尺寸來刻畫它的基本形狀圖9.29所示。求物體在坐標系方向上的外接矩形，只需計算物體邊限點的最大和最小坐標值，就可以得到物體的水平和重直跨度。圖9.29區域外接矩形在工件的分揀操作中，工件的位置信息通常采用質心坐標來表示，從而方便機械手臂抓取目標工件。一般情況下，圖像中的物體并不是一個點，因此采用物體或區域面積的中心點作為物體的位置。區域質心是通過對圖像進行“全局”運算得到的一個點，因此它對圖像中的噪聲相對來說是不敏感的。對于二值圖像，物體的中心位置與物體的質心位置相同。（2）識別物體顏色顏色是彩色圖像的直特征之一，其描述方法與所采用的顏色模型有關，常用的顏色模型有RGB和HSL。為了更好地根據顏色特征實時檢測和識別生產線上的工件，可以先采用圖像處理軟件的檢測工具將工件圖像的顏色信息記錄下來。通常在同一背景下對工件進行判別。當相機定位好后，調用示教模塊先記錄下工件的顏色信息，然后在工作時調用顏色識別模塊對工件進行判別，示教的目的是讓程序記住工件的局部顏色信息以及工件的位置。在識別工件時，可以只對已經示教過的區域進行求解，采用對比的檢測方法，以灰度或者色彩對比的方式獲取當前圖像和模型的相似程度，但采用這種方式時產品色彩細微的差異比較容易導致相似度的下降。（3）識別物體形狀形狀識別是指采用邊界輪廓對比的方式（邊緣檢測）獲取當前圖像和模型的相似程度，產品色彩細微的差異不容易導致相似度的下降。根據采用的方式不同，識別物體形狀大致可以分為以下幾類：基于局部圖像函數的算法、圖像濾波、多尺度算法、基于反應一擴散方程的方法、多分辨率方法、基于邊界曲線擬合的方法、主動輪廓線方法等。在實踐時，由于形狀檢測處理的數據量較小，因此可以高速地進行檢測。但若選中的模型（模板）太大，則檢測速度會下降。（4）識別旋轉角度角點是最適合計算工件旋轉角度的特征。角點檢測算法主要分為基于圖像邊緣和基于圖像灰度兩類。前者在圖像分割的基礎上提取邊界構成鏈碼，并將邊界上轉折較大的點看作角點，該算法過于復雜，且計算量較大，而后者避開了這些缺陷。（四）結果輸出1、輸出對象和輸出內容（1）結果輸出對象圖像識別的結果由視覺系統的存儲單元發出，結果輸出對象通常分為兩種：顯示設備（如顯示屏）和上位機。顯示屏顯示的內容往往是軟件界面、相機捕捉畫面等內容，以方便用戶操作和監控識別系統。通常應用在工業機器人識別系統中的上位機有PLC、PC和機器人控制器。（2）輸出內容圖像識別系統的輸出內容見表9.3。表9.3圖像識別系統的輸出內容種類內容狀態信號由視覺控制器確認控制信號或命令輸入并開始測量后，利用狀態狀態信號（如常見的可檢測/正在檢測等）向外部裝置通知傳感器的狀態判定結果判定結果雖然是個Bool值，只有是或否（通過/不通過）兩種可判定結果能，卻可以代表多種內容，如目標形狀是否匹配、顏色是否匹配、數量是否匹配等。在包含多個處理項目的判定結果中，只要有一個項目判定為不通過，就會輸出不通過的結果測量值測量值可根據用戶自己的設定，輸出不同的數值，如目標的位置測量值信息（X軸坐標、Y軸坐標、旋轉角度等）、數量信息、測量的長度等字符串輸出可以用于輸出從條形碼、二維碼中讀取的字符串或字符串輸出數字2、與上位機的通信方法對圖像識別系統而言，通信非常重要，它是共享數據、支持決策和實現高效率一體化流程的一種方式。圖像識別控制系統的上位機通常是PC、PLC或工業機器人控制器。聯網后，視覺系統可以向PC傳輸檢測結果以進行進一步分析。工業中更常見的是直接傳輸給集成過程控制系統的PLC、機器人和其他工廠自動化設備。不同品牌的圖像識別控制系統有其支持的不同通信方式，不同品牌的PLC及工業機器人控制器也有不同的接口。要把圖像識別系統集成到工廠的機器人成其他自動化裝置上需要找到一種二者相互支持的通信方式或協議。常見的通信方式和協議如下。（1）并行通信通過并行接口，在圖像識別系統和外部裝置之間進行通信。（2）串行通信通過RS-232或RS-485串行接口，可以與絕大多數的機器人控制器通信。（3）工業以太網協議允許通過以太網網線連接PC和其他裝置，無需復雜的接線方案和價格高昂的網絡網關。常見的以太網協議有以下幾種。①TCP/IP客戶機/服務器讓圖像識別系統能夠輕易通過以太網與其他系統和控制裝置共享數據，無須開發代碼。②現場總線網絡通常需要一個協議網關附件將圖像識別系統添加到現場總線網絡，往往不同品牌的產品會使用不同的網絡通信協議，但其本質都是以太網通信如西門子常用的PROFINET，歐姆龍常用的EtherCAT，施耐德的ModbusTCP/IP等，可根據現場實際情況來選用合適的品牌。圖像識別控制器與上位機根據接口的不同通過不同的通信線纜連接，并根據各種通信協議進行通信。常用的幾種通信連接如圖9.30所示。圖9.30視覺系統的通信連接圖中三種道信方式的優缺點見表9.4。表9.4圖像識別系統不同通信方式的優缺點通信方式優點缺點并行通信因為可以多位數據一起傳輸，所以傳輸速度很快內存有多少位，就要用多少數據線，所以需要大量的數據線，成本很高。在高速傳輸狀態下，并行接口的幾根數據線之間存在串擾；而且并行接口需要信號同時發送同時接收，任何一根數據線的延遲都會引起問題串行通信使用的數據線少，在遠距離通信中可以節約通信成本。在高速傳輸狀態下，串行只有一根數據線，不存在信號線之間的串擾，而且串行通信還可以采用低壓差分信號，大大提高抗干擾性，實現更高的傳輸速率因為每次只能傳輸一位數據，所以傳輸速率比較低工業以太網通信實時性強。一定的時間內發送一個指令一定要被處理，不然通信就會失敗區別于其他的運行環境，工業以太網對溫度、干擾要求會更高（五）圖像識別系統的應用1、圖像識別系統開發步驟圖像識別系統開發也是一個系統工程，需要按照以下步驟進行開發。（1）需求了解、分析、確認；（2）樣品準備、測試；（3）系統軟、硬件選型；（4）系統開發設計；（5）現場試運行、大量測試；（6）系統的局部修改和完善；（7）系統驗收；（8）人員培訓與系統維護。2、三角測量三角測量在三角學與幾何學上是一借由測量目標點與固定基準線的已知端點的角度，測量目標距離的方法。一個景像點和它在兩個相機中的成像點形成一個三角形，如果已知兩個相機之間的基線距離l和相機發射光線形成的夾角，則到物體的距離就可以計算出來，如圖9.31所示。圖9.31三角測量原理（9-1）或者（9-2）3、圖像識別系統應用案例工業生產中絕大多數機器人的圖像識別系統是配合輸送鏈搭建的，工業機器人只起到執行工件取放的作用。輸送鏈面臨的問題：由于輸送鏈始終是運動的，且很多輸送鏈的速度可調，這就造成圖像識別系統如果在此時捕捉到的工件，在工業機器人動作的彼時位置就發生了變化。為了知道某一時刻待處理工件在輸送鏈上的準確位置，引入輸送鏈跟蹤系統的概念。顧名思義，輸送鏈跟蹤系統能夠跟蹤輸送鏈上的工件，使執行裝置能夠知曉某一時刻輸送鏈上工件的準確位置。尤其是隨著工業機器人在物流、包裝等行業越來越多的應用，輸送鏈跟蹤系統與機器人系統的組合也成了一種常見的組合形式。在輸送鏈跟蹤的硬件組態中，首先需要一條輸送鏈，輸送鏈上需要固定一個同步開關。同步開關用于記錄工件通過同步開關的時刻，工件通過同步開關時即觸發一個同步信號，記錄工件初始位置，搭配增量式編碼器可以計算出工件與同步開關的相對位置。對于圖像識別伺服系統來說，多數采用的是相機觸發機制，這里可將相機當作同步開關。同步開關可以有不同的觸發方式，常見的同步開關還有紅外線觸發、手動觸發、連續觸發等。對于相機觸發機制，每當工件通過相機下方，即觸發一個信號，此信號就作為機器人的同步信號。編碼器安裝在輸送鏈的驅動單元上，以記錄輸送鏈的位移。輸送鏈跟蹤系統如圖9.32所示。圖9.32輸送鏈跟蹤系統[項目實踐]現有某型活塞零件需要進行視覺檢測和掃碼入庫，其工藝流程如下。（1）機器人將活塞零件移動至視覺檢測位置。（2）視覺檢測系統檢測活塞零件，頂部LOGO形狀。（3）如果檢測結果為零件合格，那么機器人在活塞零件上貼標簽，標簽信息通過掃碼記錄。（4）如果檢測結果為零件不合格，那么機器將活塞放入廢品。根據以上要求，選擇合適的機器人視覺系統。1、機器人視覺系統概述機器人視覺系統是指機器代替人眼的功能，實現對外界物體測量和判斷的系統，工業相機是機器視覺系統的重要組成部分和主要信息來源，其主要功能是獲取機器視覺系統所需處理的原始圖像，如圖9.33所示，機器視覺系統的工作流程為圖像輸入、圖像處理、圖像輸出三部分，其中視覺傳感器實現對外界物體的圖像采集，以完成圖像輸入。系統對原始圖像進行分析判斷后，將分析結果輸出到控制系統中上位機或某些執行機構（機器人），以完成后續作業。常見的與視覺系統結合使用的設備有PLC、計算機和工業機器人等。圖9.33機器人視覺系統工作原理在工業機器人與是機器視覺集成的伺服系統（即機器人視覺系統，也稱手眼系統）中，機器人通過工業相機獲取環境中的圖像，并經視覺處理器進行處理和分析后，轉換為能讓機器人識別的信息，確定物體的位置和狀態。根據視覺傳感器安裝位置的不同，可分為Eye-in-Hand（EIH）系統和Eye-to-Hand（ETH）系統。EIH系統中的視覺傳感器安裝在機器人手部末端，能跟隨機器人運動，完成機器人運動過程中的圖像采集；而ETH視覺系統中的傳感器安裝在某一固定位置，對固定范圍內的物體進行圖像采集。視覺及視覺傳感器在工業機器人視覺系統中充當機器人的眼與機器人密切合作，實現對物體位置的準確掌握和對物體的精確操作，工業機器人視覺系統可被應用于自動定位鎖緊螺釘、自動定位貼裝PCB元器件，汽車行業中自動定位裝配等需自動定位作業的場合。機器人視覺檢測系統主要包含相機、光源、控制器、顯示屏等，其組成如圖9.34所示。圖9.34機器人視覺系統2、機器人視覺系統的工作流程機器人視覺系統的工作流程如下。（1）相機將被攝取目標轉換成圖像信號，傳送給控制器的圖像處理系統，根據像素分布和亮度、顏色等信息轉變成數字化信號。（2）圖像處理系統對這些信號進行各種運算來抽取目標的特征，例如面積、長度、數量、位置等。（3）根據預設的容許度和其他條件輸出結果，例如尺寸、角度、偏移量、個數、合格/不合格\有/無等。輸出結果由控制器輸出到上位機，同時顯示屏上也可顯示檢測結果供使用人員查看。（4）上位機（例如PC、PLC等）實時獲得檢測結果后，控制運動系統或I/O系統執行相應的控制動作，例如定位/分類等。3、活塞零件視覺檢測系統選型視覺檢測設備的選型取決于檢測需求，并由成本控制。現分析生產設備的視覺檢測需求如下，根據這些需求可以基本確定對視覺檢測設備的相機、光源等的要求。（1）檢測對象根據前面的檢測需求，本系統檢測的信息為活塞零件頂部的LOGO形狀，即視覺檢測的對象是一個黑白色的形狀圖案，相機按照輸出色彩可分為單色（黑白）相機和彩色相機，單色相機已經可以滿足以上檢測需求，且彩色相機的價格較高，因此在本案例中選取單色像機即可。（2）視野要求在一定的范圍內（50~200mm，由安裝相機的結構與活塞零件進行視覺檢測的位置設計決定）調整相機的安裝距離，可將完整的活塞LOGO（約40mm的正方形區域）置于相機視野中。（3）檢測精度要求由于只檢測LOGO圖案的有無，以及圖案是否完整，因此對檢測精度要求不高，達到0.1mm級即可。相機的像素要求可以用以下公式近似計算：精度=視野（長或寬方向）÷像素點數（長或寬方向）例如本案例中活塞零件檢測視野為40mm，精度要求為0.1mm，那么相機長或寬的方向的像素點數等于=40÷0.1=400，那就只需要30萬（640×480）像素的相機就可以了。（4）工作環境對工作環境無特殊要求，且要檢測的對象為黑白色（無其他干擾色），因此，視覺檢測系統光源選取最常用的白色環形光源。（5）輸入輸出由于需要將檢測結果輸出到外部（PLC），視覺檢測的處罰信號，尹來自于PLC，因此需要系統具有通信功能。4、活塞零件檢測視覺系統組成如圖9.35所示，活塞零件檢測視覺檢測系統由光源、相機、條碼掃描槍、條碼機、分度盤轉臺、暫存工裝及不合格品儲存臺組成。機器人將完成精加工的活塞零件吸取到分度盤轉臺上（在加工過程中，活塞零件需要在暫存工裝上做中轉），通過視覺檢測裝置對活塞零件進行檢測，合格品進行貼碼和掃碼處理，不合格品放至不合格品儲存臺。圖9.35活塞零件檢測視覺系統組成[項目小結]在本項目中，學習了圖像識別技術的概念、方法和應用。圖像識別系統由：照明光源、鏡頭、CCD相機、圖像采集卡、圖像處理系統及其它外部設備組成。圖像的基本知識和獲取方法。圖像處理主要涉及顏色處理、幾何變換、圖像分割與邊緣檢測、降噪等知識。圖像分析通過模板匹配達到圖像識別的目的，也能識別物體的幾何中心、顏色、形狀、旋轉角度等。圖像識別系統通過通信將識別結果傳送給上位機，完成基于圖像識別的智能控制。[思考練習]1.填空題1）圖像識別是指利用計算機對圖像進行（），以識別各種不同模式的目標和對象的技術。2）相機光圈孔徑和f值成反比，進光量和光圈孔徑的平方成（）。3）單位被照面上接收到的（）稱為照度。4）不同波長的光對物體的穿透力不同，波長越長，光對物體的（）越強；波長越短，光在物體表面的擴散率越大。5）相機是由（）和相機主機組成的。6）相機的核心是（）傳感器。7）焦距，也稱為焦長，是光學系統中衡量光的（）的度量方式，指從透鏡中心到光聚集焦點的距離。8）快門速度是攝影中常用的用于表達（）的專門術語。9）圖像顯示的基本單位是（），通常被視為圖像的最小完整采樣，其英文單詞是pixel。2.單項選擇題1）最適宜用于反射度極高的物體，如芯片和硅晶片的破損檢測的光源是（）。A同軸光源B背光照明C環形光源D條形光源2）對于半透明物體的檢測，宜選用哪種照明方式（）。A同軸光源B背光照明C環形光源D條形光源3）圖像識別的方法不包含（）。A統計模式識別B結構模式識別C模糊模式識別D標簽識別模式4）選用下面四個光圈f值，拍攝的畫面哪一個最亮（）。Af/2Bf/2.8Cf/4Df/115）以下四種分辨率的圖片文件，文件最大的是（）。A10×10B20×20C50×50D100×1006）通常灰度值范圍為0~255，其中白色取值為（）。A0B127C128 D2557）以下圖像處理技術中屬于顏色處理的是（）。A幾何變換B降噪C灰度變換D邊緣檢測8）圖像模板匹配的本質是基于圖像（）的檢索。A文件名B網頁文字C內容D大小9）圖像分析主要研究（）。A圖像對比度調節B圖像編碼C圖像降噪D圖像特征提取及識別10）圖像識別系統集成到工廠的機器人成其他自動化裝置上需要的通信方式不包含（）。A并行通信B串行通信C藍牙D工業以太網通信3.判斷題1）圖像識別可以識別字母、數字、符號和所有的物體。（）2）二維碼的識別采用了圖像識別技術。（）3）圖像識別技術能檢測元件的尺寸和外觀。（）4）圖像識別系統包含光源、鏡頭、相機、圖像采集卡、圖像處理系統及其它外設等。（）5）不同波長的光對物體的穿透力（穿透率）不同，波長越長，光對物體的穿透力越強；波長越短，光在物體表面的擴散率越大。（）6）一般情況下，CCD數碼相機的成像質量比CMOS數碼相機的高。（）7）在焦距不變的情況下，f值越小，光圈孔徑越大，進光量越多，畫面比較亮，主體背景虛化越大。（）8）圖像分辨率越高，像素點密度越高，圖像越逼真，圖像文件越大。（）4.簡答題1）想要過濾掉包裝上的紅色文字，應采用哪種顏色的光源?2）希望獲得淺景深的照片，應選用大光圈還是小光圈？3）舉例說明圖像識別可應用于哪些方面？4）典型的圖像識別系統由哪幾個部分組成？【閱讀材料】圖像傳感器產業發展情況一、圖像傳感器市場概述圖像傳感器作為攝像頭模組的核心部件，廣泛應用于智能手機、汽車、安防監控、航空航天等領域。我國擁有全球最大的圖像傳感器市場，然而在高端消費類電子領域的市場份額幾乎被索尼和三星占據。隨著智能手機采用多攝方案的增加以及IoT、AI、ADAS等技術帶動攝像頭應用場景的拓展，市場對CIS需求日益旺盛。我國應緊抓市場機遇和我國巨大的市場優勢，實現在圖像傳感器領域的騰飛。當前，全球圖像傳感器市場發展具有以下特點：1、CMOS圖像傳感器市場火熱作為電子設備的“眼睛”，圖像傳感器近年來成為市場的焦點，成為半導體行業最炙手可熱的領域之一。目前，CCD圖像傳感器和CMOS圖像傳感器（CIS）是被普遍采用的兩種圖像傳感器。CCD圖像傳感器具有量子效率高、噪聲低等優點被應用于廣播電視和工業監測等領域。隨著超大規模集成電路技術和CMOS制造工藝水平的提高，CIS由于尺寸小、低成本、功耗低、集成度高等諸多優點在民用消費電子市場逐漸取代傳統的CCD圖像傳感器，帶動了圖像傳感器市場的發展。根據WSTS數據統計，2019年全球圖像傳感器銷售規模達到193.2億美元，其中，CIS貢獻188.1億美元，同比增長26.3%，CIS已成為半導體產業中增長最快的產品之一。2、索尼三星占據7成全球市場CIS產業鏈主要有兩種模式，一種是以索尼和三星為代表的IDM模式，另一種是以豪威科技、格科微等為代表的Fabless模式，豪威、格科微負責設計，芯片制造委托給臺積電、中芯國際生產，封測交給晶方、華天科技等企業。此外還存在安森美、意法半導體等輕晶圓廠（fab-lite）模式，其自己只生產特定