第6章彩色圖像處理

為什么研究彩色圖像第一、顏色是一個強有力的描繪子：

1、簡化目標物的區分和從場景中提取目標2、目標識別：根據目標的顏色特征。第二、符合人類視覺的特點（對人工圖像分析很重要）1、可辨別的灰度層次約有四十種2、對顏色的辨別能力和亮度->光波波長改變1-2nm，人眼即可感覺到->人眼同時可辨別幾千種不同色彩和亮度的顏色->目標物的顏色變小時，色覺顏色也變，面積小到一定程

度，顏色變為灰色->目標物的色度相同而背景色度不同，感覺到不同的顏色

顏色基礎1802年，ThomasYoung提出假設：人眼有三種相當于紅、綠、藍三種基色的顏色感知器。19世紀60年代，Maxwell認識到人眼對色調與飽和度比亮度的敏感度低。三色學說：某種波長的光可以通過三種不同波長的光混合而復現，紅、綠、藍三種單色光可作為基本的顏色—原色。生理學試驗表明，視網膜上的光感受器可分錐細胞和桿細胞，錐細胞對彩色敏感，桿細胞對亮度敏感。錐細胞可分為3類，分別對紅、綠、藍敏感，約各占65%、33%、2%。->一個純黑白物在特定條件下表現為不同的顏色（Benham黑白園板）Note：1、視覺是一種生理和心理現象，其機理在探索中。對彩色(顏色)的許多結論是建立在實驗和理論結果支持的基礎上。

2、對彩色圖像的處理是基于對其適當的描述方法。RGB顯示器的顏色顯示范圍高質量打印設備的顏色顯示范圍彩色基礎400nm700nm紫外光紅外光可見光區546.1nm435.8nm780nm人眼中紅綠藍錐狀體的波長吸收系數光的吸收率

藍紫色

紫藍色400450500550600650700nm

藍色

藍綠色

綠色

黃綠色

黃色

橙色

紅橙色

紅色藍綠紅人類視覺對紅、綠、藍三種顏色的光最為敏感。從而構成了三基色假說。三基色假說(格拉斯曼定律)：三基色是這樣的三種顏色，它們相互獨立，其中任一色均不能由其它二色混合產生。但它們又是完備的，即其它所有的顏色都可以由三基色按照不同的比例混合而得到。

任何顏色均可由RGB產生：C=a(R)+b(G)+c(B)兩種基色系統：加色系和減色系統顏色的描述方法一：區別顏色的三特性：亮度、色調和飽和度

亮度：包含無色的強度的概念。主觀描述不可測量色調：光波混合中和主波長有關的屬性，觀察者接受的主要顏色。飽和度：色彩的純度，純度高則鮮明，純度低則黯淡。如粉紅色(紅+白)欠飽和，純譜色是全飽和。

色調與飽和度一起成為彩色。X、Y、Z分別表示某種顏色中紅綠藍的量，即三色值。三色值系數：方法二：CIE色度圖彩色模型1、RGB彩色模型（面向硬件）笛卡爾坐標系中以700nm(紅)、546.1nm(綠)、435.8nm(藍)為三基色。黃(255,255,0)黑(0,0,0)綠(0,255,0)青(0,255,255)藍(0,0,255)品紅(255,0,255)白(255,255,255)紅(255,0,0)1、CCD直接感知的是RGB三個分量；2、圖像成像、顯示、打印等設備的基礎。R:200G:50B:120RGB正方體模型的展開圖像的R、G、B分解示例rgb=imread('F:\數字圖像處理與MATLAB\picture\cat.jpg');%可以通過下面的程序看一幅圖的RGB三個通道R=rgb(:,:,1);%紅色分量G=rgb(:,:,2);%綠色分量B=rgb(:,:,3);%藍色分量R1=rgb(:,:,1)*0;%將圖像的三維矩陣的每1頁清零G1=rgb(:,:,2)*0;B1=rgb(:,:,3)*0;R_img=cat(3,R,G1,B1);G_img=cat(3,R1,G,B1);B_img=cat(3,R1,G1,B);subplot(1,4,1);imshow(rgb);title('原圖');subplot(1,4,2);imshow(R_img);title('R紅');subplot(1,4,3);imshow(G_img);title('G綠');subplot(1,4,4);imshow(B_img);title('B藍');源代碼如下：2、HSV彩色模型Hue,Saturation,ValueHSV對應于畫家的配色方法：在純色中加入白色改變色濃，加入黑色改變色深。在圓錐頂點處，V=0，H和S無定義，代表黑色；圓錐頂面中心處，S=0，V=1，H無定義，代表白色；從圓錐頂點到頂面圓心的連線，代表從黑到白的不同灰度。3、HSI彩色模型符合人描述和解釋顏色的方式。如：紅色分為淺紅和深紅色等H：色調，I：亮度，S：飽和度I：亮度H：色調S：飽和度（圓周為1，中心為0）Note：亮度與色調和飽和度分開；僅分析反應色彩本質的色調和飽和度，廣泛用于計算機視覺、圖像檢索和視頻檢索。HSI模型色調（H）的效果示意圖H=0oH=60oH=120oH=180oH=240oH=300oHSI模型的優勢1、從人的視覺系統出發，有H、S、I描述色彩2、相比REG彩色空間模型，更符合人的視覺特點3、在圖像處理和計算機視覺中的大量算法都可在HIS空間中方便的使用4、H、S、I可以分開處理而且相互獨立I分量與圖像的彩色信息無關；HS分量與人感受顏色的方式緊密相連。5、HIS色彩空間中可以簡化圖像分析和處理的工作量6、HIS和RGB是同一物理量的不同表示方法，因而可以相互轉化模型轉換RGB和HIS之間的轉換1、RGB→HSIRGB分量和與之對應的HIS圖像分量RGB→HSI2、HSI→RGB注意：300~360之間為非可見光譜色，沒有定義RGB分量和與之對應的HIS圖像分量色調藍綠區域像素為零青色區域飽和度減半飽和度白區強度減半度RGBHSI→RGB偽彩色處理

偽彩色處理是根據特定的準則對灰度值賦以彩色的處理，是區別于真彩色處理和對單色圖像賦以彩色的處理。應用：人類視覺觀察和解釋圖像中的灰度目標。

偽彩色處理方法：1、強度分層2、灰度級到彩色的轉換1、強度分層技術圖像的描述強度分層技術的幾何解釋對切割平面以下部分編碼為一種色彩，以上部分編碼為一種色彩，獲得一幅兩色圖像。分層技術總結：

垂直于灰度軸的P個平面（分為p+1個間隔）的量級定義為：灰度到彩色的幅值關系：Ck是與強度間隔為Vk的第k級強度有關的顏色，Vk由l=k-1和l=k分割平面定義。例1、甲狀腺模型及其強度分層圖甲狀腺模型的單色圖像強度分為8個彩色的圖像單色灰度圖像很難分辨出病變，強度分層圖像很容易辨別病變部位。

焊縫X光的單色圖像彩色編碼的圖像

在灰度級是已知的前提下，強度分層在可視化方面是簡單而有力的手段。簡化工作，降低失誤率。例2、焊縫缺陷的檢測強度與月平均降雨量對應的灰度圖像南美區域放大圖

彩色編碼圖像對強度值賦予顏色例3、降雨量的觀察2、灰度級到彩色轉換灰度級到彩色變換圖灰度級到彩色的變換是基于平滑的非線性函數。行李的X光單色圖像

彩色編碼圖像

例4、行李中爆炸物的檢測

木星的偽彩色圖像

靠近木星的偽彩色圖像紅色部分為活火山噴出的物質周圍黃色物質為陳舊的硫沉積物例5、木星的偽彩色圖像全彩色處理全彩色處理研究分為兩大類：1、分別處理每一分量圖像，再合成彩色圖像；2、直接處理彩色像素。此時像素作為一個向量彩色圖像處理基礎兩類處理方法：1、單獨處理顏色空間的每一個通道，再復合成結果圖像；2、把像素的顏色看作顏色空間中的一個點，也可以看作是一個向量，在向量空間中處理圖像。輸入圖像(RGB)HSI輸出圖像(RGB)H*S*I*分離通道通道處理通道合成輸入圖像(RGB)RGB輸出圖像(RGB)R*G*B*彩色圖像的常規處理—彩色變換VersusRedGreenBlueHistogramequalized1、變換函數：g(x,y)：變換后的彩色輸出圖像f(x,y)：彩色輸入圖像T：在空間鄰域（x,y）上對f的操作。2、彩色變換：ri、si：任何點處彩色分量的變量在RGB、HIS彩色空間，n=3；草莓和咖啡杯的全彩色圖像草莓由深紅和黃色組成草莓包含大量的紅色，綠色和藍色很少強度分量是全彩色原像的單色復現；草莓的飽和度最高，色調被白光稀釋的最少3、補色定義：在圖示彩色環上，與一種色調直接對立的另一種色調稱為補色作用：增強嵌在彩色圖像暗區的細節，特別是在大小上占支配地位的細節。例6計算彩色圖像的補色基于RGB變換的補色圖像變換函數用HIS變換的RGB補色的近似4、彩色分層突出圖像中特殊才彩色區域，以便分離出目標物。基本思路：1、顯示感興趣顏色以便從背景中分離；2、在彩色定義的區域中使用處理技術。方法：若感興趣顏色有寬度W，中心在原彩色(平均)點并具有分量(a1,a2,…..,an)的立方體中，其變換集為：若感興趣的顏色是半徑為R0的封閉球形，則其變換集為：例7、彩色分層技術RGB=（0.6863,0.1608,0.1922）W=0.2549的立方體區域RGB=（0.6863,0.1608,0.1922）R0=0.1765的封閉球形區域5、色調和彩色校正目的：試驗性地調整圖像亮度和對比度，以便在合適的亮度上提供最大的細節，彩色本身并不改變。例8、灰度變換HIS空間中僅改變亮度分量，RGB和CMY(K)空間中用相同的變換函數映射各個分量。例9、彩色平衡6、HIS空間下的直方圖均衡均勻擴展彩色強度，保留彩色本身(色調)不變。例10、直方圖均衡平滑和尖銳1、彩色圖像平滑原則：在彩色圖像鄰域中對分量向量做均值處理。

令Sxy表示在RGB彩色圖像中定義一個中心在(x,y)的鄰域的坐標集，在該領域中中RGB分量的平均值為：例11、彩色圖像平滑RGBRedGreenBlueHSI分量圖像HSI5X5平均模板平滑圖像的結果RGB平滑圖HIS強度分量平滑后的RGB圖像二者差異彩色圖像的平滑處理2、彩色圖像尖銳化向量的拉普拉斯微分算子：輸入向量的獨立標量分量的拉普拉斯微分RGB彩色圖像中向量c的拉普拉斯變換為：例12、拉普拉斯尖銳化RGB銳化圖像HIS僅對強度銳化后的RGB圖像二者差異彩色圖像的銳化處理彩色分割1、HSI彩色空間分割(效果差)H色調圖像描述彩色很方便；S飽和度作為模板分離出感興趣目標；強度不包含彩色信息而不常用。2、RGB向量空間分割(效果更好)目的：分割出特殊彩色區域的目標。

首先獲得目標的有代表性的彩色點樣品集，其次在某一種距離測度上，給滿足相似性度量的像素點集編碼即可。選擇在歐式空間的距離度量：設選擇的彩色平均向量為a，距離閾值為D0，則：滿足D(a,z)≤D0的點集構成一個球心在a，半徑為D0的實心球。更一般選擇的距離測度為：原圖色調H飽和度S強度I二值S二值S與H相乘相乘的直方圖原圖紅分量的分割例13、HIS空間分割(微紅色區域)例14、RGB空間分割(微紅色區域)

選擇方形區域做樣本，計算中心a，盒子的尺度為標準差的1.25倍HIS分割記過彩色圖像的常規處理—圖像分割例：檢測皮膚算法：（在RGB向量空間中實現圖像分割）（1）基于感興趣區域（RegionofInterest,ROI）采樣；（2）統計樣本的顏色特征：平均值和標準差；（3）定義合適的包圍盒；判斷當前像素顏色，若處于包圍盒內，則保留；否則去除。三種常用的包圍盒彩色圖像噪聲思考題與作業用彩色信息進行圖像識別本節中，我們給出一個實例對基于彩色信息的圖像識別加以討論。的NNF的NNF兩種算法的效果比較

歡迎提

任何問題第七章圖像特征檢測目錄基于閾值處理的像素點檢測角點檢測

孤立點檢測

Harris角點檢測邊緣檢測

一階邊緣檢測模型

二階邊緣檢測模型

基于Hough變換的邊緣檢測尺度檢測

Blob特征檢測

SIFT特征檢測基礎知識68例子：設想電腦玩家手中的撲克牌，我們需要對其進行視覺上的分析原始圖像閾值圖像基礎知識基礎知識70單值閾值只能對雙峰直方圖工作得較好，對于其它類型的直方圖，需要更多的閾值基礎知識71不均勻的光照會使單值閾值方案失效72如果設置了錯誤的閾值，結果會很糟糕太小的閾值太大的閾值基礎知識基本的全局化閾值處理73全局化閾值處理是指整幅圖像使用同一個閾值做分割處理，并產生一個二值圖，區分出前景對象和背景。適用于背景和前景對比度大的圖像算法實現：選取一個合適的閾值T，逐行掃描圖像凡灰度級大于T的，顏色置為255；凡灰度級小于T的，顏色置為0基本的全局化閾值處理74迭代法全局閾值T可以按如下計算：1、選擇一個初時估計值T（一般為圖像的平均灰度值）2、使用T分割圖像，產生兩組像素：G1包括灰度級大于T的像素，G2包括灰度級小于等于T的像素3、計算G1

中像素的平均值并賦值給μ1，計算G2中像素的平均值并賦值給μ24、計算一個新的閾值：5、重復步驟2～4，一直到兩次連續的T之間的差小于預先給定的上界T原始圖像迭代法閾值分割后的圖像基本的全局化閾值處理Otsu閾值化處理閾值法-Otsu法最大類間方差法是由日本學者大津于1979年提出的，是一種自適應的閾值確定的方法，又叫大津法，簡稱Otsu法。Otsu法按圖像的灰度特性將圖像分成背景和目標兩部分，背景和目標之間的類間方差越大，說明構成圖像的兩部分的差別越大。當部分目標錯分為背景或部分背景錯分為目標都會導致兩部分差別變小。因此，使類間方差最大的分割意味著錯分概率最小。Otsu閾值化處理

Otsu閾值化處理原始圖像閾值偏低迭代法Otsu法Otsu閾值化處理在圖像存在噪聲的情況下，直接應用Otsu閾值化處理會導致類間方差不夠穩定，閾值選擇有偏差。含高斯噪聲的圖像對噪聲圖像Otsu閾值處理平滑后的圖像對平滑后的圖像Otsu閾值處理局部閾值處理當圖像中出現不均勻光照或復雜背景的情況時，使用局部閾值處理可以根據每個像素的周圍信息來確定閾值帶噪聲陰影的圖像使用Otus方法得到的結果分為6幅子圖像后的圖像分別對每幅子圖像應用Otsu方法的結果基于局部圖像特性的閾值處理基于局部圖像特性的局部閾值處理是在圖像中的每一點計算閾值，該閾值是以一個或多個在鄰域內計算的特性為基礎的。基于局部圖像特性的閾值處理步驟如下：1）計算以某一像素為中心的鄰域的灰度標準差和均值；2）根據計算得到的標準差和均值，設定一個可變的閾值；3）將當前像素的灰度值與設定閾值進行比較，如果像素的灰度值滿足閾值條件，將其設置為目標值，否則設置為背景值；基于局部圖像特性的閾值處理原始酵母圖像雙閾值處理后的圖像局部標準差處理后的圖像局部圖像特性處理后的圖像基于移動平均法的閾值處理移動平均方法是基于局部圖像特性局部閾值處理的一種特殊情況，它以圖像的行掃描為基礎進行計算。通常為了減少光照偏差，掃描是以Z字形模式逐行執行的。原始文本圖像被正弦波遮蔽污染的圖像使用Otsu方法的全局閾值處理的結果使用移動平均的局部閾值處理的結果動機：全景圖像拼接給定兩張圖像，如何拼成大圖?點特征提取步驟1：檢測特征點點特征提取步驟1：檢測特征點步驟2：匹配特征點特征提取步驟3：對齊圖像點特征提取步驟1：檢測特征點步驟2：匹配特征點特征用于：圖像對齊3D重建運動跟蹤機器人導航索引和數據庫檢索對象識別點特征提取點特征的優勢:點特征屬于局部特征，對遮擋有一定魯棒性;通常圖像中可以檢測到成百，上千的點特征，以量取勝;點特征有較好的辨識性，不同物體上的點容易區分;點特征提取通常速度很快。點特征提取孤立點檢測孤立點的檢測以二階導數為基礎，即用拉普拉斯算子：原始圖像拉普拉斯圖像檢測孤立點可以通過一個小窗口識別角點向任何方向移動窗口應該會產生很大的強度變化Harris角點檢測假設窗口W發生位置偏移(u,

v);比較偏移前后窗口中每一個像素點的灰度變化值;使用誤差平方和定義誤差函數E(u,

v)窗口函數w(x,

y):窗口函數平移后的圖像灰度圖像灰度Harris角點檢測Harris算子用Taylor展開I(x+u,y+v)去近似任意方向：于是，E(u,v)可以重寫為：Harris角點檢測M是2×2的矩陣，它是關于x和y的二階函數，E(u,v)是一個橢圓方程橢圓的尺寸由M的特征值λmax

和λmin

決定，它們表征了灰度變化最快和最慢的兩個方向橢圓的方向由M的特征矢量決定Harris角點檢測二階矩矩陣的可視化Harris角點檢測根據M的2個特征值大小對圖像點進行分類:如果λ1和λ2都很小，圖像窗口在所有方向上移動都無明顯灰度變化Harris角點檢測角點應該滿足的基本性質：最小特征值盡量大角點響應R=λminHarris角點檢測比R=λmin更有效的角點響應函數：Harris角點檢測Harris角點檢測的步驟:1.將原圖像I使用w(x,y)進行卷積，并計算圖像梯度Ix與Iy;2.計算每一個圖像點的自相關矩陣M;3.計算角點響應R=det(M)-αtrace(M)2;4.選擇R大于閾值且為局部極大值的點作為角點。IRHarris角點檢測角點RHarris角點檢測Harris角點檢測的步驟:1.將原圖像I使用w(x,y)進行卷積，并計算圖像梯度Ix與Iy;2.計算每一個圖像點的自相關矩陣M;3.計算角點響應R=det(M)-αtrace(M)2;4.選擇R大于閾值且為局部極大值的點作為角點。Harris角點檢測計算角響應RHarris角點檢測查找角響應較大的點：R>ThresholdHarris角點檢測只取R的局部最大值的點Harris角點檢測Harris角點檢測只取R的局部最大值的點Harris檢測子獲得的角點可能在圖像上分布不均勻(對比度高的區域角點多)改進方法:Adaptivenon-maximalsuppression(ANMS)，只保留半徑r內角點響應比其他點大10%的點作為角點。(Brown,SzeliskiandWinder,2005)Harris角點檢測希望角點位置對于光度變化具備不變性，對于幾何變化具備協變性不變性：圖像被轉換，角點位置不變。H(T(I))=H(I)協變性：對于變換前后兩幅圖像，則應在變換后的相應位置檢測到特征點.H(T(I))=T(H(I))Harris角點檢測

Harris角點檢測對比度變化部分不變:y=ax+b對仿射強度變化部分不變性Harris角點檢測導數和窗函數是移位不變的:角點位置對于平移是協變的Harris角點檢測橢圓轉過一定角度但是其形狀保持不變(特征值保持不變):角點位置對于旋轉是協變的Harris角點檢測對于圖像尺度變化不具有不變性:Harris角點檢測邊緣檢測：識別圖像中的突然變化（不連續性）直觀地說，圖像中的大多數語義和形狀信息都可以用邊緣編碼比像素更緊湊圖像邊緣的產生：物體的邊界表面方向的改變不同的顏色光照明暗的變化

邊緣檢測如何判斷一個像素是否在邊緣上？邊緣檢測如何判斷一個像素是否在邊緣上?邊緣檢測邊緣是圖像強度快速變化的地方如果把圖像看作二維函數，那么邊緣就是懸崖峭壁邊緣檢測對于二維函數f(x,y)，偏導數可以寫成：對于離散的數據，采用有限差分的方式進行近似：如果用卷積的形式來實現上面的公式，那么濾波器的形式是怎樣的？邊緣檢測|圖像微分邊緣檢測|圖像微分圖像梯度計算：梯度指向強度增加最快的方向，這個方向與邊緣的方向有什么關系？梯度方向用梯度幅值定義邊緣的強度邊緣檢測|圖像微分邊緣檢測|圖像微分直接對圖像使用差分容易受到噪聲影響邊緣在哪里?邊緣檢測|高斯微分解決方法：先平滑，再微分

邊緣檢測|高斯微分微分也是卷積，卷積滿足交換律，可將平滑和微分合為一個算子邊緣檢測|高斯微分哪一個找到水平/垂直邊緣？邊緣檢測|高斯微分高斯微分能夠去除噪聲，但也會造成邊緣模糊高斯微分還能夠發現不同“尺度”的邊緣邊緣檢測|高斯微分對比平滑濾波器和微分濾波器平滑濾波器高斯濾波器去除“高頻”分量，實質是“低通”濾波器平滑濾波器的值不可以為負這些值的總和應該是1：恒定區域不受過濾器影響微分濾波器高斯濾波器的導數微分濾波器中的值可以是負數濾波器中的值的和為0：對于平滑區域不做響應對比度越高的點，微分值也越高邊緣檢測|高斯微分一階邊緣檢測模型-梯度算子函數f(x,y)在(x,y)處的梯度為一個向量：

f=[f/x,f/y]計算這個向量的大小為：G=[(f/x)2+(f/y)2]1/2近似為:G|fx|+|fy|或Gmax(|fx|,|fy|)梯度的方向角為：

φ(x,y)=tan-1(fy/fx)可用下圖所示的模板表示-111-1一階邊緣檢測模型-梯度算子一階邊緣檢測模型-Roberts算子羅伯特（Roberts）算子使用對角線上相鄰像素的差值來尋找邊緣。羅伯特算子是一個交叉算子，其在點的梯度幅值表示為:羅伯特算子公式：特點：與梯度算子檢測邊緣的方法類似，對噪聲敏感，但效果較梯度算子略好-11fx’1-1fy’一階邊緣檢測模型-Prewitt算子-101-101-101計算均值，平滑噪聲檢測豎直邊緣-1-1-1000111檢測水平邊緣計算均值，平滑噪聲特點：去噪+增強邊緣一階邊緣檢測模型-Sobel算子特點：去噪+增強邊緣，給四鄰域更大的權重-101-202-101計算均值，平滑噪聲檢測豎直邊緣-1-2-1000121檢測水平邊緣計算均值，平滑噪聲一階邊緣檢測模型原始圖像Roberts算子處理后的圖像Prewitt算子處理后的圖像Sobel算子處理后的圖像二階邊緣檢測模型-Laplace算子特點：Laplace算子的優點是檢測模板是各向同性、線性和位移不變的，對孤立點和細線的檢測效果良好。但是對噪聲產生較大的響應，誤將噪聲作為邊緣，常產生雙像素的邊緣。Canny算子是最常用的邊緣檢測算子Canny算子是一階微分算子，但是一個優化的方案單像素寬度噪聲抑制邊緣增強邊緣定位J.Canny,“AComputationalApproachtoEdgeDetection”,IEEE

Trans.onPAMI,8(6),1986.二階邊緣檢測模型-Canny算子Canny算子基本流程二階邊緣檢測模型-Canny算子Canny算子基本流程(1)使用高斯平滑濾波器進行卷積(2)使用一階有限差分計算偏導數的兩個陣列當然也可以使用高斯微分算子(Prewitt或Sobel)直接與I(x,

y)卷積計算Dx(x,y)和Dy(x,

y)二階邊緣檢測模型-Canny算子Canny算子基本流程(2)邊緣幅值和邊緣方位角M代表梯度幅值的大小，在存在邊緣的圖像位置處，M的值變大，圖像的邊緣特征被“增強”。二階邊緣檢測模型-Canny算子Canny算子基本流程(3)非極大值抑制(NMS:Non-MaximaSuppression)主要思想：由梯度幅值圖像M(x,y)，僅保留極大值(嚴格地說，保留梯度方向上的極大值點)。具體過程:1.初始化N(x,y)=M(x,y);2.對于每個點，在梯度方向和反梯度方向各找n個像素點。若M(x,y)不是這些點中的最大點，則將N(x,y)置零，否則保持N(x,y)不變。二階邊緣檢測模型-Canny算子Canny算子基本流程(3)非極大值抑制(NMS:Non-MaximaSuppression)在梯度方向的沿線上檢測該點是否為局部極大值;簡化的情形，只使用4個方向:[0,45,90,135];得到的結果N(x,y)包含邊緣的寬度為1個像素;二階邊緣檢測模型-Canny算子Canny算子基本流程(4)雙閾值提取邊緣點使用大的閾值，得到少量的邊緣點，許多空隙；使用小的閾值，得到大量的邊緣點，大量的錯誤檢測；設定兩個閾值T1，T2，使得T2>>T1；由T1得到E1(x,y)，低閾值邊緣圖：更大的誤檢測率；由T2得到E2(x,y)，高閾值邊緣圖，更加可靠二階邊緣檢測模型-Canny算子Canny算子基本流程

(4)雙閾值提取邊緣點邊緣連接：1.將E2(x,y)中相連的邊緣點輸出為幅邊緣圖像E(x,y);2.對于E(x,y)中每條邊，從端點出發在E1(x,y)中尋找其延長的部分，直至與E(x,y)中另外一條邊的端點相連，否則認為E1(x,y)中沒有它延長的部分;3.將E(x,y)作為結果輸出。二階邊緣檢測模型-Canny算子Canny算子基本流程(4)雙閾值提取邊緣點低閾值邊緣圖像高閾值邊緣圖像Canny輸出邊緣圖像二階邊緣檢測模型-Canny算子漸增高斯濾波模版的尺寸二階邊緣檢測模型-Canny算子漸增雙閾值的大小，保持low=high*0.4二階邊緣檢測模型-Canny算子漸增雙閾值的大小，保持low=high*0.4二階邊緣檢測模型-Canny算子Canny算子的優點:參數較少計算效率得到的邊緣連續完整參數的選擇:Gauss濾波的尺度雙閾值的選擇(LOW=HIGH*0.4)如果不使用細化，如何獲得單像素寬度邊緣?邊緣是一階倒數的極大值點邊緣是二階倒數的過零點

注意：僅僅等于0不夠，常數函數也為0，必須存在符號改變二階邊緣檢測模型-LoG算子對平滑圖像做二階微分:二階邊緣檢測模型-LoG算子LaplacianofGaussian(LoG)算子:首先用Gauss函數對圖像進行平滑，抑制噪聲，然后對經過平滑的圖像使用Laplacian算子LoG算子等效于:Gaussian平滑+Laplacian二階微分二階邊緣檢測模型-LoG算子LoG因其形狀，也稱為MexicanhatLoG算子用到的卷積模板一般比較大，不過這些模板可以分解為一維卷積來快速計算對于LoG算子邊緣檢測的結果，可以通過高斯函數標準偏差σ進行調整。數學上已證明，LoG算子是按零交叉檢測階躍狀邊緣的最佳算子。但在實際圖像中要注意到，高斯濾波的零交叉點不一定全部是邊緣點，還需要進一步對其真偽進行檢驗。00-1000-1-2-10-1-216-2-10-1-2-1000-100二階邊緣檢測模型-LoG算子LoG算子的特點:正確檢測到的邊緣：單像素寬度，定位準確;形成許多封閉的輪廓，這是一個主要問題;需要更加復雜的算法檢測過零點PrewittSobelLoG二階邊緣檢測模型-LoG算子基于Hough變換的邊緣檢測前面介紹了一些邊緣檢測的有效方法。但實際中由于噪聲和光照不均等因素，使得在很多情況下所獲得的邊緣點是不連續的，必須通過邊緣連接將它們轉換為有意義的邊緣。一般的做法是對經過邊緣檢測的圖像進一步使用連接技術，從而將邊緣像素組合成完整的邊緣。霍夫（Hough）變換是一個非常重要的檢測間斷點邊界形狀的方法。它通過將圖像坐標空間變換到參數空間，來實現直線和曲線的擬合。Hough變換——直線檢測1．直角坐標參數空間在圖像x?y坐標空間中，經過點(xi,yi)的直線表示為yi=axi+bi，式中：參數a為斜率，b為截距。通過點(xi,yi)的直線有無數條，且對應于不同的a和b值，它們都滿足直線公式。如果將xi和yi視為常數，而將原本得參數a和b看作變量，則有如下b=-xia+yi，就變換到了參數平面a?b。這個變換就是直角坐標中對于(xi,yi)點的Hough變換。該直線是圖像坐標空間中的點(xi,yi)在參數空間的唯一方程。Hough變換——直線檢測考慮圖像坐標空間中的另一點(xj,yj)，它在參數空間中也有相應的一條直線：b=-xja+yj，這條直線與點(xi,yi)在參數空間的直線相交于一點(a0,b0)。Hough變換——直線檢測圖像坐標空間中過點(xi,yi)和點(xj,yj)的直線上的每一點在參數空間a?b上各自對應一條直線，這些直線都相交于點(a0,b0)，而a0、b0就是圖像坐標空間x?y中點(xi,yi)和點(xj,yj)所確定的直線的參數。反之，在參數空間相交于同一點的所有直線，在圖像坐標空間都有共線的點與之對應。根據這個特性，給定圖像坐標空間的一些邊緣點，就可以通過Hough變換確定連接這些點的直線方程。Hough變換——直線檢測建立一個二維累加數組A(a,b)，第一維的范圍是圖像坐標空間中直線斜率的可能范圍，第二維的范圍是圖像坐標空間中直線截距的可能范圍。開始時A(a,b)初始化為0，然后對圖像坐標空間的每一個前景點(xi,yi)，將參數空間中每一個a的離散值代入式b=-xia+yi，從而計算出對應的b值。每計算出一對(a,b)，都將對應的數組元素A(a,b)加1，即A(a,b)=A(a,b)+1。所有的計算都結束后，在參數空間表決結果中找到A(a,b)的最大峰值，所對應的a0、b0就是原圖像中共線點數目最多（共A(a0,b0)個共線點）的直線方程的參數；Hough變換——直線檢測接下來可以繼續尋找次峰值和第3第4峰值等，它們對應于原圖中共線點數目略少一些的直線。注意：由于原圖中的直線往往具有一定寬度，實際上相當于多條參數極其接近的單像素寬直線，往往對應于參數空間中相鄰的多個累加器單元。因此每找到一個當前最大的峰值點后，需要將該點及其附近點清零，以防算法檢測出多條極其鄰近的“假”直線。Hough變換——直線檢測2．極坐標參數空間極坐標中用如下參數方程表示一條直線：ρ=xcosθ+ysinθ，式中，ρ代表直線到原點的垂直距離；θ代表x軸到直線垂線的角度，取值范圍為±90°。與直角坐標類似，極坐標中的Hough變換也將圖像坐標空間中的點變換到參數空間中。在極坐標表示下，圖像坐標空間中共線的點變換到參數空間中后，在參數空間都相交于同一點，此時所得到的ρ、θ即為所求的直線的極坐標參數。Hough變換——直線檢測與直角坐標不同的是，用極坐標表示時，圖像坐標空間的共線的兩點(xi,yi)和(xj,yj)映射到參數空間是兩條正弦曲線，并且相交于點(ρ0,θ0)。具體計算時，與直角坐標類似，也要在參數空間中建立一個二維數組累加器A，只是取值范圍不同。對一幅大小為D×D的圖像，通常ρ的取值范圍為，θ的取值范圍為[?90°，90°]。計算方法與直角坐標系中累加器的計算方法是完全相同的，最后得到的最大的A所對應的(ρ，θ)。Hough變換——曲線檢測Hough變換同樣適用于方程已知的曲線檢測。圖像坐標空間中的一條已知的曲線方程也可以建立其相應的參數空間。由此，圖像坐標空間中的一點，在參數空間中就可以映射為相應的軌跡曲線或者曲面。若參數空間中對應各個間斷點的曲線或者曲面能夠相交，就能夠找到參數空間的極大值以及對應的參數；若參數空間中對應各個間斷點的曲線或者曲面不能相交，則說明間斷點不符合某已知曲線。Hough變換做曲線檢測時，最重要的是寫出圖像坐標空間到參數空間的變換公式。Hough變換——曲線檢測對于已知的圓方程，其直角坐標的一般方程為其中(a,

b)為圓心坐標，r為圓的半徑，它們為圖像的參數。那么，參數空間可以表示為(a,b,r)，圖像坐標空間中的一個圓對應參數空間中的一點。具體計算時，數組累加器為三維A(a,b,r)。計算過程是讓a、b在取值范圍內增加，解出滿足上式的r值，每計算出一個(a,b,r)值，就對數組元素A(a,b,r)加1。計算結束后，找到的最大的A(a,b,r)所對應的a、b、r就是所求的圓的參數。Hough變換——曲線檢測這里所說的任意形狀的檢測，是指應用廣義Hough變換去檢測某一任意形狀邊界的圖形。它首先選取該形狀中的任意點(a,b)為參考點，然后從該任意形狀圖形的邊緣上每一點計算其切線方向φ和到參考點(a,b)位置偏移矢量r，以及r與x軸的夾角α，如圖所示。參考點(a，b)的位置可由下式算出。Hough變換——任意形狀檢測利用廣義Hough變換檢測任意形狀邊界的主要步驟如下：（1）在預知區域形狀的條件下，將物體邊緣形狀編成參考表。對于每個邊緣點計算梯度角?i，對每一個梯度角?i，算出對應于參考點的距離Ri和角度αi。（2）在參數空間建立一個二維累加數組A(a,b)，初值為0。對邊緣上的每一點，計算出該點處的梯度角，然后，由上式計算出每一個可能的參考點的位置值，對相應的數組元素A(a,b)加1。（3）計算結束后，具有最大值的數組元素A(a,b)所對應的a、b值即為圖像坐標空間中所求的參考點。Blob分析：（BlobAnalysis）是對圖像中相同像素的連通域進行分析，該連通域稱為Blob。經二值化處理后的圖像中色斑可認為是blob。Blob分析工具可以從背景中分離出目標，并可以計算出目標的數量、位置、形狀、方向和大小，還可以提供相關斑點間的拓撲結構。在處理過程中不是對單個像素逐一分析，而是對圖像的行進行操作。與基于像素的算法相比，大大提高了處理的速度。可以直觀的理解是色斑：就是相同像素組成的一小塊，一小塊的特征尺度檢測-Blob特征檢測實現尺度協變目標是在圖像縮放前后獨立檢測對應區域需要尺度選擇機制來找到與圖像變換協變的特征區域大小尺度檢測-Blob特征檢測Edge=波紋

Blob=兩個波紋的疊加實現尺度協變尺度選擇：拉普拉斯響應的幅度將在斑點中心達到最大值，前提是拉普拉斯的比例與斑點的比例“匹配”尺度檢測-Blob特征檢測我們想通過在幾個尺度上與拉普拉斯算子進行卷積來找到斑點的特征尺度，并尋找最大響應然而，拉普拉斯響應隨著尺度的增加而衰減尺度檢測-Blob特征檢測高斯濾波器的導數對完美階梯邊緣的響應隨著σ的增加而減小尺度檢測-Blob特征檢測為了保持響應相同（尺度不變），必須將高斯導數乘以σ拉普拉斯算子是高斯的二階導數，因此必須乘以σ2尺度檢測-Blob特征檢測高斯拉普拉斯算子：用于二維blob檢測的圓對稱算子尺度歸一化：尺度檢測-Blob特征檢測拉普拉斯算子在多大范圍內對半徑為r的二元圓產生最大響應？為了獲得最大的響應，拉普拉斯算子的零點必須與圓對齊尺度檢測-Blob特征檢測拉普拉斯算子在什么尺度上對半徑為r的二維圓產生最大響應？尺度檢測-Blob特征檢測為了獲得最大的響應，拉普拉斯算子的零點必須與圓對齊忽略尺度因子后，拉普拉斯算子的公式：因此最大響應發生在尺度檢測-Blob特征檢測將blob的特征尺度定義為在blob中心產生拉普拉斯響應峰值的尺度尺度檢測-Blob特征檢測在幾個尺度上用尺度歸一化拉普拉斯算子對圖像進行卷積尺度檢測-Blob特征檢測在幾個尺度上用尺度歸一化拉普拉斯算子對圖像進行卷積尺度檢測-Blob特征檢測在幾個尺度上用尺度歸一化拉普拉斯算子對圖像進行卷積在尺度空間中找到平方拉普拉斯響應的最大值尺度檢測-Blob特征檢測Harris-Laplacian用Harris確定角點位置用Laplacian檢測尺度SIFT(Lowe)利用高斯差分尋找尺度空間中的極值尺度檢測-Blob特征檢測ScaleInvariantFeatureTransform(SIFT)(Lowe,2004)不變性對圖像的旋轉和尺度變化具有不變性;對三維視角變化和光照變化具有很強的適應性;局部特征，在遮擋和場景雜亂時仍保持不變性;辨別力強特征之間相互區分的能力強，有利于匹配;數量較多一般500X500的圖像能提取出約2000個特征點。尺度檢測-SIFT特征檢測DavidG.Lowe,“DistinctiveImageFeaturesfromScale-InvariantKeypoints”,InternationalJournalofComputerVision60(2):91-110(2004),23250cites高斯尺度空間尺度檢測-SIFT特征檢測構建尺度空間:模擬圖像數據的多尺度特征其中G(x,y,σ)是尺度可變高斯函數尺度參數σ決定圖像的平滑程度，大尺度對應圖像的概貌特征小尺度對應圖像的細節特征尺度檢測-SIFT特征檢測高斯尺度空間尺度檢測-SIFT特征檢測DOG尺度空間尺度檢測-SIFT特征檢測為了在尺度空間中檢測穩定的關鍵點，構造高斯差分尺度空間(DifferenceofGaussian,DOG)使用DOG的幾個理由:計算效率高：高斯卷積，減法;高斯差分是對尺度歸一化LoG(σ2?2G)的一個很好的近似，而尺度歸一化的LoG空間具有真正的尺度不變性;實驗比較表明，從尺度歸一化LoG空間中提取的圖像特征的尺度穩定性最好，優于梯度、Hessian或Harris角點函數。尺度檢測-SIFT特征檢測DoG尺度空間，D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)尺度檢測-SIFT特征檢測DoG尺度空間極值點檢測一個點和它同尺度的8個相鄰點以及上下相鄰尺度對應的9×2個點，共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。一個點如果在DOG尺度空間的26個領域中是最大或最小值時，就認為該點是圖像在該尺度下的一個特征點。一個特征點是在三維尺度空間D(x,y,σ)的局部極值點。尺度檢測-SIFT特征檢測

尺度檢測-SIFT特征檢測

尺度檢測-SIFT特征檢測在高斯差分(DifferenceofGaussian,DOG)尺度空間中提取極值點并進行優化從而獲取特征點。尺度檢測-SIFT特征檢測SIFT對于光照和尺度的不變性光照變化尺度變化尺度檢測-SIFT特征檢測特征檢測典型應用Harris角點檢測能夠有效定位圖像中的角點，這些通常是圖像中重要的結構特征點，如物體的邊緣交點、角落等。如下圖所示，應用Harris角點檢測可以快速并準確地識別出圖像中的關鍵角點。通過計算每個像素點處的角點響應函數值，并設定一個閾值來篩選角點，從而在圖中標記出所有滿足條件的角點，從而實現對圖像中重要結構特征的識別。特征檢測典型應用如下圖所示，可以利用Hough變換來識別并繪制出路面上的車道線。通過將圖像中的邊緣點轉換到Hough空間，并尋找具有足夠數量的累積投票的峰值，可以確定圖像中直線的參數，進而繪制出車道線。第八章圖像特征提取與描述

8.1顏色特征提取-顏色直方圖

8.1顏色特征提取-顏色直方圖8.1顏色特征提取-顏色集

8.1顏色特征提取-顏色集

8.1顏色特征提取-顏色相關圖顏色相關圖特征提取流程如下：(1)根據需求選擇適當的顏色空間，如RGB、HSV、Lab等。如果顏色空間有多個通道，將圖像分離成各個顏色通道；(2)創建一個的矩陣，初始化所有元素為零。遍歷圖像像素，在選定顏色空間下獲取顏色值，遍歷所有顏色對并更新顏色相關圖矩陣的相應位置，表示每組顏色對在圖像中共同出現的次數；(3)遍歷整個圖像，得到顏色相關圖矩陣；8.1顏色特征提取-顏色矩

8.2顏色特征提取-顏色矩一階矩（均值）描述顏色通道的平均響應強度，表示圖像中顏色的集中趨勢。如果均值較大，表示圖像中的顏色相對較亮或淺；如果均值較小，表示圖像中的顏色相對較暗或深。不同通道的均值可以得到圖像中哪些顏色通道更強烈地出現。二階矩（標準差）是一種度量顏色分布的離散程度的指標。較大的標準差表示顏色分布較分散，而較小的標準差表示顏色分布較集中。標準差可以得到圖像中顏色的變化幅度。三階矩描述了顏色分布的非對稱性，表征顏色通道數據分布的偏移度。如果三階矩為正值，表示顏色分布右偏，即分布的尾部向右延伸。如果三階矩為負值，表示顏色分布左偏，即分布的尾部向左延伸。三階矩可以提供顏色分布的偏斜方向信息。8.2顏色特征提取-顏色矩區域1一階矩：[61.620770975056686,87.1081179138322,120.01233560090704]二階矩：[55.65124104448242,74.76315384060997,92.0245280929788]三階矩：[0.28897376780360284,0.2865664361765818,0.0924093327933367]區域2一階矩：[118.57197278911565,177.88861678004534,230.52943310657596]二階矩：[53.36030877294406,53.90019265625576,36.67569301261089]三階矩：[-0.2545189390853542,-0.7658406801465157,-2.558900361792029]8.2形狀特征提取-典型簡單形狀特征矩形度：矩形度(Rectangularity)反應目標物體對其外接矩形的充滿程度，用目標物體的面積與其最小外接矩形的面積之比描述：圓形性：目標圓形性(Doularity)是指用目標區域的所有邊界點定義的特征量，其定義式為：8.2形狀特征提取-典型簡單形狀特征

8.2形狀特征提取-典型簡單形狀特征

8.2形狀特征提取-傅里葉描述符

8.2形狀特征提取-傅里葉描述符a)原圖像b)二值化圖像c)輪廓圖d)旋轉放大源圖e)二值化圖像f)輪廓圖后的圖像原始圖像傅里葉描述子向量[0.0000000.1149540.1269950.0403870.0365340.0189020.0114350.0166500.0025730.0172810.0074850.0150530.0083430.0127420.0109070.008600]旋轉后圖像傅里葉描述子向量[0.0000000.1073970.1131760.0383600.0351600.0208430.0109130.0174190.0059870.0158720.0085480.0135560.0086150.0104430.0108090.008233]8.2形狀特征提取-形狀無關矩

8.2形狀特征提取-形狀無關矩

8.2形狀特征提取-形狀無關矩

8.3紋理特征提取-LBP特征描述子原始LBPLBP（LocalBinaryPattern,局部二值模式）的核心思想是使用中心像素的灰度值作為閾值，與其鄰域像素的灰度值進行比較，從而生成二進制編碼來提取局部紋理特征。8.3紋理特征提取-LBP特征描述子a)原始圖像b)LBP特征提取后的可視化圖像8.3紋理特征提取-LBP特征描述子圓形LBPOjala等人對LBP算子進行了改進，用圓形鄰域代替了正方形鄰域，改進后的LBP算子允許在半徑為R的圓形鄰域內有任意多個像素點，從而得到了諸如半徑為R的圓形區域內含有P個采樣點的LBP算子，表示為，三種常見的圓形LBP算子如圖；8.3紋理特征提取-LBP特征描述子

8.3紋理特征提取-LBP特征描述子

8.3紋理特征提取-SIFT特征描述子ScaleInvariantFeatureTransform(SIFT)(Lowe,2004)關鍵點方向確定梯度的幅值和方向的計算為：鄰域像素梯度的計算結果為：

8.3紋理特征提取-SIFT特征描述子完成關鍵點梯度計算后，使用直方圖統計關鍵點鄰域內像素的梯度幅值和方向：每個特征點必須分配一個主方向的同時，還需要一個或多個輔方向，增加輔方向的目的是為了增強圖像匹配的魯棒性。

8.3紋理特征提取-SIFT特征描述子獲得圖像關鍵點主方向后，每個關鍵點有三個信息：位置、尺度、方向。由此我們可以確定一個SIFT特征區域。8.3紋理特征提取-SIFT特征描述子關鍵點描述通過以上步驟，每個關鍵點被分配位置，尺度和方向信息。然后我們為每個關鍵點建立一個描述符；為了保證特征點的旋轉不變性，以特征點為中心，將坐標軸旋轉為關鍵點的主方向；8.3紋理特征提取-SIFT特征描述子

8.3紋理特征提取-HoG特征描述子8.3紋理特征提取-SURF特征描述子SURF特征描述子的計算主要包括以下步驟：1)尺度空間構建：對圖像進行多次高斯模糊，以構建尺度空間，在不同尺度上檢測關鍵點。2)關鍵點檢測：在尺度空間上，通過檢測圖像的局部最大值和最小值來找到關鍵點。使用Hessian矩陣的行列式來確定關鍵點的強度和尺度。3)方向分配：對于每個關鍵點，計算其周圍區域的梯度方向直方圖。確定梯度方向直方圖中的主要方向，作為關鍵點的主方向。4)關鍵點描述：將關鍵點附近的圖像區域劃分為小的子區域（例如4x4的子區域）。對于每個子區域，計算梯度的幅值和方向。使用這些幅值和方向信息生成描述子，通常是一個包含向量的數組。5)描述子歸一化：對生成的描述子進行歸一化，以增強描述子的魯棒性。對描述子進行修剪，確保其不超過某個閾值。第九章圖像特征匹配

特征匹配的策略特征匹配的基本思路：通過度量特征描述子之間的距離來評估它們之間的相似性，距離越小表示特征之間的相似度越高，匹配程度也就越高。常見的距離度量方法包括歐氏距離、漢明距離和曼哈頓距離特征匹配的策略基于單閾值法的圖像特征匹配思想：閾值內的所有特征均匹配特征匹配的策略基于最近鄰法的圖像特征匹配思想：閾值內的，距離最近的特征匹配特征匹配的策略基于最近鄰比值法的圖像特征匹配思想：最近鄰距離比率在閾值內的特征匹配最近鄰距離比率：特征匹配的評價標準預測結果真實結果匹配不匹配

匹配TP（正確肯定）FN（漏報）

不匹配FP（誤報）TN（正確否定）真陽性率：假陽性率：陽性預測值：特征匹配的評價標準理想的ROC曲線以假陽性率為橫軸，真陽性率為縱軸，隨著匹配閾值的變化，可以在二維坐標系上得到一系列點，連接這些點可以得到ROC（ReceiverOperatingCharacteristic）曲線。暴力匹配(a)原圖像(b)原圖像視角變換后的圖像暴力匹配思想：遍歷倆幅圖像中的所有特征，尋找距離最近的一組特征匹配。優點：易于理解和實施。缺點：準確度不高，容易出現錯誤匹配。暴力匹配圖像進行暴力匹配后的結果KD-樹匹配構造KD-樹：1、選擇特征描述符一個特征維度用于將數據點進行切分；2、在選定的維度上選擇一個值，根據大小將數據點分為兩個子集；3、根據所劃分的兩個子集構建左右兩個子樹；4、對于每個子樹，重復選擇劃分維度和劃分值的步驟，直到達到終止條件。查詢KD-樹：1、從根節點開始，在當前維度上選擇與查詢點值最接近的子樹，遞歸地向下遍歷KD-樹；2、在每次訪問的節點上計算查詢點與該節點之間的距離3、完成對一個子樹的遍歷后，會回溯到父節點，并檢查另一個子樹是否可能包含更近的點；KD-樹匹配KD-樹匹配結果RANSAC算法RANSAC是一種通過反復選擇數據集并迭代估計出較好模型的算法。步驟：1、隨機從特征點匹配的數據集中隨機抽出4個樣本數據(此4個樣本之間不能共線)，然后計算出變換矩陣H，記為模型M；

變換矩陣公式：?2、計算數據集（所有特征匹配點）中所有數據與模型M的投影誤差，若數據的投影誤差小于設定的閾值，則將該數據加入內點集I；

投影誤差：RANSAC算法3、如果當前內點集I元素的個數大于最優內點集I_best，則更新I_best=I，同時更新迭代次數k（最優內點集不一樣，對應的更新迭代次數k也就不同)；k的計算公式：4、如果計算的迭代次數大于k（由I_best計算得到），則退出；否則迭代次數加1，并重復上述步驟。RANSAC算法應用RANSAC匹配的結果視覺系統成像模型

視覺成像模型如果在膠片前放置一個物體是否能夠得到該物體的像?視覺成像模型如果在膠片前放置一個物體是否能夠得到該物體的像?視覺成像模型如果在膠片前放置一個物體是否能夠得到該物體的像?可以增加一個帶有開孔的障礙物減少像平面的模糊程度此開孔就被稱為光圈針孔模型理想的針孔：只有一束光線到達膠片上圖像可以非常暗淡產生衍射效應針孔模型理想的針孔：只有一束光線到達膠片上圖像可以非常暗淡產生衍射效應使針孔變大(即光圈)會使圖像模糊薄透鏡模型透鏡將光線聚焦到像平面上透鏡將光線聚焦到像平面上穿過光學中心的光線沿直線傳播平行于光軸的所有光線都匯聚在焦點處薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型薄透鏡模型f、z和e之間有什么關系？薄透鏡模型f、z和e之間有什么關系？相似三角形原理薄透鏡模型f、z和e之間有什么關系？相似三角形原理薄透鏡模型f、z和e之間有什么關系？薄透鏡公式薄透鏡模型如果z>>f會怎樣？需要調整圖像平面，使無窮遠處的物體聚焦薄透鏡模型如果z>>f會怎樣？需要調整圖像平面，使無窮遠處的物體聚焦薄透鏡模型如果z>>f會怎樣？需要調整圖像平面，使無窮遠處的物體聚焦薄透鏡模型如果z>>f會怎樣？需要調整圖像平面，使無窮遠處的物體聚焦薄透鏡模型如果z>>f會怎樣？薄透鏡模型為方便起見，圖像平面通常表示在光心的前面，以便圖像保持相同的方向(即不翻轉)透視投影模型為方便起見，圖像平面通常表示在光心的前面，以便圖像保持相同的方向(即不翻轉)相機不測量距離，而是角度！透視投影模型相機坐標系內Pc=(Xc,0,Zc)T投影到圖像平面上形成p=(x,y)由相似三角形：類似的有：透視投影模型要將p從局部圖像平面坐標(x,y)轉換為像素坐標(u,v)，需要考慮：相機光學中心的像素坐標O=(u0,v0)像素大小的比例因子k通過引入一個額外的元素(比例)，使用齊次坐標表示從3D到2D的線性映射：透視投影模型透視投影模型透視投影模型透視投影模型透視投影模型畸變模型透視投影模型徑向畸變的標準模型是從理想坐標(u,v)，即未畸變，到真實可觀察坐標(畸變)(ud,vd)的變換這時圖像坐標的失真量是其徑向距離的非線性函數。對于大多數鏡頭，一個簡單的失真二次模型會產生良好的效果式中透視投影模型視覺系統硬件選型影響機器視覺成像系統成像質量的因素較多，主要包括光源(llumination)、系統分辨率(SystemResolution)、像素分辨率(PixelResolution)、對比度(Contrast)、景深(DepthofField,DOF)、投影誤差(PerspectiveError)和鏡頭畸變(LensDistortion)。視覺系統的硬件構成|光源LED光源特點可制成各種形狀、尺寸及各種照射角度；可根據需要制成各種顏色，并可以隨時調節亮度；通過散熱裝置，散熱效果更好，光亮度更穩定；使用壽命長（約3萬小時，間斷使用壽命更長）；反應快捷，可在10us或更短的時間內達到最大亮度；電源帶有外觸發，可以通過計算機控制，起動速度快，可以用作頻閃燈；運行成本低、壽命長的LED，會在綜合成本和性能方面體現出更大的優勢；可根據客戶的需要，進行特殊設計。視覺系統的硬件構成|光源光源除了類型不同，還有各種各樣的形狀與設計，比如條形光源，環形光源，背光源(面光源)等等。通用照明一般采用環狀或點狀照明。環燈是一種常用的通用照明方式，其很容易安裝在鏡頭上，可給漫反射表面提供足夠的照明。視覺系統的硬件構成|光源背光照明是將光源放置在相對于攝像頭的物體的背面。這種照明方式與別的照明方式有很大不同因為圖像分析的不是反射光而是入射光。背光照明產生了很強的對比度。應用背光技術時候，物體表面特征可能會丟失。例如，可以應用背光技術測量硬幣的直徑，但是卻無法判斷硬幣的正反面。視覺系統的硬件構成|光源同軸照明是與攝像頭的軸向有相同的方向的光照射到物體的表面。同軸照明使用一種特殊的半反射鏡面反射光源到攝像頭的透鏡軸方向。半反射鏡面只讓從物體表面反射垂直于透鏡的光源通過。同軸照明技術對于實現扁平物體且有鏡面特征的表面的均勻照明很有用。此外此技術還可以實現使表面角度變化部分高亮，因為不垂直于攝像頭鏡頭的表面反射的光不會進入鏡頭，從而造成表面較暗。視覺系統的硬件構成|光源暗域照明是相對于物體表面提供低角度照明。使用相機拍攝鏡子使其在其視野內，如果在視野內能看見光源就認為是亮域照明，相反的在視野中看不到光源就是暗域照明。因此光源是亮域照明還是暗域照明與光源的位置有關。典型的，暗域照明應用于對表面部分有突起的部分的照明或表面紋理變化的照明。視覺系統的硬件構成|鏡頭機器視覺成像系統使用的鏡頭通常由凸透鏡和凹透鏡結合設計而成。凸透鏡可對光線進行匯聚，也稱為會聚透鏡或正透鏡。凹透鏡對光線具有發散作用，也稱為發散透鏡或負透鏡。與鏡頭相關的主要技術參數有鏡頭分辨率、焦距、最小工作距離、最大像面、視場／視場角、景深、光圈和相對孔徑及其安裝接口類型等。視覺系統的硬件構成|鏡頭鏡頭分辨率表示它的空間極限分辨能力，常用拍攝正弦光柵的方法來測試。鏡頭分辨率越高，則說明其每毫米內能分辨的線對數越多。對于機器視覺系統設計來說，只需要查詢鏡頭參數表即可獲知其分辨率。相機的空間分辨率卻表示它的空間極限分辨能力，可以通過像素的物理大小來計算相機的空間分辨率。視覺系統的硬件構成|鏡頭對于鏡頭和相機構成的成像系統來說，整個系統的空間分辨率取鏡頭和相機空間分辨率的最小值。只有鏡頭的空間分辨率大于相機的空間分辨率時，才能確保成像系統的空間分辨率最佳。在機器視覺系統設計時，經常所說的系統分辨率并不是指系統對線對的空間極限分辨力，而是指系統可以識別檢測目標中最小特征的能力。視覺系統的硬件構成|鏡頭焦距是指無限遠處目標在鏡頭的像方所成像位置到像方主面的距離。焦距體現了鏡頭的基本特性：即在不同物距上，目標的成像位置和成像大小由焦距決定。市面上常見的鏡頭焦距大小包括6mm、8mm、12.5mm、25mm以及50mm等。一般在鏡頭的產品參數中都會說明其最小工作距離。當相機在小于該最小工作距離的環境下工作時，就會出現圖像失真，影響機器視覺系統的可靠性。視覺系統的硬件構成|鏡頭最大像面是指鏡頭能支持的最大清晰成像范圍(常用可觀測范圍的直徑表示)，超出這個范圍所成的像對比度會降低而且會變得模糊不清。鏡頭的視場就是鏡頭最大像面所對應的觀測區域。視場角是視場的另一種表述方法，視場角等于最大像面對應的目標張角。通常，在遠距離成像系統中，例如望遠鏡、航拍鏡頭等場合，鏡頭的成像范圍均用視場角來衡量。而近距離成像中，常用實際物面的直徑(即幅面)來表示。視覺系統的硬件構成|鏡頭常按照鏡頭的視場角對其進行分類，如望遠鏡(6°~12°)、遠距攝像鏡頭(12°~46°)、標準鏡頭(46°~65°)、廣角鏡頭(65°~100°)等。在構建機器視覺系統(特別是精確測量系統)時，一般都不會選擇焦距小于8mm或視場角很大的鏡頭。一般來說，必須確保所選鏡頭可支持的最大傳感器尺寸大于或等于相機的傳感器尺寸。這樣做的另一個主要原因是為了避免漸暈現象的發生。視覺系統的硬件構成|鏡頭常見的接口標準有C接口(C-mount)、CS接口(CS-mount)和F接口(F-mount)。目前C和CS接口的鏡頭及相機占主導地位，F接口常用于高像素數的線掃描相機(2048像素以上)，獲取比C和CS接口鏡頭更大的圖像。只要為C接口鏡頭配備一個5mm的擴展管(轉換器)，就可以得到CS接口的鏡頭，但CS鏡頭卻不能與C接口的相機搭配使用。C接口的3CCD相機不能和C接口鏡頭協同工作，因此需要查閱相機供應商提供的鏡頭兼容性列表。視覺系統的硬件構成|成像芯片CMOS(ComplementaryMetalOxideSemiconductor)圖像傳感器的開發最早出現在20世紀70年代初。20世紀90年代初期，隨著超大規模集成電路(VLSI)制造工藝技術的發展，CMOS圖像傳感器得到迅速發展。CMOS圖像傳感器的光電轉換原理與CCD圖像傳感器相同，二者的主要差異在于電荷的轉移方式上。視覺系統的硬件構成|成像芯片CCD傳感器芯片將電荷轉換為模擬信號，再經放大、A/D轉換后才以數字信號形式輸出。CMOS傳感器芯片直接將每個電荷放大后轉換為數字信號輸出，往往成像一致性差。CCD在電荷轉移過程中不會失真，且信號統一放大后才輸出，因此成像質量和一致性高。CCD傳感器有更大的填充因子和更高的信噪比，對光更加敏感，更適應低對比度的場合。CMOS傳感器可以獲得比CCD傳感器高很多的圖像傳輸速度，更適用于高速場合。視覺系統的硬件構成|成像芯片CMOS傳感器的信號經過放大后才進行轉移，所以它的功耗要比CCD低，更適用于應于便攜設備。CCD制造工藝相對復雜，目前只有TeledyneDALSA、Sony、Panasonic等少數