1、圖像的預處理技術圖像處理按輸入結果可以分為兩類，即輸入輸出都是一副圖像和輸入一張圖像輸出不再是圖像的數據。圖像處理是個很廣泛的概念，有時候我們僅僅需要對一幅圖像做一些簡單的處理，即按照我們的需求將它加工稱我們想要得效果的圖像，比如圖像的降噪和增強、灰度變換等等。更多時候我們想要從一幅圖像中獲取更高級的結果，比如圖像中的目標檢測與識別。如果我們將輸出圖像中更高級的結果視為目的的話，那么我們可以把輸入輸出都是一幅圖像看作是整個處理流程中的預處理。下面我們將談到一些重要的預處理技術。(一)圖像增強與去噪圖像的增強是一個主觀的結果，原來的圖像按照我們的需求被處理成我們想要的效果，比如說模糊、銳化、灰度

2、變換等等。圖像的去噪則是盡可能讓圖像恢復到被噪聲污染前的樣子。衡量標準是可以度量的。不管是圖像的增強與去噪，都是基于濾波操作的。1.濾波器的設計方法濾波操作是圖像處理的一個基本操作，濾波又可分為空間濾波和頻域濾波。空間濾波是用一個空間模板在圖像每個像素點處進行卷積，卷積的結果就是濾波后的圖像。頻域濾波則是在頻率域看待一幅圖像，使用快速傅里葉變換將圖像變換到頻域，得到圖像的頻譜。我們可以在頻域用函數來保留或減弱/去除相應頻率分量，再變換回空間域，得到頻域濾波的結果。而空間濾波和頻域濾波有著一定的聯系。頻域濾波也可以指導空間模板的設計，卷積定理是二者連接的橋梁。(1)頻域濾波使用二維離散傅里葉變換

3、(DFT)變換到頻域:F(u,v)f(x,y)ei2(ux/Mvy/N)使用二維離散傅里葉反變換(IDFT)變換到空間域：M1N11i2(ux/Mvy/N)f(x,y)F(u,v)e'y)MNu0v0在實際應用中，由于該過程時間復雜度過高，會使用快速傅里葉變換(FFT)來加速這個過程。現在我們可以在頻域的角度看待這些圖像了。必須了解的是，圖像中的細節即灰度變化劇烈的地方對應著高頻分量，圖像中平坦變化較少的地方對應著低頻分量。圖像中的周期性圖案/噪聲對應著某一個頻率區域，那么在頻域使用合適的濾波器就能去除相應的頻率分量，再使用傅里葉反變換就能看到實際想要的結果。不同的是，在頻域的濾波器不

4、再是做卷積，而是做乘積，因為做乘法的目的在于控制頻率分量。比較有代表性的有如下幾個濾波器:高斯低通濾波器H(u,v)D2(u,v)/22eD是距離頻率矩形中心的距離。該濾波器能保留低頻分量，逐漸減小高頻分量，對原圖像具有模糊作用。高斯高通濾波器H(u,v)1eD2(u'v)/2D°可以看出高斯高通濾波器就是高斯低通濾波器的一個上下對稱的函數，同理，該濾波器可以保留高頻分量，減小低頻分量，對圖像有銳化的效果。陷波濾波器QH(u,v)Hk(u,v)Hk(u,v)k1陷波濾波器就是這樣的一些高通濾波器的乘積。每個高通濾波器的中心都被移至希望抑制的頻率處，達到選擇性濾波的目的。這只是

5、幾種典型的濾波器，為了實際需求還有很多不同效果的，不管哪種濾波器，都是為了濾除我們不希望存在的頻率分量。(2)空間濾波空間濾波的基礎是卷積，用一個濾波的模板對圖像做卷積。卷積的離散定義如下：abw(x,y)f(x,y)w(s,t)f(xs,yt)satb所以，空間濾波就是使用設計好的模板滑過圖像，對每一處都進行卷積操作，計算結果就是濾波后的圖像。一些簡單的空間濾波器，比如均值濾波器、統計排序濾波器、銳化濾波典堂堂命守守。關于空間濾波器的設計，我們須知道，有些濾波器的設計有著很明顯的意義。有些則沒有那么不容易理解。有直接意義的比如均值濾波器、統計排序濾波器，這類的都很好理解，均值濾波器就是對某個

6、像素的鄰域內像素取均值，很容易知道取完均值就能將該像素與鄰域像素處灰度接近，也就達到了平滑圖像的目的。統計排序濾波器的作用是將一個鄰域內的灰度排序后的中值替代中心像素值。可以想象，脈沖噪聲可以被輕易的去除。那么在空間濾波器沒那么容易直接設計的時候，其實它的設計是和頻域濾波密切相關的。下面我們介紹其原理。首先我們介紹一下卷積定理：f(x,y)h(x,y)F(u,v)H(u,v)雙箭頭代表傅里葉變換對，即兩個函數在空間里的卷積的傅里葉變換等價于它們各自傅里葉變換的乘積。由卷積定理可以知道，在頻域進行濾波的時候，濾波的結果等于頻域濾波器的傅里葉反變換在空間域對圖像進行卷積。也就是說我們可以通過頻域的

7、濾波器得到相應的空間濾波器。在這個對應的過程中，需要對相應的空間函數進行取樣，并保證模板中的系數之和為零。一旦找到了適用于某個應用的濾波器，可以使用硬件設備直接在空間域實現該濾波器。2.圖像去噪(1)均值濾波均值濾波即求某個像素點鄰域內像素值的均值，然后賦給該中心點像素。求均值的時候，并不是一定要嚴格的算術平均值，鄰域內像素點可以有不同的權值，但要系數之和為1。均值濾波可以去除由掃描得到的顆粒噪聲。但是缺點是會模糊圖像。(2)中值濾波算法的原理是將某個像素鄰域內的像素值排序，取中值替代中心像素值。是一種非線性平滑濾波器，能將與周圍差別過大的像素值替代成為與周圍像素值相似的值，可以有效去除椒鹽噪

8、聲。(3)維納濾波計算局部方差，局部方差越強，平滑作用越強，可以使得恢復的圖像與原始圖像的均方誤差最小。相對于均值濾波來說，這種方法對保留圖像細節即高頻分量有不錯的效果，不過計算量大，對于白噪聲有不錯的抑制效果1。(4)小波閾值去噪法這種方法的原理如下，將帶噪圖像進行小波分解將圖像信號分解到各個尺度中，然后把每一尺度中屬于噪聲的小波系數去掉，保留并增強屬于圖像信號的系數。最后使用小波逆變換重構出圖像。在去掉屬于噪聲的系數的時候，要預先設定一個閾值，若小波系數小于閾值，則認為該系數主要由噪聲引起，則去除這部分系數。反之若大于閾值，則保留。閾值的選取方法如下。全局閾值：2lnN為噪聲標準方差，為信

9、號長度。除了全局閾值還有局部適應閾值，閾值的選取直接影響到去噪的效果。()雙邊濾波雙邊濾波器和經典的高斯濾波器一樣運用了局部加權平均，不同之處在于雙邊濾波器的權值由兩部分因子的乘積組成，一部分由像素間的空間距離決定，稱之為空間臨近度因子；另一部分由像素間的亮度差決定，成為亮度像似度因子。雙邊濾波器比較于經典的低通濾波器來說，具有保持邊緣細節的最大優點，同時有不錯的去噪能力。:、目標識別（一）傳統方法1.圖像特征提取的方法在數字圖像處理中，要想對一幅圖像做更高級的處理，即不再是輸入輸出都是圖像的話，就需要對圖像轉換成利于計算機處理的形式。最基本的思想是將圖像的特征提取出來，這一個個特征值組合成一

10、個特征向量，用以標識一幅圖像，這樣就把圖像的分類問題轉化成了向量的分類問題。值得注意的是，傳統方法中的特征提取方法很大程度上是基于問題的。比如汽車車型的識別可以通過識別長寬比與頂棚與車長的比；指紋識別中，脊線上的分叉點和端點又成了我們所關注的特征點；人臉識別中，一種簡單的辦法是選取鼻尖，嘴角，眼珠這些特征點；識別一個物體是不是蘋果，那么可以選取圓度率，形狀數，紋理的一致性和平均嫡度，顏色等等特征。總的來說，傳統方法在解決一系列圖像識別問題的時候，要具體問題具體分析。（1）圖像分割所謂圖像分割是根據灰度、色彩、紋理和幾何形狀等特征把圖像劃分成若干個互不相交的區域，使得在同一區域內的特征具有相似性

11、，而在不同區域間表現得不同3。灰度圖像有兩個基本性質：不連續性和相似性。關注圖像的不連續性的話，則以灰度突變為基礎來分割一幅圖像；如果關注相似性的話，則根據預定義的準則將圖像分割為相似的區域，這類方法有閾值處理，區域生長，區域分類和聚合等，最實用的是閾值處理技術。基于灰度突變的邊緣檢測圖像的大部分信息都存在于圖像的邊緣中，主要表現為圖像局部特征的不連續性，即圖像中會的變化較為劇烈的地方。因此我們把邊緣定義為圖像中灰度發生急劇變化的區域邊界4。目前幾種常用的邊緣檢測算法有基于梯度的邊緣檢測、高斯拉普拉斯（LoG）算子、坎尼邊緣檢測算法。1）基于梯度的邊緣檢測Sobel算子是一種一階微分算子，通過

12、計算臨近像素與中心像素的插值來近似該點的一階導數。這個過程可以通過一個Sobel卷積模板來實現。該模板形式如下。算法過程為：對圖像進行預處理即平滑操作，通過Sobel模板來計算出每個像素點的梯度，再根據預設的閾值來對梯度值進行取舍。2）高斯拉普拉斯（LoG）算子由于噪聲點對邊緣檢測影響較大，所以由高斯濾波和拉普拉斯算子結合，形成高斯拉普拉斯算子。由高斯函數根據拉普拉斯算子的公式求導可得。22/22xy1xyLoG（x,y）4122e用LoG濾波器對圖像進行濾波這個過程實際上是該濾波函數與圖像進行卷積。由于高斯拉普拉斯兩個操作是線性的，所以這個過程可以變換為先對圖像進行高斯低通濾波，再計算其拉普

13、拉斯。是二維高斯函數的標準差，也稱空間常數。在實際應用中，通常用一個二維空間模板來近似LoG,對該函數的值進行取樣，并保證模板中各個系數之和為零。下圖為一個55模板。-00100-012101 2-16210121000100這個模板可以是nn的，在做完這一步后，需要尋找零交叉，方法是在每個像素點的33領域內，測試左右、上下、兩個對角這四對像素值，要求至少有兩對滿足以下要求：兩值符號不同，且兩者差的絕對值要大于某個預設的閾值。這時就找到了一個零交叉像素。使用零交叉可以檢測出大部分主要的邊緣，而濾掉了一些弱的邊緣信息。比如粗糙的紋理也會產生的一些“無關”的邊緣。3）坎尼邊緣檢測算法這個算法的主要

14、步驟為：用高斯濾波器平滑輸入圖像；計算梯度幅度和方向；對梯度幅值圖像采用非最大抑制，此舉是為了細化邊緣；最后使用雙閾值處理和連接分析來檢測并連接邊緣。這個算法的有點事輸出的邊緣質量很高，保留了主要的邊緣，消除了非主要的“偽邊緣”，但是算法實現起來更為復雜，運行速度偏慢，可能會滿足不了一些應用中的實時性要求。閾值處理基于閾值法的分割圖像是一種十分簡單卻又有效的分割算法。這種算法根據圖像中不同區域具有不同的灰度級這一特性，按照灰度級來對圖像進行劃分，灰度級相近的被視為同一個區域。在一些注重效率的場合，這種方法得到了廣泛的應用5。這里介紹一種最經典的方法，即otsu法，現今的很多新的方法都是在此基礎

15、上進行了改進。Otsu法的算法流程如下：1 .計算圖像的直方圖，并標記各個分量。2 .對各個分量計算分到類別1中的概率，這個類別1和類別2是被一個閾值k劃分開的，計算方法為kP1(k)Pii03 .計算全局灰度均值，i為灰度級。L1mGiPi1 04.計算類間方差，m(k)和mG的計算方法相同。2 mG-k)m(k)BP1(k)1P1(k)5.選取使得類間方差最大的k值，即為Otsu閾值。一旦閾值選取，則按閾值對圖像進行劃分。對Otsu法的改進有二維Otsu算法，這是基于二維灰度直方圖來尋找最佳閾值。總的來說，無論用那種閾值方法，我們總期望于找到一個最佳的閾值，即能使得各個灰度級聚合的區域盡可

16、能的分開。但閾值法也有個問題在于，如果目標物體和背景的灰度級差別很小時，或者目標區域和背景的灰度級存在著交叉的時都會導致閾值法的效果變得很差。(2)目標特征的表示和描述方法對于我們感興趣額目標區域，我們必須使用某些方法來將里面的特征進行表示和描述，這可以被視為特征提取的關鍵步驟，對于特征，我們之前也已經談過了，特征是基于問題的，不同的具體問題，我們需要的特征信息也不盡相同。但我們需要的特征信息大致可以分為：點和線的幾何形狀特征(這個幾何特征既包括空間位置關系也包括幾何形狀特征)，區域特征(比如目標區域的紋理信息，某些情況下即使幾何信息一致，紋理信息不一致我們也不會將其識別為同一個物體)，PCA

17、分析，結構方法等。邊界的表示方法在對邊界信息進行表示描述之前，我們必須得進行一些準備工作，因為邊界本質上是由邊界像素的集合構成的，所以，我們需要首先找到這樣一個邊界像素的序列，方法是用邊界追蹤算法，在每個像素點處尋找八領域內的下一個邊界點，不停的迭代，直到回到起始點。這些邊界點，我們可以使用鏈碼來表述。對于一個形狀很復雜的邊界來說，將每個細節都納入我們要表示的范圍是一件很不明智的事情，這個時候就需要對這個復雜的形狀進行簡化，一種經典的算法是MMP算法，使用最小周長多邊形來表示邊界。這種方法的直觀效果是將這個近似邊界想象成一個可以收縮的橡皮筋，當出于邊界內的橡皮筋收縮的時候，橡皮筋便會緊貼豬邊緣

18、的“外墻”和“內墻”，由于有些原始邊界總體方向沒變，但在局部反復變化，這種方法就能用一條線來替代原始的復雜邊，達到簡化邊界的目的。還有一些方法比如使用類似于極坐標系的標記圖來將二維的像素點轉化為一維的函數，方便使用。對于一些簡單的區域，可以使用形態學的細化方法來將該區域轉化成為一個“骨架”，這樣就用這個簡單的骨架線段來表示出了該區域的形狀特征。用少量的線段表示出了一個區域的形狀特征，雖然當表示出后處理起來會比較快，但是這個細化出“骨架”的過程并不是那么有效率的。區域的表示方法一些簡單的描述比如邊界的周長、面積。表示區域致密性的圓度率，即面積和周長平方之比。還有一些比如灰度的均值、中值、最大最小

19、值等等。關于區域，我們有時候還會關心這些區域里面拓撲性質。比如圖像中聯通分量的數目。關于一個區域，一個很重要的描述特征是該區域的紋理特征。關于紋理，我們常用以下幾個度量：I 1平均灰度：mip(i)i代表灰度級。i0II關于均值的i的n階矩：n(z)(im)np(i),其中，二階矩是對比度的度量。I 0三階矩是直方圖偏斜度的度量，四階矩則是直方圖相對平坦度的度量。II一致性度量：U(z)p2(i),值越大代表一致性越高，也就是紋理越平滑。I 0II平均嫡度：e(z)p(i)10g2P(i),嫡度和一致性相反，代表紋理特征的混亂1 0程度，嫡度越高代表紋理越粗糙。此外，除了這幾個度量以外，我們還

20、希望能夠度量紋理的“形狀”，因為基于統計的以上幾個度量只能分析出區域紋理的總體灰度分布情況，得不到像素彼此之間的相對位置的特征。如果想衡量這個特征，可以用共生矩陣來度量。2 .模式分類器模式就是描繪子的組合，即特征的組合。我們的識別問題在這樣的特征描述機制下就轉變成為了模式的分類問題。目標圖像和模板圖像如果“匹配”，那么我們說識別到了目標圖像，在模式的角度來看，則是，這兩個模式向量很接近，我們可以把它劃分到一類模式中，那么這個模式向量就被識別了。(1)基于線性可分問題的分類器決策面是指將各個模式向量分開的那個面或者超平面。一些簡單的分類器用單個的決策面來劃分模式向量，常用的有最小距離分類器、貝

21、葉斯分類器、單層感知機等。最小距離分類器簡單的說，就是比較目標向量與兩個平均向量之間的距離，兩個平均向量來自兩組樣本的平均。只有當兩組樣本類相關性很小，且每個類呈“球狀”比較均勻地分布在均值附近時分類效果會很好。貝葉斯分類器是基于統計方法的分類器，是根據變量與變量間的因果關系進行建模6,這種分類器的思想是為目標模式向量計算平均損失，將該向量以最低損失賦給相應的類，那么總體平均損失會是最低的。這種方法由于將平均損失降到最低，故具有最小的錯誤率，但這是建立在假設向量分布為高斯的基礎上，在某些問題上效果不好。(2)一些分類能力更強的分類器但不是每個問題都是線性可分的，在這種情況之下，簡單的解決線性可

22、分問題的分類器是沒辦法勝任的。我們需要分類器必須具有將這些相關性很強的模式向量分開的能力。目前來說，比較常用的有SVM支持向量機、多層神經網絡等技術。SVM支持向量機SVM的最大亮點在于引進了核函數和結構風險函數。核函數的作用是向量映射到另一個向量空間，并且保證這種映射可以將之前的線性不可分在另一個向量空間變得線性可分，是線性到非線性的橋梁。結構風險函數的引入不但使得分類誤差最小，還要是所有決策面中最優的，這個最優體現在對樣本點的分布結構進行趨近。這也提高了機器學習的泛化能力7。級聯分類器級聯分類器的思想就是將多個強弱分類器進行串聯組合，最終通過所有分類器的話則被視為檢測到了目標。一般來說，弱

23、分類器會被置于級聯分類器的前級，被任何一個分類器“否決”的特征被視為肯定不是目標的特征。簡單地說就是，被任意一個分類器“承認”的特征不一定是目標的特征，但是被否決的一定不是目標的特征，所以前級的弱分類器可以快速地濾除非目標的檢測窗口。在目標檢測這類的問題中。最大的問題是該如何確定目標的位置。很容易想到的辦法是，用一個能容納待檢測目標的窗口在圖像上滑動，使得窗口的中心滑過每個像素點，然后在每一步都檢測該窗口內是否含有待檢測的目標。但是問題是，一幅圖像上的像素點數目十分龐大，如果在每個像素點處都進行目標檢測判定，是肯定不能滿足實時性需求的。問題在于每次檢測都很費時，所以這種級聯結構很適合處理目標檢

24、測類的問題。它通過簡單的前級分類器就將大量的不包含待檢測目標的窗口排除，而那些可能包含待檢測目標的窗口則被送到后級更復雜的分類器中進行判定8。這大大加快了檢測速度。這類級聯分類器在行人檢測和人臉檢測等問題中已經有了很成功的應用。多層前饋神經網絡人工神經網絡的最基本的組成單位是一個神經元。神經元的基本結構由輸入連接、加法器、激活函數組成。輸入連接是來自輸入模式向量或者上一層神經元的輸出。將輸入信號在加法器中進行加權求和，每根連接上都有特定的權值。激活函數是加法器結果和該神經元輸出的一個映射函數，常見的激活函數有Sigmoid、Tanh、ReLU等。ReLU由于簡單有效獲得了廣泛的應用。人工神經網

25、絡就是由若干個神經元排列連接構成。每一層的神經元都按照上述方法計算輸出值，該輸出就作為下一層神經元的輸入，按照這樣的方法計算，直到神經網絡的最后一層，若最后一層的第i個輸出為高，而其它輸出為低，則網絡將模式向量x識別為類Wi。人工神經網絡的學習也稱為訓練，方法是調整每個連接上的參數。調整的算法為反向傳播算法。該算法的主要思想是計算輸出層中的期望值和真實值的誤差平方，與誤差關于權重的偏導數成比例地調整權重，能達到使得誤差函數取得最小值的目的。每層都按照這一規則來調整，反向地調整整個網絡的連接權值。在系統在使用訓練集進行訓練后，就可以使用這一網絡來對目標的模式向量來進行分類。我們來分析一下多層神經

26、網絡的分類能力，即它的決策機制。我們知道一個單層感知機可以實現用一個超平面來劃分模式向量。如果將網絡層數增加的話，決策面就會變得相應的復雜，理論上，三層網絡可以實現任意復雜的決策面。正是由于這個特性，多層神經網絡的分類能力相比于傳統分類器來說，計算速度更快、分類能力更強。（二）深度學習在圖像處理中的應用近些年深度學習在涉及人工智能的各個領域都取得了廣泛的應用，在圖像處理這個領域，不得不談的是卷積神經網絡。卷積神經網絡最大的優點是自帶低層特征提取這一能力。可以直接將整個圖片輸入系統，由系統自己去提取該圖片具有的特征并進行識別9。我們在前一節介紹過多層前饋式神經網絡的結構和性能，而卷積神經網絡和傳

27、統的多層神經網絡結構相比，對模式的分類能力沒有任何下降，因為卷積神經網絡在最后也有全連接層，相當于傳統的多層神經網絡，而在前級層中，為提取圖像特征增加了卷積層和池化層，卷積層是特征提取的關鍵，卷積在圖像處理中有著特殊的作用，卷積和相關操作都有一個重要的能力就是“匹配”，將模板滑過圖像進行卷積，卷積的結果值代表了目標區域和模板的“相關性”，值越高則匹配結果越好，池化層則是做到一個將計算結果進行取樣的作用，就這樣一層卷積層一層池化層不斷重復的結構，就能將圖像的特征由最初的邊緣特征到更高級的特征，層層“理解”圖像，最終得到一個最終的特征向量，再在全連接層里對該模式向量進行分類，以達到識別整張圖像的目

28、的。接下來我們將對卷積神經網絡的技術細節進行簡單的表述。卷積神經網絡的結構卷積神經網絡的結構如下圖所示，通過這個結構也能看清整個圖像的處理流程。首先我們來看卷積層。卷積層是卷積神經網絡特征提取的關鍵所在。我們以第一層卷積層為例，輸入一張待處理的圖像，然后放入第一層卷積層進行卷積處理。卷積單元的結構類似以一個“手電筒”，一個手電筒里面有若干個卷積模板，每個手電筒只能“看見”一個固定大小的區域，有這樣若干個完全一樣的手電筒，一起點亮了整幅圖像。若每個手電筒里面有四個模板，則點亮四次后，可以輸出四張卷積后的圖像，這種被一種模板濾波處理后的圖像我們成為特征圖。每一幅特征圖通過ReLU（修正線性單元）處

29、理之后送入下一層即池化層中進行下采樣。池化層將特征圖的大小減小。就這樣循環往復地層層處理，最后得到尺寸很小的一串特征圖。然后將這一串特征圖轉換成相應的向量,最后在全連接層中進行向量的分類。卷積層卷積層的處理過程如上圖所示，這個過程和空間濾波本質上是一樣的，空間濾波輸出就是我們想要的圖像，而這個卷積層是為了提取邊緣特征，輸出的圖像稱為特征圖。值得注意的是，在卷積之前可以對圖像進行0填充，這樣的好處是卷積后的圖像大小與輸入的圖像大小保持了一致，就不會在多次卷積時讓圖像的信息丟失。特征降維的工作就交給池化層來做。池化層池化層的作用是減小特征圖的大小。這里介紹一種常用的方法。比如MaxPooling,這種方法是將特征圖分割成大小一致的小方塊，每個塊內選取最大的值，將這個值代替整