1、 FILENAME 修改的論文格式.doc PAGE - PAGE 8 -基于不變矩和支持向量機的小樣本圖像識別 本課題得到山西省軟科學研究項目（No. 2007041032-2）資助。孫貝 ，曹軍太原理工大學信息工程學院，太原(030024)E-mail：摘 要： 基于統計的圖像識別方法只有在樣本足夠大時，其性能才有保證。而實際中如果難以提供大量樣本，就可能因信息量不足導致識別性能下降。為此提出一種小波矩結合支持向量機的目標識別算法，這種算法立足尋找現有樣本信息下的最優解，適合分析小樣本。文章首先提取樣本數目有限的坦克圖像的Hu矩、Zernike矩、小波矩特征，然后將提取到的特征值分別輸入神

2、經網絡和支持向量機分類器，進而實現對圖像的分類。實驗結果表明，在小樣本情況下該算法具有較好的識別效果。關鍵詞：圖像識別；小樣本；不變矩；神經網絡；支持向量機中圖分類號：TP391引 言 圖像模式識別是近20年來發展起來的一門新興技術，是通過運用現代信息處理技術和計算機技術來完成人的認知和理解過程，它以研究根據圖像的特征進行識別和分類為主要內容，應用范圍非常廣泛。不變矩算法是通過對目標圖像提取具有平移、旋轉和比例不變性的數學特征，從而進行圖像識別的方法。1961年提出的Hu的7個不變矩1是由圖像的低階歸一化中心矩線性組合構成的；Zernike不變矩2是圖像在正交多項式上的投影，是一種正交矩不變量

3、，它在信息冗余度以及圖像表達方面比Hu矩要好。這兩種矩都是在整個圖像空間中計算，得到的是圖像全局特征，不利于分類。當可用樣本的數目較少時，選擇最好的、最有表示能力的圖像特征就顯得非常重要?；谛〔ㄗ儞Q的小波矩3 能同時得到圖像的全局特征和局部特征，在識別相似形狀及有噪聲的目標時更有優越性，因而成為近年研究的熱點。Vapnic在20世紀6070年代提出了統計學理論，并在90年代中期不斷發展和成熟。該理論針對小樣本問題建立了一套新的理論體系：統計推理規則不僅考慮了對漸進性能的要求，還追求在現有有限信息的條件下得到最優解4。支持向量機5（Support Vector Machine, SVM）是建立

4、在統計學維理論和結構風險最小原理基礎上的新的學習方法，相比以經驗風險最小化為原則的神經網絡方法有更好的泛化能力，其結果是基于有限支持向量個數得出的結論,得到的是有限樣本信息下的全局最優點。該文將不變矩特征作為特征值，結合支持向量機分類器對小樣本坦克圖像進行分類識別，并對比了不變矩特征分別結合BP神經網絡和小波神經網絡分類器的識別效果。矩特征提取2.1 矩特征表示表示直角坐標系上的二維數字圖像，其規則矩定義為： （1）圖像的尺寸大小為。由將圖像轉換到極坐標系中成為，采用極坐標表示的矩特征形式為： （2）是關于半徑的函數，為整數參數。容易證明，模具有旋轉不變性6。進一步可將上式寫為： （3）其中：

5、 （4）需要注意的是：當定義在半徑的全局范圍內時，提取的為圖像的全局特征；當定義在半徑的局部范圍內時，提取的為圖像的局部特征?？梢宰C明，Hu矩、Zernike矩都可以通過取不同的 和得到4。小波變換有良好的時頻域分析能力，同Hu矩和Zernike矩相比，基于小波多尺度分析的小波矩不僅可以得到圖像的全局特征，還能得到圖像的局部特征，增強了圖像的抗噪性和對精細特征的把握能力。2.2 小波不變矩的計算該文使用三次B樣條小波母函數7構造小波矩：取小波基函數作為式（2）中的，小波矩實質上就是圖像在徑向小波空間的投影，定義為： （5）式中，為徑向小波基函數，定義為： （6）式中，N為圖像像素點，為小波的縮

6、放和平移因子。從小波矩的構造過程可以看出，實際上是圖像在縮放因子為m,平移因子為n時，在相位空間中的第個頻率特征。選擇不同的縮放因子和平移因子，就可以提取圖像的全局信息和局部信息，從而使小波矩可以提供在不同的縮放時的特征。小波矩的這一特點，使其能夠區別有細微差別的模式，這正是Hu矩和Zernike矩這些全局矩無法做到的。需要注意的是：和Zernike矩一樣，小波矩也只具有旋轉不變性，為保證平移和比例不變性，應在提取矩特征前對圖像進行平移和尺度歸一化，該文使用參考文獻7中的歸一化方法。分類算法在獲得圖像特征后，如何做出合理的判決就是分類算法要討論的問題。設計分類精度高、誤識率低、可靠性好的分類器

7、是識別的最終目的。3.1 神經網絡分類算法經典的三層結構BP神經網絡，隱層和輸出層采用的神經元傳遞函數為函數。通過BP算法訓練網絡，訓練方法為有動量的梯度下降法5。小波神經網絡的結構與BP神經網絡結構類似，其思想是用小波元代替神經元：用已定位的小波函數（該文使用morlet小波6）代替Sigmoid函數作為激活函數，輸入層到隱層的權值及隱含層閾值分別由小波函數的尺度和平移參數所代替。待確定的參數有連接權值、尺度系數和平移系數，參數調整算法依然是BP算法。小波神經網絡的基元和整個結構是根據小波分析理論確定的，避免了BP神經網絡結構設計上的盲目性，理論上對于同樣的學習任務，小波神經網絡收斂速度更快

8、，精度更高。3.2 支持向量機分類算法支持向量機是一種基于統計學習理論的機器學習方法，是由Boser,Guyon和Vapnik在 4上首次提出，最初是針對識別中的兩類線性可分問題提出的：有線性可分樣本,根據類別的不同分為正樣本子集和負樣本子集，確立一個超平面，將這兩類樣本集分開，并具有最大間隔，這樣的超平面就稱為最優分類超平面。圖 1中，H就表示最優分類超平面求最優分類面，實質上就是求解二次規劃問題，在線性約束條件下最小化二次型。用經典的Lagrange乘子法求解，Lagrange方程為： （7）其中為Largrange乘子，對和b求偏微分并令其為0，得到關系式： （8） （9）代入式（7）得

9、到 （10）為了構造最優超平面，在，且滿足式（9）的條件下，對式（10）求解得到，代入式（8）得到向量： （11）這是一個不等式約束下的二次函數極值問題，存在唯一解，根據Karush-Kuhn-Tucker互補條件5，最優解必須滿足： （12）這就表示函數間隔為1的樣本向量，也就是最靠近超平面的點對應的非零，稱這樣的向量為支持向量（SV,Support Vector）。圖1中，和上的數據構成支持向量。最優解和可由二次規劃算法求得，最優判別函數具有如下形式： （13）對于線性不可分情況，通過非線性映射將輸入空間中的向量映射到高維特征空間，在中構造最優分類超平面。如圖2表示，將輸入空間的線性不可分

10、數據經過運算映射到一個高維的特征空間，在這個特征空間中，樣本是線性可分的：只需要進行內積運算，這種內積運算可以用輸入空間的某些特殊函數來實現，而無需知道變換的具體形式，這樣就把計算集中在了輸入空間，避免了“維數災難”。這些特殊的函數稱為核函數。該文使用徑向基核函數5 。 （14）此時，最優分類函數： （15）就稱為支持向量機。其中，為支持向量，為待分類向量，為對應的拉格朗日乘子。是解決兩類分類問題的有效方法，因此先將多類問題轉化為兩類問題:通過組合多個二分類器來實現多分類器的構造。該文使用“一對一”（one-versus-one）方法：在任意兩類樣本之間設計一個SVM。當對一個未知樣本進行分類

11、時，最后“得票”最多的類別即為該未知樣本的類別。 圖1 最優化分類平面和支持向量 圖2 高維特征空間中構造最優分類超平面由于SVM 的求解最后轉化成二次規劃問題的求解，因此SVM 的解是全局唯一的最優解。這樣就避免了神經網絡求解時易陷入“局部極小點”而無法自拔的情況，保證了運算的速度和精度。而且，支持向量機針對有限樣本情況，目標是得到現有樣本信息下的最優解，因而在遇到小樣本情況時也有神經網絡無法比擬的優越性。4實驗結果與分析仿真實驗采用的是計算機平臺windows XP操作系統和MATLAB 7.04。選用的3種不同類型的標準二值坦克圖像。圖3、圖6和圖9分別為三類坦克標準圖像，分別表示88B

12、坦克、B2坦克和M2坦克。每幅圖后的兩幅圖像為標準圖經旋轉、平移和比例縮放綜合變換得到的圖像。每類坦克樣本用于獲取先驗知識的訓練圖像只有3幅，屬于典型的小樣本情況。 圖3 88Ba 圖4 88Bb 圖5 88Bc 圖6 B2a 圖 7 B2b 圖8 B2c 圖9 M2a 圖10 M2b 圖11M2c4.1 不變矩特征提取表1 用于訓練的Hu矩特征提取結果圖像編號圖31.25713.06895.67496.124312.19497.747114.1543圖41.25873.07615.70156.147715.18977.773914.2143圖51.25003.05735.59776.0389

13、12.19367.652713.9888圖61.22862.91096.90236.990414.11458.476916.7414圖71.23682.93326.99297.164114.24258.671916.9154圖81.23022.91377.00117.058914.38088.546416.9477圖91.49213.79877.74519.665921.436911.928719.6565 圖101.49853.82817.83919.769920.250311.982220.0870 圖111.48973.78827.74789.709118.774412.002119.5

14、958由于Zernike矩和小波矩只具有旋轉不變性，所以為保證特征的平移和尺度不變性，在提取這兩個特征之前，首先要對圖像進行標準歸一化處理。圖12到圖20為將圖3到圖11標準歸一化處理后的圖像,編號從a到i。 圖12 a 圖13 b 圖14 c 圖15 d 圖16 e 圖17 f 圖18 g 圖19 h 圖20 i表2 用于訓練的Zernike矩特征提取結果編號abcdefghi25.058326.546927.100127.480727.368527.700316.811818.207918.2471107.6468113.8302114.8526117.3473116.9981117.83

15、3176.120681.872082.1379241.9111254.9570253.4998260.6747260.0451260.2781183.1350194.8590195.806817.929619.461321.279322.349322.784723.30468.75439.877310.3012表3 用于訓練的小波矩特征提取結果編號abcdefghi5.88225.22245.58086.59045.43566.74076.93255.58476.59155.99575.19395.75886.72065.60626.96566.93385.35406.614320.95291

16、5.952220.791224.380821.649124.822828.645423.170528.355920.686715.409720.468925.990421.341928.460228.160528.283527.99384.2 神經網絡和支持向量機分類結果取18幅測試圖像，分別為三類標準圖像經旋轉、平移和縮放后得到的，提取測試圖像的Hu矩、Zernike矩和小波矩。矩特征提取完畢后，神經網絡分類器中輸入層節點數為特征維數，隱層節點個數使用經驗值： BP神經網絡參數設計如下：輸入節點數取特征維數；隱層節點數根據經驗值取特征維數的2倍加1；最大訓練次數取5000；訓練要求精度??；學

17、習率=0.01；最小梯度要求?。粍恿恳蜃?0.9；輸出節點取2個，采用二進制的00、01和11分別表示坦克類別；輸入出到隱層以及隱層到輸出層之間的傳遞函數分別采用雙曲正切S函數（tansig）和對數單極性S函數（logsig）。小波神經網絡參數設計為：小波神經網絡的參數值設計如下，輸入節點數和隱層節點數均取特征維數，輸出節點取1：用-1、0和1分別表示表示識別的88B、B2和M2坦克的類別；調整權值的學習率=0.01；調整伸縮因子a和平移因子b的學習率=0.001，訓練次數取定值1000；輸入出到隱層之間的傳遞函數為morlet小波函數，隱層到輸出層之間的傳遞函數為Sigmoid線性函數。支持

18、向量機分類時，取懲罰因子8C=1, 徑向基核函數中的參數據經驗取特征維數的倒數；用-1、0和1分別表示待識別的三類坦克。支持向量個數：識別Hu矩時有8個，識別Zernike矩和小波矩時有9個。表4列出了三種分類算法的識別性能參數。表4 仿真識別結果圖像序號BP神經網絡小波神經網絡支持向量機訓練時間誤差識別率訓練時間誤差識別率訓練時間識別率Hu矩34.79秒0.1374 66.7%1.8461秒1e-872.2%0.1368秒83.3%Zernike矩35.36秒0.1226 66.7%1.1953秒1e-877.8%0.0069秒89%小波矩33.41秒0.0680 77.8%1.3526秒1

19、e-877.8%0.0068秒100%從表4可以看出，將Hu矩、Zernike矩和小波矩提取的特征值分別輸入到BP神經網絡分類識別時，小波矩的識別率最高，Hu矩最低，而且有時識別率出現幅度較大的波動；小波神經網絡對BP神經網絡結構上的改進，使得矩特征輸入到小波神經網絡時，訓練時間和誤差都有很大的改進但識別率并未有明顯提高；而矩特征輸入到支持向量機中時，無論訓練時間還是識別率都有了大幅度提高，Zernike矩在訓練中識別率是100%，測試時達到89%，小波矩在訓練和測試中識別率均達到100%。以上是在圖像無噪聲情況下得到的結果，為驗證算法的抗噪性，給圖像加入不同強度的噪聲：設圖像為I，隨機噪聲矩

20、陣為N=randn(128),加噪圖像表示為I+N。定義A類噪聲強度為N/5,B類噪聲強度為N/3,C類噪聲強度為N，顯然A、B、C噪聲強度是遞增的。對用于測試的三類共18幅圖像分別加入這三類噪聲，得到共54幅圖像，然后對它們提取Hu矩、Zernike矩和小波矩，表5列出了BP神經網絡和支持向量機分類器在不同的噪聲強度下對三種矩特征的識別效果。表5 BP神經網絡和SVM分類對加噪圖像識別結果分類算法噪聲Hu矩識別率Zernike矩識別率小波矩識別率BP神經網絡分類A44.4%66.7%55.6%B44.4%33.3%50.0%C27.8%38.9%50.0%SVM分類A50.0%61.1%88

21、.9%B50.0%55.6%77.8%C44.4%38.9%77.8%從表5可以看出，隨著噪聲的增加，該文的算法仍能保持較高的識別率。雖然兩種算法的識別率都有所下降，BP神經網絡分類算法的這種趨勢更為明顯。5結論 該文通過對數目有限的坦克圖像提取Hu矩、Zernike矩和小波矩特征，并輸入BP神經網絡、小波神經網絡和支持向量機分類器進行分類識別，實驗結果表明：小樣本情況下，小波矩特征結合支持向量機分類器的算法具有更好的識別效果。參考文獻1 Hu Ming-Kuei. Visual pattern recognition by moment invariant J. IRE Trans Info

22、rmation Theory, 1962, 8: 179-187.2 王耀明. Zernike矩及它們的應用J. 上海電機學院學報， 2008，11（1）:4446.3 Dinggang Shen, Horace H.S. Ip. Discriminative wavelet shape descriptors for recognition of 2-D patternJ. Image Computing Group, 1999,32（2）: 151165.4 Nello Cristianini, John Shawe-Talor. An Introduction to Support Ve

23、ctor Machine and Other Kernel-based Learning MethodsM.李國正，王猛，曾華軍譯.北京：電子工業出版社,2003.5 楊淑瑩. 模式識別與智能計算M， 北京：電子工業出版社，2008.6 劉進. 不變量特征的構造及在目標識別中的應用D.，武漢：華中科技大學，2004.7 張虹，陳文楷. 一種基于小波矩的圖像識別方法J. 北京工業大學學報，2004，30(4):427431.8 侯媛彬，杜京義，汪梅. 神經網絡M. 西安：西安電子科技大學出版社，2007.RESEARCH ON SMALL SAMPLE IMAGE RECOGNITION BAS

24、ED ON INVARIANT MOMENT AND SUPPORT VECTOR MACHINESun Bei , Cao Jun Department of Information, Taiyuan University of Technology, Taiyuan, PRC, (030024)AbstractMethod of image recognition based on statistics can achieve fine performance only if its provided with large numbers of samples. In practice however, sometimes its impossible to obtain so many samples, which may results in the poor re