畢業設計（論文）PAGE35畢業論文(圖像匹配)摘要數字圖像配準是指將從同一場景拍攝的具有重疊區域的圖像通過特征匹配方法，找出圖像之間的對應關系。目前，圖像配準技術廣泛應用于醫學、生物、信息處理和其它領域，它已成為圖像處理應用中不可或缺的技術。本文主要主要介紹了灰度相關的配準方法，灰度相關的圖像配準算法是圖像配準算法中比較經典的一種，很多配準技術都以它為基礎進行延伸和擴展。它是從待拼接圖像的灰度值出發，對待配準圖像中一塊區域與參考圖像中的相同尺寸的區域使用最小二乘法或者其它數學方法計算其灰度值的差異，對此差異比較后來判斷待拼接圖像重疊區域的相似程度，由此得到待拼接圖像重疊區域的范圍和位置，從而實現圖像配準。對位移量比較大的圖像，可以先校正圖像的旋轉，然后建立兩幅圖像之間的映射關系。當以兩塊區域像素點灰度值的差別作為判別標準時，最簡單的一種方法是直接把各點灰度的差值累計起來。另一種方法是計算兩塊區域的對應像素點灰度值的相關系數，相關系數越大，則兩塊圖像的匹配程度越高。該方法的配準效果要更好，配準成功率有所提高?；诨叶认嚓P的配準方法的優點是原理簡單，直觀性好，計算量較?。蝗秉c是只適用于具有水平或者垂直位移方向上的兩幅圖像的配準，根據所選擇的模板的不同，基于灰度相關的配準方法可以分為：線模板匹配法、比值模板匹配法和塊模板匹配法。本文分別對3種匹配方法的算法原理和具體實現進行深入研究。通過研究發現，線模板匹配法精確直觀，但是它只能處理簡單的平移變換下的圖像配準，容易受光照的影響，不能實現圖像旋轉和縮放情況下的配準。比值模板匹配法算法清晰簡單，容易理解，實現起來比較方便。在匹配計算的時候，計算量小，速度快；但是，不能處理旋轉縮放情況下的配準。塊模板匹配法能準確找到匹配點，能在小的旋轉和縮放變形的情況下實現配準；但計算量較大。關鍵詞圖像配準，灰度相關，線模板匹配法，比值模板匹配，塊模板匹配AbstractDigitalimageregistrationisthesamesceneshotfromtheoverlappingregionoftheimagebyafeaturematchingmethodtofindthecorrespondingrelationshipbetweentheimages.Currently,imageregistrationtechniquesarewidelyusedinmedicine,biology,informationprocessingandotherarea.Ithasbecomeanintegralpartofimageprocessingapplicationsoftechnology.Thispaperintroducesregistrationmethodbasedgray-correlation.Themothodismoreclassicone,manyregistrationtechniquesarewereextendedandexpandedbasedonit.Itisamosaicimagefromthegrayvaluetobeproceedingtowardsregistrationwiththereferenceimageinaregionofthesamesizeintheimageareausingtheleastsquaresorothermathematicalmethodstocalculatethegrayvaluedifferences,thiscomparisonwastodeterminedifferencesoverlaptheimagemosaictobethedegreeofsimilarity,theresultantmosaicimagetobetheextentandlocationofoverlap,inordertoachieveimageregistration.Largerthantheimageofthedisplacementcanbecorrectedimagerotation,thenestablishthemappingbetweentwoimages.Whentworegionaldifferencesingrayvalueofpixelsasthecriterion,themostsimplewayistopointdirectlytothecumulativedifferencebetweenthegrayup.Anothermethodistocalculatethetworegionsofgrayvaluepixelcorrespondingtothecorrelationcoefficient,correlationcoefficientislarger,thehigherthedegreeofmatchingtwoimages.Effectofthemethodbybetterregistration,registrationhasincreasedthesuccessrate.Basedongraycorrelationregistrationmethodhastheadvantageofsimpleinprinciple,straightforward,good,lesscomputation;disadvantageisonlyapplicabletothedirectionofahorizontalorverticaldisplacementoftwoimagesontheregistration,accordingtothedifferentchoiceoftemplatesbasedongraycorrelationregistrationmethodcanbedividedinto:linetemplatematching,templatematchingmethodandtheblockratiotemplatematchingmethod.Thispaperonthelinetemplatematching,templatematchingmethodandtheblockratiotemplatematchingalgorithmprincipleandconcreteachieve-depthstudy.Ithasfoundthatlinetemplatematchingmethodhasprecisevisual,butitcanhandleonlysimpletranslationtransformationoftheimageregistrationisvolunerablecannotbeachievedincaseofregistration.Templatematchingalgorithmistheratioofclearandsimple,moreconvenienttoimplement.Whenthematchingcalculation,computationspeed;however,cannothandletherotationscalingincaseofregistration.Blocktemplatematchingmethodcanaccuratelyfindthematchingpointsthatcanrotateandzoominthesmalldeformationregistrationunderthesituation.KeywordsImageregistration,intensity-related,linetemplatematchingmethod,theratiooftemplatematching,blockmatching,rotatingaroundtheopticalaxis

目錄TOC\o"1-2"\h\z\u第1章 緒論 11.1 研究背景及意義 11.2 圖像配準方法概述 21.3 研究現狀 31.4 研究問題及內容 4第2章 圖像配準基本理論 12.1 圖像配準的基本介紹 12.2 圖像配準的相關概念 12.3 灰度相關的配準方法 5第3章 線匹配法 73.1 線匹配法基本介紹及原理 73.2 線性變換圖像匹配模型 73.3 線匹配法具體的算法實現 73.4 實驗結果和分析 9第4章 比值匹配法 114.1 比值匹配法基本介紹及原理 114.2 比值匹配法具體的算法實現 124.3 實驗結果和分析 12第5章 塊匹配法 155.1 塊匹配法基本介紹及原理 155.2 塊匹配法具體的算法實現 165.3 實驗結果和分析 16第6章 總結與展望 206.1 總結 206.2 展望 21參考文獻 23致謝 24緒論研究背景及意義數字圖像，又稱數碼圖像或數位圖像，是二維圖像用有限數字數值像素的表示。通常，像素在計算機中保存為二維整數數組的光柵圖像，這些值經常用壓縮格式進行傳輸和儲存。數字圖像可以由許多不同的輸入設備和技術生成，例如數碼相機、掃描儀、坐標測量機等，也可以從任意的非圖像數據合成得到，例如數學函數或者三維幾何模型，三維幾何模型是計算機圖形學的一個主要分支。數字圖像處理領域就是研究它們的變換算法。數字圖像處理(DigitalImageProcessing)是通過計算機對圖像進行去除噪聲、增強、復原、分割、提取特征等處理的方法和技術。數字圖像處理的產生和迅速發展主要受三個因素的影響:一是計算機的發展;二是數學的發展(特別是離散數學理論的創立和完善);三是廣泛的農牧業、林業、環境、軍事、工業和醫學等方面的應用需求的增長。圖像配準(Imageregistration)就是將不同時間、不同傳感器(成像設備)或不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅圖像進行匹配、疊加的過程，它已經被廣泛地應用于遙感數據分析、計算機視覺、圖像處理等領域。圖像配準的方法迄今為止，在國內外的圖像處理研究領域，已經報道了相當多的圖像配準研究工作，產生了不少圖像配準方法?？偟膩碚f，各種方法都是面向一定范圍的應用領域，也具有各自的特點。比如計算機視覺中的景物匹配和飛行器定位系統中的地圖匹配，依據其完成的主要功能而被稱為目標檢測與定位，根據其所采用的算法稱之為圖像相關等等?；诨叶刃畔⒌膱D像配準方法一般不需要對圖像進行復雜的預先處理，而是利用圖像本身具有灰度的一些統計信息來度量圖像的相似程度。主要特點是實現簡單，但應用范圍較窄，不能直接用于校正圖像的非線性形變，在最優變換的搜索過程中往往需要巨大的運算量。經過幾十年的發展，人們提出了許多基于灰度信息的圖像配準方法，大致可以分為三類：互相關法（也稱模板匹配法）、序貫相似度檢測匹配法、交互信息法。目前主要圖像配準方法有基于互信息的配準方法，基于相關性的配準方法和基于梯度的配準方法。其中基于梯度的方法基本很少單獨使用，而作為一個輔助性的測度與其它方法相結合起來使用。基于灰度的配準算法是醫學圖像配準研究的發展方向，也是目前研究的熱點之一?；诨叶鹊呐錅史椒ㄅc基于特征的配準方法的區別在于前者沒有提取圖像特征的步驟，直接對圖像中的灰度進行處理?；诨叶鹊呐錅史椒ㄓ嬎銖碗s度高、對圖像的灰度、旋轉、形變以及遮擋都比較敏感。灰度相關的配準方法是從待拼接圖像的灰度值出發,圖像拼接故而成為灰度相關的配準算法的一個基礎。圖像拼接(imagemosaic)技術是將一組相互間重疊部分的圖像序列進行空間匹配對準,經重采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術。圖像拼接在攝影測量學、計算機視覺、遙感圖像處理、醫學圖像分析、計算機圖形學等領域有著廣泛的應用價值?；叶认嚓P的圖像配準算法在圖像處理技術中起著十分關鍵的作用，它是圖像處理技術得以發展的一個重要基礎。它推動著圖像處理技術在醫學、生物、信息處理和其他很多高科技領域內的應用，它已漸漸發展成社會生活中不可分離的一種技術，對于圖像處理技術發展及應用具有重要意義。圖像配準方法概述配準技術的流程如下：首先對兩幅圖像進行特征提取得到特征點；通過進行相似性度量找到匹配的特征點對；然后通過匹配的特征點對得到圖像空間坐標變換參數：最后由坐標變換參數進行圖像配準。而特征提取是配準技術中的關鍵，準確的特征提取為特征匹配的成功進行提供了保障。因此，尋求具有良好不變性和準確性的特征提取方法，對于匹配精度至關重要。圖像配準的方式可以概括為相對配準和絕對配準兩種：相對配準是指選擇多圖像中的一張圖像作為參考圖像，將其它的相關圖像與之配準，其坐標系統是任意的。絕對配準是指先定義一個控制網格，所有的圖像相對于這個網格來進行配準，也就是分別完成各分量圖像的幾何校正來實現坐標系的統一。本文主要研究大幅面多圖像的相對配準，因此如何確定多圖像之間的配準函數映射關系是圖像配準的關鍵。通常通過一個適當的多項式來擬合兩圖像之間的平移、旋轉和仿射變換，由此將圖像配準函數映射關系轉化為如何確定多項式的系數，最終轉化為如何確定配準控制。目前，根據如何確定的方法和圖像配準中利用的圖像信息區別可將圖像配準方法分為三個主要類別：基于灰度信息法、變換域法和基于特征法，其中基于特征法又可以根據所用的特征屬性的不同而細分為若干類別。以下將根據這一分類原則來討論目前已經報道的各種圖像配準方法和原理。研究現狀國外從20世紀60年代就開始在圖像配準領域進行研究，但直到1980年代才開始引起學者們的關注。到上世紀末，單模圖像配準問題已基本解決，但多模圖像配準由于涉及模式和領域的復雜性，仍需密切關注。國際上對圖像配準技術曾做過調查，其結論是1990年代初技術就明顯增加。而國內從1990年代初才開始涉足此領域。與灰度相關的圖像配準算法是圖像配準算法中比較經典的一種，很多配準技術都以它為基礎進行延伸和擴展。朱近，司美玲具體闡述了用局部灰度極值方法進行多光譜圖像配準算法的研究過程。針對多光譜遙感圖像，提出了一種基于局部灰度極值的配準方法：通過在基準圖像和待配準圖像中同步尋找含有灰度極值的小區域，再用多項式對極值區域進行曲面擬合，最后，分別計算小區域的極值點作為特征點進行配準。并用真實和模擬多光譜圖像進行了試驗結果顯示該課題提出具有算法簡單和配準精度高的特點。這是與灰度相關圖像配準算法有關的一個擴展應用。林相波,邱天爽提出一種新的灰度和形狀信息相結合的全自動同模態醫學圖像非剛性配準——分割算法[1]，將歐氏距離表示的形狀信息融入基于灰度的配準算法中，構造出新的代價函數。該算法在醫學圖像多目標分割的應用中，能夠較好地完成灰度相近、邊緣模糊、間距較小的不同結構的分割，結果表明，該算法優于基于灰度信息的圖像配準算法。張密,吳效明闡述圖像配準在放療中應用的關鍵問題[2]，對基于灰度的3種配準方法的性能做深入研究，包括均方測度、歸一化相關測度以及互信息測度。方法：分析各配準要素的算法原理后，基于加以實現，提出使用綜合配準誤差來評價不同配準算法的性能，并與傳統目標配準誤差的評價結果作對比。結果：3種測度都能對近模態的圖像實施準確的配準，其中互信息測度驅動的配準在配準精度和速度上表現更為穩定，綜合配準誤差僅為另外兩個測度的一半左右。它的結論得出利用綜合配準誤差得到的評價結果更為客觀，互信息測度是放療中實施配準的較理想測度。在醫學、生物、信息處理和其他很多高科技領域內圖像配準技術越來越顯示出它的重要性，將會越來越受到人們的關注。在現今的科技水平上，圖像配準未來的發展趨勢也會更好。本文主要主要介紹了灰度相關的配準方法是從待拼接圖像[3]的灰度值出發，對待配準圖像中一塊區域與參考圖像中的相同尺寸的區域使用最小二乘法或者其它數學方法計算其灰度值的差異，對此差異比較后來判斷待拼接圖像重疊區域的相似程度，由此得到待拼接圖像重疊區域的范圍和位置，從而實現圖像拼接。也可以通過變換將圖像由時域變換到頻域，然后再進行配準。對位移量比較大的圖像，可以先校正圖像的旋轉，然后建立兩幅圖像之間的映射關系。當以兩塊區域像素點灰度值的差別作為判別標準時，最簡單的一種方法是直接把各點灰度的差值累計起來。這種辦法效果不是很好，常常由于亮度、對比度的變化及其它原因導致拼接失敗。另一種方法是計算兩塊區域的對應像素點灰度值的相關系數，相關系數越大，則兩塊圖像的匹配程度越高。該方法的拼接效果要好一些，成功率有所提高。根據所選擇的模板的不同，基于灰度相關的配準方法可以分為：線匹配法、比值匹配法和塊匹配法。研究問題及內容本文在分析了灰度相關的圖像配準算法中的線匹配法、比值匹配法和塊匹配法，利用這三種方法分別實現兩幅圖像在水平垂直位移上的配準，而本課題研究的內容是提出一種基于灰度相關的算法，不僅能實現兩幅圖在水平和垂直位移的配準，同時也能實現在繞光軸旋轉情況下的圖像配準。這里提出了一種方法，多尺度模塊匹配法。在這三種匹配的環境下，它能實現水平垂直位移上的匹配、縮放以及旋轉。同時通過在Matlab編程環境下編程實現相關算法，通過實際圖像的配準試驗，利用這些結論最終得到精確地配準結果。圖像配準基本理論圖像配準的基本介紹圖像配準的描述圖像配準是對取自不同時間，不同傳感器或不同視角的同一場景的兩幅圖像或者多幅圖像匹配的過程。圖像配準廣泛用于多模態圖像分析，是醫學圖像處理的一個重要分支，也是遙感圖像處理，目標識別，圖像重建，機器人視覺等領域中的關鍵技術之一，也是圖像融合中要預處理的問題，待融合圖像之間往往存在偏移、旋轉、比例等空間變換關系，圖像配準就是將這些圖像變換到同一坐標系下，以供融合使用。圖像配準的定義對于二維圖像配準可定義為兩幅圖像在空間和灰度上的映射[4]，如果給定尺寸的二維矩陣和代表兩幅圖像，和分別表示相應位置上的灰度值，則圖像間的映射可表示為：,式中表示一個二維空間坐標變換，即，且是一維灰度變換。圖像配準的步驟圖像配準的基本過程可以分為三個步驟：第一步是為每一個圖像信息模式各定義一個坐標系，然后再定義這些參考特征之間的失調或相似函數；第二步是分割出圖像的參考特征，再定義這些參數特征之間的失調或相似函數；第三步是應用優化算法，使第二步中失調（相似）函數達到全局最?。ㄗ畲螅┲担_到兩幅圖像的配準。其中參考特征和對應優化算法的選擇是配準的核心，也是不同配準算法的差異所在。圖像配準的相關概念配準基準通常，圖像配準中根據配準基準的特性，可分為基于外部基準的配準和基于內部基準的配準[5]，外部基準是指強加于待配準對象的各種人造標記，這些標記必須在各種配準模式中都清晰可見且可準確檢測到。內部基準是指由圖像本身得到的位置相對固定且圖像特征明晰的各種配準標識。映射變換與配準區域設和表示兩幅待匹配的圖像，和分別表示兩幅圖像的密度函數，其中和分別表示在圖像和中的像素坐標。圖像匹配就是要找到一個把圖像映射到圖像的變換,使得變換后的圖像和具有幾何對應性。這種映射變換有剛體變換、仿射變換、投影變換以及曲線變換等。配準時的變換區域根據實際需要又分為局部配準和全局配準。局部變換一般很少直接使用，因為它會破壞圖像的局部連續性，且變換的雙映射性會影響圖像的再采樣。從近期關于圖像配準方面的文章看，一般剛性和仿射多用于全局變換，而曲線變換多用于局部變換。配準的交互性與優化根據人的參與程序配準又可分為全自動式，交互式和半自動式三種。全自動式中使用者僅需給相應算法提供圖像數據以及圖像獲取的一些可能信息；交互式中使用者必須親自進行配準，軟件僅給目前變換提供一個可視的或數字的感官印象以及初始變換的一個可能參數；半自動式中，交互式有兩種方式：一種是使用者須初始化算法，如分割數據，另一種是指導算法，如拒絕或接受配準假設。配準變換的參數可以是直接計算出的，也可以是搜索計算出的。直接計算的最優化方法一般已完全由實例決定，所能研究的工作也僅限于如何使用非常少的信息把此計算方法應用于實際。搜索計算的最優化方法大多都可以用待優化的變換參數的一個標準數學函數來表達配準實例，此函數力圖使圖像在某一變換時兩幅圖像可達到最大相似。這些函數通常在單模配準中能簡單一些，因為此時圖像的相似性更能容易直接定義。我們可以通過使用一個標準的、合適的最優化方法使相似函數達到最優。目前應用比較廣泛的方法有Powell的方法、DownhillSimplex方法、Brent的方法以及一系列一維搜索算法、Levenberg-Marquardt最優化算法、Newton-Raphson迭代算法、stochastic搜索算法、梯度下降法(gradientdescentmethods)、遺傳算法(geneticmethods)、模擬退火法(simulatedannealing)，粒子群算法(particesworm)，蟻群算法(ant)，幾何散列法(geometrichashing)。多分辨率(如金字塔)和多尺度方法可以加速最優化的收斂速度。許多實際應用中使用了不止一種最優化方法，一般是先使用一種粗糙但快速的算法，然后再接著使用一種準確但運算速度慢的算法。圖像成像模式與配準方法的分類有單模式和多模式等，單模(monomodality)圖像配準是指待配準的兩幅圖像是同一種成像設備獲取的。多模(multimodality)圖像配準[6]是指待配準的兩幅圖像來源于不同的成像設備?；诨叶刃畔⒌膱D像配準方法一般不需要對圖像進行復雜的預先處理，而是利用圖像本身具有灰度的一些統計信息來度量圖像的相似程度。主要特點是實現簡單，但應用范圍較窄，不能直接用于校正圖像的非線性形變，在最優變換的搜索過程中往往需要巨大的運算量。經過幾十年的發展，人們提出了許多基于灰度信息的圖像配準方法，大致可以分為三類：互相關法（也稱模板匹配法）、最大互信息法和基于小波變換的圖像配準法?；ハ嚓P法對于同一物體由于各種圖像獲取條件的差異或物體自身發生的空間位置的改變而產生的單模圖像配準問題常常應用互相關法。在互相關法中互相關值的大小反映了配準的效果?；ハ嚓P法的思路是找出使各圖像之間相關性最大的空間變換參數來實現圖像的配準。該方法通過優化兩幅圖像間的相似性測度來估計空間變換參數（剛體的平移和旋轉參數），采用的相似性測度可以是多種多樣的，例如相關系數，差值的平方和及相關函數等。其中最經典的相似性測度是歸一化的相關系數(correlationcoefficient,CC)，即：,(2.1)式中，為模板圖像，，為圖像的灰度；為與有相同大小的目標圖像，為圖像的灰度；和分別為圖像和灰度的均方值。由于要對每種變換參數可能的取值都要計算一次相似性測度，互相關法的計算量比較龐大，因此近年來發展了快速搜索算法，例如，用相位相關傅立葉法估算平移和旋轉參數；用遺傳算法和模擬退火技術減少搜索時間和克服局部極值問題。尤其注意的是互相關法受到不同模態成像特點的影響，例如同一物體在不同的模態圖像中表現出紋理和密度的非線性差異，使相關性計算無意義，故互相關性法主要局限于單模圖像配準[7]。對于條件不好或曲線不完全閉合的圖像配準，Kaneko等提出了一種選擇性相關系數法(selectivecorrelationcoefficient，即)，實際上是的擴展，在每次為其計算時間僅僅依靠兩幅圖像灰度的比較過程，故其代價非常小甚至可以忽略不計。最大互信息法(MaximizationofMutualInformation)互信息是信息論的一個基本概念，是兩個隨機變量統計相關性的測度。最大互信息法幾乎可以用在任何不同模式圖像的配準，特別是當其中一個圖像的數據部分缺損時也能得到很好的配準效果。當含有相同內容的兩幅圖像通過幾何變換在空間對齊時，它們所包含的灰度值的互信息量最大。因此最大化的互信息量可以作為圖像配準準則?；谧畲蠡バ畔8]的配準過程實質上是搜索最佳的幾何變換參數，使兩幅圖像的互信息達到最大。該方法采用整幅圖像的所有像素共同組成特征空間，再根據特征空間確定一種空間變換，使一幅圖像經過該變換后和另一幅圖像的互信息最大，最終實現配準?；バ畔?MutualInformation,MI)是信息論中的一個測度，用于描述兩個變量間的統計相關性，或一個變量中包含的另一個變量中的信息的多少，表示兩個隨機變量之間的依賴程度，一般用熵來表示。熵表達的是一個系數的復雜性和不確定性。變量A的熵定義為：,(2.2),(2.3)將待配準的兩幅醫學圖像定義為浮動圖像A和參考圖像B，它們是關于圖像灰度的兩個隨機變量集。設它們的邊緣概率分布分別為、，聯合概率分布，則它們的互信息為：,(2.4)當兩幅圖像的空間位置達到一致時，其中一幅圖像表達另一幅圖像的信息，即其互信息應為最大。繼互信息測度提出后，學者們對基于Shannon熵的方法做了進一步的研究，相繼提出了比互信息更為穩定的，其它一些形式的熵測度，稱為歸一化的互信息，例如Studholme提出了歸一化互信息測度(nrimalizedmutualinformation,):,（2.5）基于小波的圖像配準方法近年來圖像配準的重要發展之一是采用小波變換進行圖像局部特征提取，該方法的關鍵技術是二維離散小波分解。設在平面內的二維圖像,基于二維離散小波變換的圖像分解是將該原始圖像在某一尺度上分別在方向上進行小波分解，每次分解后的低頻部分用表示，高頻部分用表示。在某一尺度上，圖像可以經過方向和方向的離散小波變換后分解為4個子圖像，在方向和方向都是高頻子圖像,在方向是低頻，在方向是高頻子圖像和在方向是高頻方向是低頻的子圖像。低頻子圖像給出了原圖像的概貌，高頻子圖像給出了原圖像的細貌。對于二維正交小波變換有其快速算法-Mallat算法，它把小波變換的計算問題轉化為小波變換后系數的計算問題：在實際操作中，給出尺度層上的離散采樣值數據，要計算尺度層上的小波變換系數，即分解算法的問題。基于小波變換的圖像配準方法有多分辨率分析的優勢，能夠提高配準的速度?；叶认嚓P的配準方法基于灰度信息的圖像配準方法一般不需要對圖像進行復雜的預先處理，而是利用圖像本身具有灰度的一些統計信息來度量圖像的相似程度。主要特點是實現簡單，但應用范圍較窄，不能直接用于校正圖像的非線性形變，在最優變換的搜索過程中往往需要巨大的運算量。經過幾十年的發展，人們提出了許多基于灰度信息的圖像配準方法，大致可以分為三類：互相關法（也稱模板匹配法）、序貫相似度檢測匹配法、交互信息法?；ハ嚓P法是最基本的基于灰度統計的圖像配準[9]方法，通常被用于進行模板匹配和模式識別。它是一種匹配度量，通過計算模板圖像和搜索窗口之間的互相關值，來確定匹配的程度，互相關值最大時的搜索窗口位置決定了模板圖像在待配準圖像中的位置。序貫相似度檢測匹配法(SequentialSimilarityDetectionAlgorithms，)是由Barnea等人提出來的。方法的最主要的特點是處理速度快。該方法先選擇一個簡單的固定門限，若在某點上計算兩幅圖像殘差和的過程中，殘差和大于該固定門限，就認為當前點不是匹配點，從而終止當前的殘差和的計算，轉向別的點去計算殘差和，最后認為殘差和增長最慢的點就是匹配點。這種方法的基本思想是基于對誤差的積累進行分析。所以對于大部分非匹配點來說，只需計算模板中的前幾個像素點，而只有匹配點附近的點才需要計算整個模板。這樣平均起來每一點的運算次數將遠遠小于實測圖像的點數，從而達到減少整個匹配過程計算量的目的。交互信息法最初是Viola等人于1995年把交互信息引入到圖像配準的領域的，它是基于信息理論的交互信息相似性準則。初衷是為了解決多模態醫學圖像的配準問題。交互信息用來比較兩幅圖像的統計依賴性。首先將圖像的灰度視作具有獨立樣本的空間均勻隨機過程，相關的隨機場可以采用高斯—馬爾科夫隨機場模型建立，用統計特征[10]概率密度函數來描述圖像的統計性質。交互信息是兩個隨機變量和之間統計相關性的量度，或是一個變量包含另一個變量的信息量的量度。交互信息圖像配準方法一經提出，有不少基于此類的研究，尤其在醫學圖像的配準問題上。比如將交互信息和梯度結合起來改善其極值性能的算法、多分辨率圖像金字塔法等等。但交互信息是建立在概率密度估計的基礎上的，有時需要建立參數化的概率密度模型，它要求的計算量很大，并且要求圖像之間有很大的重疊區域，由此函數可能出現病態，且有大量的局部極值。本文接下來將要陳述灰度相關的幾種配準方法，大致可分為：線匹配法、比值匹配法和塊匹配法。比值匹配法是指將待配準圖像的一定間隔的行或列的像素的比值作為模板；塊匹配法是指將待配準圖像的正方形區域的像素的集合作為模板。比值匹配法是從一幅圖像的重疊區域中部分相鄰的兩列上取出部分像素，然后以它們的比值作為模板，在另一幅圖像中搜索最佳匹配，這種算法計算量較小，但精度低；塊匹配法是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大。而設計一種基于灰度相關的算法，既能實現水平、垂直位移上的配準，同時也能實現繞光軸旋轉這種情況是本文的核心。線匹配法線匹配法基本介紹及原理針對圖像的平移、旋轉、尺度變換等整體匹配，提出了一種圖像線性變換的匹配算法[11]。首先定義待匹配圖像匹配點間的線性變換模型，以對應像素灰度差平方和作為圖像匹配誤差函數，然后借助最小化誤差函數確定參數迭代增量，由迭代法求得最佳線性變換參數。為減少計算量與提高收斂速度提出了三種改進策略：增加權函數、圖像網格點采樣和增加加速運動量。實驗顯示對于小范圍平移、旋轉及尺度變換的圖像能進行準確快速的整體匹配，而改進策略能有效提高匹配速度。線性變換圖像匹配模型令待匹配的兩幅二維圖像為和，兩幅圖像中任意一對匹配點的坐標滿足線性變換關系。令圖像中某一坐標為，它與圖像中的坐標對應。上式中上標表示轉置運算。坐標與之間存在一個偏移量，定義如下：(3.1)(3.2)(3.3)因此坐標變換可以表示為,即像素與對應。線匹配法具體的算法實現如果給定條件，兩幅圖像內容整體間存在某種線性變換，則通過求解變換系數能實現配準。這對很多問題是一種合理假設?；谶@一思想，為解決圖像整體匹配問題，本文針對圖像的平移、旋轉、尺度變換等整體匹配，提出一種帶6個參數的坐標線性變換圖像匹配新模型，該模型將匹配誤差定義為圖像整體誤差，通過最小化誤差函數確定參數迭代增量，由迭代法求得最佳線性變換參數。并且針對收斂速度提出了增加權函數、圖像網格點采樣和增加加速動量項三種策略及具體實現方法。（1）誤差函數及參數求解算法圖像匹配的誤差函數定義為：，(3.4)該公式中領域與圖像的分辨率一致。這種領域設置與光流模型的領域設置存在顯著不同，它對噪聲更不敏感。通過最小化誤差函數可以求出變換參數，它決定各像素的偏移量為建立迭代求解模型，引入增量，代入式(3.1)得到，新的模型如下：(3.5)(3.6)為求解增量，上述函數需要對求偏導。一種可行方法是將函數一階泰勒展開：(3.7)上式中點號表示積。將(3.7)代入(3.6)，對求偏導，并令偏導為零，則得到下式：(3.8)上式中表示，它用圖像F中坐標X+T處得灰度梯度近似。表示六維列向量。求只需對方程(3.8)乘以的逆矩陣即可。（2）迭代方法求解變換參數求解圖像與圖像間的匹配，可以用增量迭代法計算變換參數向量，算法如下：①初始化向量為零向量；②按式(3.8)計算參數增量；③更新參數；④如果的二范數小于某一閾值，則表示迭代收斂，程序退出；若大于該閾值則轉到步驟②繼續迭代；如果迭代次數超過最多限定次數則程序退出，提示不收斂。判斷收斂的條件也可設置為最近次迭代的二范數之和小于某一閾值，的典型取值為3。實驗結果和分析首先利用配準圖像庫中的圖像，生成具有不同相對位移的子圖像；平移配準參數可以在程序中進行調整，圖3.1及圖3.2為配準參數為時生成一對尺寸為400×400的兩幅圖像。圖3.1Lena參考圖像圖3.2Lena待配準圖像圖3.3及圖3.4為配準參數為時生成尺寸為288×288的兩幅圖像。圖3.3Lena參考圖像圖3.4Lena待配準圖像圖3.5及圖3.6為配準參數為生成尺寸為456×456的兩幅圖像。圖3.5Lena參考圖像圖3.6Lena待配準圖像圖3.7為采用線模板匹配方法的實驗結果。黑色線段表示選取的線模板，連線表示線段兩端點為匹配點對。圖3.7Lena線匹配效果圖由實驗可知，線模板匹配是在參考圖像中選定一行上取出部分像素的灰度值，在搜索圖中搜索最佳匹配。線匹配法的優點是精確直觀，缺點是操作復雜，重復步驟較多，實用性不強。它只能處理簡單的平移變換下的圖像配準，容易受光照的影響，不能實現圖像旋轉和縮放情況下的配準，故而存在一定的局限性，適用性不強。

比值匹配法比值匹配法基本介紹及原理比值匹配法[12]算法思路是利用圖像中兩列上的部分像素的比值作為模板，即在參考圖像的重疊區域中分別在兩列上取出部分像素，用它們的比值作為模板，然后在搜索圖中搜索最佳的匹配。匹配的過程是在搜索圖中，由左至右依次從間距相同的兩列上取出部分像素，并逐一計算其對應像素值比值;然后將這些比值依次與模板進行比較，其最小差值對應的列就是最佳匹配。這樣在比較中只利用了一組數據，而這組數據利用了兩列像素及其所包含的信息。圖4.1為圖像模板選取示意圖，其中，圖1為像素的圖像，圖1為像素的圖像，和可相等，也可不等。圖1和圖1為左右重疊關系，圖1在圖1的左邊。jj+spanjj+span像素的圖像像素的圖像圖4.1圖像模板選取示意圖在圖4.1的重疊區域選取間隔為span的2列像素（第列和第列），計算其對應像素比值，即為模板。(4.1)式中，，為選定的列。在圖4.1中從第1列開始依次取間隔為span的2列，計算其對應像素的比值，即為模板。(4.2)計算a模板與b模板差值，即為c模板，函數表達式為：（4.3）式中，，。為二維數組，對對應的列向量求得到。（4.4）的大小就反映圖1所示圖像選定像素對應列的差異，的最小值對應的列坐標即為最佳匹配。比值匹配法具體的算法實現該算法的具體實現步驟如下：(1)在參考圖像中間隔為個像素的距離上的兩列像素中，各取個像素，計算這個像素的比值，將個比值存入數組中，將其作為比較的模板。(2)從搜索圖中在同樣相隔個像素的距離上的兩列，各取出個像素，計算其比值，將個比值存入數組。假定垂直錯開距離不超過個像素，多取的個像素則可以解決圖像垂直方向上的交錯問題。(3)利用參考圖像中的比值模板在搜索圖中尋找相應的匹配。首先進行垂直方向上的比較，即記錄下搜索圖中每個比值數組內的最佳匹配。再將每個數組的組內最佳匹配進行比較，即進行水平方向的比較，得到的最小值就認為是全局最佳匹配。此時全局最佳匹配即為圖像間在水平方向上的偏移距離，該全局最佳匹配隊應的組內最佳匹配即為圖像間垂直方向上的偏移距離。本算法的思路是在第1幅圖像的重疊區域中分別在2列取出部分像素，用它們的比值作為模板；在第2幅圖像中由左至右依次從間距相同2列取出部分像素，并逐一計算其對應像素值比值；然后將這些比值依次與模板進行比較，其最小差值所對應的列就是最佳匹配。實驗結果和分析以下是光照效果由弱到強的比值匹配仿真實驗結果圖。比值匹配和線匹配相比不同之處是通過不同亮度的調節可檢測到配準參數，由此可以看出它們的區別。比值匹配是利用兩條線段的比值進行匹配。灰度比值匹配法較線匹配法多了一項光照對平移參數的影響，下面我們以平移參數為主，著重研究輸入圖像存在亮度差異時，仿真圖像配準的實驗效果。圖4.2為待配準圖像與參考圖像之間存在亮度差異為-20%時的配準效果圖。圖4.2Lena灰度比值匹配圖（亮度差異-20%）圖4.3為待配準圖像與參考圖像之間存在亮度差異為+5%時的配準效果圖。圖4.3Lena灰度比值匹配圖（亮度差異+5%）圖4.4為待配準圖像與參考圖像之間存在亮度差異為+20%時的配準效果圖。圖4.4Lena灰度比值匹配圖（亮度差異+20%）由圖4.2-圖4.4可以看出灰度比值匹配的優缺點如下：(1)比值匹配法的優點:a.算法思路清晰簡單，容易理解，實現起來比較方便。b.匹配計算的時候，計算量小，速度快。

(2)比值匹配法的缺點:a.利用圖像的特征信息太少。只利用了兩條豎直的平行特征線段的像素的信息，沒有能夠充分利用了圖像重疊區域的大部分特征信息。雖然算法提到，在搜索圖中由左至右依次從間距相同的兩列上取出部分像素，計算其對應像素的比值，然后將這些比值依次與模版進行比較，好像是利用了搜索圖中的重疊區域的大部分圖像信息，但在參考圖像中，只是任意選擇了兩條特征線，沒有充分利用到參考圖像的重疊區域的特征信息。b.對圖片的采集提出了較高的要求。此算法對照片先進行垂直方向上的比較，然后再進行水平方向上的比較，這樣可以解決上下較小的錯開問題。在采集的時候只能使照相機在水平方向上移動。然而，有時候不可避免的照相機鏡頭會有小角度的旋轉，使得拍攝出來的照片有一定的旋轉，在這個算法中是無法解決的。而且對重疊區域無明顯特征的圖像，比較背景是海洋或者天空，這樣在選取特征模版的時候存在很大的問題。由于照片中存在大塊紋理相同的部分，所以與模版的差別就不大，這樣有很多匹配點，很容易造成誤匹配。c.不易對兩條特征線以及特征線之間的距離進行確定。算法中在參考圖像的重疊區域中取出兩列像素上的部分像素，并沒有給出選擇的限制。然而在利用拼接算法實現自動拼接的時候，如果選取的特征線不是很恰當，那么這樣的特征線算出來的模版就失去了作為模版的意義。同時，在確定特征線間距時，選的過大，則不能充分利用重疊區域的圖像信息。選擇的過小，則計算量太大。

塊匹配法塊匹配法基本介紹及原理塊匹配法[13]是指將待配準圖像的正方形區域的像素的集合作為模板。塊匹配法是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大?；叶刃畔俗畲罅康膱D像信息，而邊緣信息則反映了圖像內在的性質，它不易受外界光照條件的影響而產生劇烈的變化。因此相比灰度信息，邊緣信息，使得其抗灰度和幾何畸變能力強，采用邊緣信息構建模板在圖像拼接[17]中可獲得更加可靠的穩定性。因此我們以圖像的邊緣為特征尋找基準塊。應用塊匹配算法，首先要有搜索最佳匹配的標準，這里稱之為價值函數：均方誤差(MSE)、絕對誤差和(SAD)、平均絕對誤差(MAD)、方差和(SSE)、絕對變化誤差和(SATD)都可以作為價值函數。其中常用的是均方誤差(MSE)和平均絕對誤差(MAD)，如方程(1)和(2)。其中為塊邊長像素數（為方便搜索塊一般劃分為正方形），和分別為當前宏塊和參考宏塊相應像素的灰度。，（5.1），（5.2）具體步驟首先要將當前和參考幀圖像分塊，選取的參考幀為當前幀的前一幀，一般宏塊為16×16像素大小，然后確定搜索范圍大小，一般為以宏塊為中心的30×30像素區域，最后在參考圖像相應搜索區域中尋找價值函數最小的宏塊，運動矢量從參考宏塊位置指向當前宏塊位置，如圖5.1所示。圖5.1塊匹配原理塊匹配法具體的算法實現首先需要對圖像進行邊緣檢測，這里我們使用算子獲得原圖像的邊緣圖，然后我們以圖像中每個像素點的鄰域邊緣量來定義此位置的邊緣信息大小:,(5.3)其中，為原圖像所對應的二值邊緣圖，A為在點處所取鄰域的1/2邊長。以值為依據，找出最大值所對應的點作為基準點，然后以此點為中心點選擇大小適中的塊就可以找到基準特征塊[14]。這種算法我們可以稱之為傳統的塊匹配算法。具體步驟首先要將當前和參考幀圖像分塊，選取的參考幀為當前幀的前一幀，一般宏塊為16×16像素大小，然后確定搜索范圍大小，一般為以宏塊為中心的30×30像素區域，最后在參考圖像相應搜索區域中尋找價值函數最小的宏塊，運動矢量從參考宏塊位置指向當前宏塊位置。實驗結果和分析通過三、四章的闡述，我們已經得出線匹配法只能處理平移操作下的圖像配準，而灰度比值法在線匹配法的基礎上多了一個光照變換對平移參數的影響。這兩種算法都存在自身的不足，那就是不能實現圖像在旋轉、縮放情況下的配準。由此我們研究一種更加完善的匹配法——塊匹配法，它不僅能實現水平、垂直方向上位移變化的圖像配準，同時也能在小的圖像旋轉縮放變形的情況下的實現配準。圖5.2是塊匹配的效果圖，接下來我們將具體描述平移、旋轉和縮放情況下的圖像配準。首先利用對圖像做小的旋轉、縮放，再進行配準，旋轉情況下研究旋轉對求得平移參數的影響，縮放情況下研究配準參數的誤差情況。圖5.2Lena塊匹配效果圖構造平移、旋轉、縮放圖像利用Lena彩色圖像的灰度處理，將生成的灰度圖像做小的旋轉，縮放，在Matlab上實現圖像的微小變化，運行結果如下：圖5.2選用Lena原圖圖5.3Lena灰度處理后圖5.4平移（2020）的Lena圖像圖5.5旋轉3°的Lena圖像圖5.6縮放2%Lena圖像塊匹配算法下的平移、旋轉、縮放配準仿真實驗分別對經過平移、旋轉、縮放后的圖像進行配準，結果如圖5.7-圖5.9所示。圖5.7采用塊模板匹配方法的Lena圖像平移配準圖5.8旋轉3°的Lena圖像配準圖5.9放大2%的Lena圖像配準由實驗結果可知，塊匹配法較以上兩種匹配法的優點是它能夠實現兩幅圖像不僅在平移，而且在旋轉?？s放的情況下也能實現圖像的配準。塊匹配法的優點是能準確找到匹配點，打破灰度配準不能實現旋轉和縮放情況的結論，缺點是計算量大。在今后的工作中，我們將繼續研究，實現該算法的快速匹配?？偨Y與展望總結本文首先介紹了圖像配準的研究背景和意義，然后具體闡述了圖像配準的方法、特征及分類。接著引出本課題灰度相關的圖像配準算法，通過簡要的介紹，開始詳細的闡述灰度相關的幾種方法，分別從線匹配法、比值匹配法和塊匹配法三種灰度相關的配準算法進行分析比較，最終得出研究結果，能夠設計出一種算法實現平移、旋轉及縮放。第1章緒論部分對本課題研究的基礎，原理和基本概念做了一下相關的介紹。從現階段科技發展的需要與社會上相關的各方面的應用，以及圖像配準的現狀，顯示了它的重要意義。第2章就圖像配準的基礎理論出發，對它進行了基本的介紹，分別從它的相關特征，方法分類等等具體的說明，讓我們對圖像配準有了進一步的理解。接下來就引出了圖像配準算法中比較經典的一種，灰度相關的配準算法，并進行了簡要的闡述，引出了灰度相關的幾種匹配法，線匹配法、比值匹配法以及塊匹配法。第3章具體介紹了線匹配法的基本原理，具體的算法實現以及它的優缺點。此方面源于最早的一種匹配算法，簡單直觀，精確，當然它也存在自身的不足，如果圖片經過旋轉或縮放后，該算法就無能為力了。第4章本文就具體的介紹了比值匹配法的基本原理，具體的算法實現，以及它的優缺點。此方法相對來說具有較強的適用性但還有需要改進之處，例如在處理灰度變化較小的圖像時，該方法的配準成功率不高，還需要針對這種情況對算法進行改進。比值匹配法與線匹配相比多了一項光照的影響，當輸入圖像存在亮度差異時，可以看出配準效果的不同。比值匹配法具有較強的實用性，再經過一些改進，可以得到廣泛應用。第5章介紹了塊匹配法，從它的基本原理出發，闡述此算法的具體實現，分析塊匹配法的優缺點。得出了塊匹配法較前兩種算法更加全面，不僅能實現平移的圖像配準，在圖像經過旋轉和縮放后，也能實現配準，只不過配準在縮放或旋轉幅度較大時，誤差很大。最后一章是本文研究的重點，如何實現兩幅圖像不僅在水平、垂直位移上的配準而且能實現空間上繞光軸旋轉匹配的這種配準，針對這種想法，可以通過提取對應的灰度特征點，進行特征匹配。找到兩幅圖像的相對位移，利用圖像中的線或者方形領域的灰度比較，來判斷位移。我們通過線匹配法、比值匹配法、塊匹配法這三種算法具體的程序分別實現兩幅圖像水平、垂直位移上的配準以及旋轉縮放的情況。并且通過大量的實驗，結合Matlab程序，以及圖像的處理，最終得出結果并作出分析，實驗結果表明，我們是可以設計出一種基于灰度相關的算法，來實現兩幅圖像不僅在水平、垂直位移上，同時在繞光軸旋轉這種情況下的配準。也相信隨著科技水平的提高，對算法進行更深入的研究，在今后的發展中，會得到較大的應用。展望本文通過灰度相關的基本匹配算法的闡述，提出本文的研究內容，通過線匹配法、比值匹配法、塊匹配法三種算法實現兩幅圖像在水平垂直位移上以及繞光軸旋轉的配準。而能實現繞光軸旋轉這種配準則需要運用到塊匹配法，當然，這里列舉的諸多實例闡述了這種情形，實現兩幅圖像繞光軸旋轉的這種情況。當然，各種算法都存在它自身的不足，線匹配法操作復雜，重復步驟較多，實用性不強。它只能處理簡單的平移變換下的圖像配準，容易受光照的影響，不能實現圖像旋轉和縮放情況下的配準，故而存在一定的局限性，適用性不強。比值匹配法利用圖像的特征信息太少。只利用了兩條豎直的平行特征線段的像素的信息，沒有能夠充分利用了圖像重疊區域的大部分特征信息。雖然算法提到，在搜索圖中由左至右依次從間距相同的兩列上取出部分像素，計算其對應像素的比值，然后將這些比值依次與模版進行比較，好像是利用了搜索圖中的重疊區域的大部分圖像信息，但在參考圖像中，只是任意選擇了兩條特征線，沒有充分利用到參考圖像的重疊區域的特征信息。比值匹配對圖片的采集提出了較高的要求。此算法對照片先進行垂直方向上的比較，然后再進行水平方向上的比較，這樣可以解決上下較小的錯開問題。在采集的時候只能使照相機在水平方向上移動。然而，有時候不可避免的照相機鏡頭會有小角度的旋轉，使得拍攝出來的照片有一定的旋轉，在這個算法中是無法解決的。而且對重疊區域無明顯特征的圖像，比較背景是海洋或者天空，這樣在選取特征模版的時候存在很大的問題。由于照片中存在大塊紋理相同的部分，所以與模版的差別就不大，這樣有很多匹配點，很容易造成誤匹配。另外，比值匹配不易對兩條特征線以及特征線之間的距離進行確定。算法中在參考圖像的重疊區域中取出兩列像素上的部分像素，并沒有給出選擇的限制。然而在利用拼接算法實現自動拼接的時候，如果選取的特征線不是很恰當，那么這樣的特征線算出來的模版就失去了作為模版的意義。同時，在確定特征線間距時，選的過大，則不能充分利用重疊區域的圖像信息。選擇的過小，則計算量太大。由實驗結果可知，塊匹配法較以上兩種匹配法的優點是它能夠實現兩幅圖像不僅在平移，而且在旋轉?？s放的情況下也能實現圖像的配準。塊匹配法的優點是能準確找到匹配點，打破灰度配準不能實現旋轉和縮放情況的結論，雖然如此它仍然存在著自身的不足，那就是計算量大。在今后的研究中，我們需要克服算法的復雜度，爭取研究出一種快速匹配法，能夠減少計算量，達到灰度相關的配準的精確性和穩定度。使得配準效果更加快速精確，盡可能減小誤差。參考文獻[1]Brown,L.G.,1992.Asurveyofimageregistrationtechniques.ACMComput.Surveys24(4),325–376.[2]Hsieh,J.,Liao,H.M.,Fan,K.,Ko,M.,1996.Afastalgorithmforimageregistrationwithoutpredeterminingcorrespondences.In:Proc.IAPRInternat.Conf.onPatternRecognition,