((完整)圖像拼接調研報告(完整)圖像拼接調研報告編輯整理：敬重的讀者朋友們：這里是編輯中心，本文檔內容是由我和我的同事細心編輯整理后公布的，公布之前我們〔(完整)圖像拼接調研報告〕的內容能夠給您的工作和學習帶來便利。同時也真誠的期望收到您的建議和反響，這將是我們進步的源泉，前進的動力。本文可編輯可修改，假設覺得對您有幫助請保藏以便隨時查閱，最終祝您生活快活業績進步，以下為(完整)圖像拼接調研報告的全部內容。圖像拼接的調研報告圖像拼接的意義和國內外爭論現狀意義圖像拼接〔imagemosaic〕技術是將一組相互間存在重疊局部的圖像序列進展空間配準,經重采樣融合后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清楚的圖像的技術.圖像拼接是數字圖像處理領域的一個重要的爭論方向，在攝影測量學、計算機視覺、遙感圖像分析、計算機圖形等領域有著廣泛的應用價值。圖像拼接技術一個日益流行的爭論領域，是虛擬現實、計算機視覺、計算機圖形學和圖像處理等領域的重要爭論課題，在宇宙空間探測、海底勘測、醫學、氣象、地質勘測、軍事、視頻壓縮和傳輸、視頻的索引和檢索、物體的3D重建、軍事偵察和公安取證、數碼相機的超區分率處理等領域都有廣泛的應用。因此，圖像拼接技術的爭論具有很好的應用前景和實際應用價值。1。2國內外爭論現狀。關于圖像拼接的方法國內外已有不少的論文發表，其算法大致可分為基于模型的方法，基于變換域的方法，基于灰度相關的方法和基于特征的方法,而如何提高圖像拼接的效率，削減處理時間和增加拼接系統的適應性始終是爭論的重點。①基于模型：1996年，微軟爭論院的RichardSzeliski2D空間八參數投影變換模型,承受Levenberg—Marquardt迭代非線性最小化方法〔L-M算法〕求出圖像間的幾何變換參數來進展圖像配準。這種方法在處理具有平移、旋轉、仿射等多種變換的待拼接圖像方面效果好，收斂速度快，因此成為圖像拼接領域的經典算法，但是計算量大，拼接效果不穩定。2023年，ShmuelPelegRichardSzeliski的根底上做了進一步的改進,提出了自適應圖像拼接模型，依據相機的不同運動而自適應選擇拼接模型，通過把圖像分成狹條進展多重投影來完成圖像的拼接。這一爭論成果推動了圖像拼接技術的進一步的進展，從今自適應問題成為圖像拼接領域的爭論熱點。匹茲堡大學的SevketGumustekin對消退在固定點旋轉攝像機拍攝自然景物時形成的透視變形和全景圖像的拼接進展了爭論.通過標定攝像機來建立成像模型，依據成像模型將捕獲到的圖像投影到同一的高斯球面上，從而得到拼接圖像。這種方法拼接效果好、牢靠性高，但是要求對攝像機進展準確的標定，同時要求攝像機透鏡本身的畸形參數引起的圖像變形可以無視不計。②基于變換域:1975年，KuglinHines提出了相位相關法，利用傅里葉變換將兩幅帶配準的圖像變換頻域，然后利用互功率譜直接計算出兩幅圖像間的平移矢量。1987年,DeCastroMorandi提出了擴展相位相關法，利用傅里葉變換的性質能夠實現具有旋轉和平移變換的圖像的配準。隨著快速傅里葉變換算法的提出以及信號處理領域對傅里葉變換的成熟應用，ReddyChatterji提出了基于快速傅里葉變換〔FFT—based〕的方法,利用極坐標變換和互功率譜，對具有平移、旋轉和縮放變換的圖像都能夠實現準確配準。相位相關法計算簡潔精準,但要求待配準圖像之間有較大重疊比例，同時計算量和適用范圍與圖像的大小有很大關系。除了傅里葉變換外,人們還選擇更牢靠、更符合人眼視覺生理特征的Gabor變換和小波變換進展圖像配準.③RGBCMY顏色系統中灰度級的相關性為準則查找圖像的配準位置.常用的算法有比值匹配法，塊匹配法和網格匹配法。比值匹配法是從一幅圖像的重疊區域中局部相鄰的兩列上取出局部像素。然后以他們的比值作為模板，在另一幅圖像中搜尋最正確匹配，這種算法計算量小，但精度低;塊匹配是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜尋與此模板最相像的匹配快，這種算法精度較高，但計算量過大；網格匹配法首先進展粗匹配，每次水平或垂直移動一個步長,記錄最正確匹配位置，然后再進行準確匹配,每次步長減半,循環此過程直至步長減為0,這種算法比較其前兩種運算量有所減小，但假設粗匹配步長過大會造成較大的誤差。④基于特征：基于特征的方法首先從待匹配圖像中提取特征集，利用特征的對應關系進展匹配。基于特征的方法利用了圖像的顯著特征，具有計算量小,速度快的特點，對于圖像的畸變,噪聲，遮擋等具有確定魯棒性,但是他的匹配性能在很大程度上取決于特征提取的質量.1988年，Halris提出了HarriS興趣點檢測器.HarriS提取的興趣點具有旋轉不變性，并且抗噪聲力氣強,是一種很好的特征檢測算子.2023年，M.BrownandD.Glowe發表了ReeognizingPanoramas文章,提出了基于尺度不變特征〔SIFT〕的圖像拼接技術，該算法完全自動完成,并承受了多區分率對圖像進展融合,收到了抱負的效果。〔SIFTD.Gfowe1999年提出的,2023年做的完善總結,該方法具有尺度不變性和旋轉不變性，是目前圖像拼接領域最為流行的算法.)Manjunath提出了一種輪廓的圖像匹配方法，承受LOG算子提取出兩幅圖像的特征輪廓，.這種方法在特征輪廓的提取上簡潔受到噪聲的干擾，其計算量隨著輪廓數量的增多而增長。Etienne使用Harris檢測器提取興趣點，通過計算歸一化相關系數，沿極線查找一幅圖像中興趣點的對應點,然后使用第三幅圖像來得到更準確的對應;Jane提出了基于小波變換的分層圖像匹配算法，在分解后的每一層圖像中提取興趣點進展匹配，用并行策略提高計算速度。圖像配準算法經過幾十年的進展已經取得了很大的進展，但由于拍攝環境簡潔多變,現在還沒有一種算法能夠解決全部圖像的匹配問題。現在的幾種方法各有其優缺點,假設能綜合利用這些方法的優點將會取得更好的匹配結果.2圖像拼接技術主要包括圖像配準和圖像融合兩個關鍵環節.圖像配準是圖像拼接的核心局部，其目標是找出對齊的兩幅或多幅重疊圖像之間的運動狀況，圖像配準直接關系到圖像拼接算法的成功率和運行速度。圖像融合技術是用來消退由于幾何校正、動態的場景或光照變化引起的相鄰圖像的強度或顏色不連續問題，將兩幅經過匹配確定出重疊區域的圖像合并為一幅無縫圖像。2。1幾種主要圖像配準方法的優缺點①基于灰度信息的方法基于圖像灰度的配準方法直接利用圖像的灰度信息，依據對應關系模型將每個像素點變換成對應點,承受某種搜尋方法，查找使相像性評價函數值到達極值的變換模型的參數值。模塊匹配的方法是一種最常用的基于灰度信息的圖像匹配算法,與所拼接的圖像內容無關。雖然模板匹配有計算量大,準確率不高等缺點，但在目前的圖像拼接領域還是廣泛使用。所謂模板匹配就是在圖像的重疊區域中裁剪出一塊矩形區域作為模板，和被搜素圖像中同樣大小的一塊區域進展比照，依據相像程度來確定最正確的匹配位置。模板匹配包括以下幾個方面：1模板特征提取2基準模板的選取、確定基準模板的大小和坐標定位3模板匹配的相像度量4匹配模板的搜素策略模板匹配一般狀況下選用圖像的灰度為特征構建模板。在一幅圖像處于重疊局部的區域中選取一個區域作為模板，然后在另一幅圖像中搜素具有一樣或相像值對應位置，從而確定兩幅圖像重疊區域范圍。模板匹配法簡潔易行,具有精度高，牢靠性高以及抗干擾性強等優點,但計算量將隨著模板和待匹配圖像的增大而快速增大，難以到達實時性的要求。基于圖像灰度的方法直接利用圖像的灰度信息進展匹配，通過像素對其間某種相像性度量〔如互信息、最小均方差等〕的全局最優化實現配準，這種方法不需要對圖像進展分割和特征提取,所以精度高，魯棒性好.但是這種匹配方法對灰度變化格外敏感，沒有充分利用灰度統計特性,對每一點的灰度信息依靠較大。②變換域法基于變換域的圖像配準的一個經典方法是相位相關法,就是利用傅里葉變換的方法，將圖像有空間域變換到頻率域，依據傅里葉變換的平移原理來實現圖像的配準。由于平移、旋轉、縮放等變形在頻域都有相應變換，因此完全可以利用傅里葉方法在頻域中進展圖像匹配。變換域的方法具有對噪聲的不敏感性，計算效率高 ,有成熟的快速算法〔FFT算法〕和易于硬件實現等特點。一般來說，承受變換域的方法可以為圖像拼接供給一個良好的初始配準參數。③基于特征的配準方法基于圖像特征的方法，首先要對待配準的兩幅圖像進展處理,提取滿足特定應用要求的特征集，將這些特征作為把握構造，查找兩幅圖像把握構造的映射關系。基于圖像特征的方法，在特征提取后得到的特征點的數量將會大大削減，因此可以提高配準的速度，但其配準的效果很大程度上還取決于特征點的提取精度以及特征點匹配的準確度.基于特征的方法只需要提取出匹配的特征就可以解出變換模型的參數，因此計算量小，,因此對圖像的灰度屬性和噪聲的影響不是很敏感，配準速度快。基于圖像特征配準的方法主要困難在于如何提取和選擇魯棒的特征,以及如何對特征進展匹配，其中要抑制由于圖像噪聲和場景中消滅遮擋現象所引起的誤匹配的問題。④基于模型的配準方法基于模型的配準方法是依據圖像失真的數學模型來對圖像進展非線性校準的配準.典型的算法是Szeliski提出的變換優化法，首先建立圖像序列之間的變換模型，然后通過優化算法迭代求出模型中的變化參數，從而實現對待拼接圖像的配準。變換優化法可以處理圖像序列之間存在平移、旋轉、縮放等幾何變換的拼接，不需要任何特征點，收斂速度快，并且在統計上是最優的.但是這種方法的缺點在于，要使整個縮放到達收斂的要求，必需要有確定精度的初始估量值，即也就是認為確定的初始對應點要足夠準確，否則將會導致圖像配準的失敗.幾種典型算法的優缺點：2。2.1基于區域的配準2。2。1.1逐一比較法算法的優點:〔1)算法思路比較簡潔，簡潔理解，易于編程實現。(2)選用的模板越大，包含的信息就越多,匹配結果的可信度也會提高,同時能夠對參考圖像進展全面的掃描。算法的缺點:很難選擇待配準圖像分塊。由于一個假設分塊選擇的不正確,缺少信息量，則不簡潔正確的匹配，即發生偽匹配.同時，假設分塊過大則降低匹配速度,假設分塊過小則簡潔降低匹配精度.〔2)對圖像的旋轉變形不能很好的處理。算法本身只是把待配準圖像分塊在標準參考圖像中移動比較，選擇一個最相像的匹配塊，但是并不能夠對圖像的旋轉變形進展處理，因此比照片的拍攝有嚴格的要求.。2分層比較法圖像處理的塔形〔或稱金字塔：Pyramid)BurtAdelson首先提出的，其早期主要用于圖像的壓縮處理及機器人的視覺特性爭論。該方法把原始圖像分解成很多不同空間區分率的子圖像，高區分率〔尺寸較大〕的子圖像放在下層,低區分率(尺寸較小〕的圖像放在上層，從而形成一個金字塔外形。在逐一比較法的思想上，為削減運算量,引入了塔形處理的思想，提出了分層比較法。利用圖像的塔形分解,可以分析圖像中不同大小的物體。同時，通過對低區分率、尺寸較小的上層進展分析所得到的信息還可以用來指導對高區分率、尺寸較大的下層進展分析,從而大大簡化分析和計算.在搜尋過程中，首先進展粗略匹配，每次水平或垂直移動一個步長，計算對應像素點灰度差的平方和，記錄最小值的網格位置。其次，以此位置為中心進展準確匹配.每次步長減半，搜尋當前最小值，循環這個過程,直到步長為零，最終確定出最正確匹配位置。算法的優點:(1〕該算法思路簡潔,簡潔理解,易于編程實現。(2〕該算法的搜尋空間比逐一比較要少,在運算速度較逐一比較法有所提高。算法的缺點:算法的精度不高.在是在粗略匹配過程中，移動的步長較大,很有可能將第一幅圖像上所取的網格劃分開，這樣將造成匹配中無法取出與第一幅圖像網格完全匹配的最正確網格，很難到達準確匹配.對圖像的旋轉變形照舊不能很好的處理。與逐一比較法一樣，該算法只是對其運算速度有所改進，讓搜尋空間變小,并無本質變化,因此對圖像的旋轉變形并不能進展相應處理.基于特征的配準2。2.2.1比值匹配法比值匹配法算法思路是利用圖像中兩列上的局部像素的比值作為模板，即在參考圖像T的重疊區域中分別在兩列上取出局部像素，用它們的比值作為模板,S中搜尋最正確S中,由左至右依次從間距一樣的兩列上取出局部像素，并逐一計算其對應像素值比值；然后將這些比值依次與模板進展比較，其最小差值對應的列就是最正確匹配。這樣在比較中只利用了一組數據，而這組數據利用了兩列像素及其所包含的區域的信息.比值匹配法的優點：〔1〕算法思路清楚簡潔，簡潔理解，實現起來比較便利。在匹配計算的時候，計算量小,速度快。比值匹配法的缺點:〔1)利用圖像的特征信息太少。只利用了兩條豎直的平行特征線段的像素的信息，沒有能夠充分利用了圖像重疊區域的大局部特征信息。雖然算法提到，在搜尋圖S中由左至右依次從間距一樣的兩列上取出局部像素,計算其對應像素的比值，然后將這些比值依次與模版進ST中，只是任T的重疊區域的特征信息。〔2)對圖片的采集提出了較高的要求。此算法比照片先進展垂直方向上的比較，然后再進展水平方向上的比較，這樣可以解決上下較小的錯開問題。在采集的時候只能使照相機在水平方向上移動.然而，有時候不行避開的照相機鏡頭會有小角度的旋轉,使得拍攝出來的照片有確定的旋轉，在這個算法中是無法解決的。而且對重疊區域無明顯特征的圖像,比較背景是海洋或者天空，這樣在選取特征模版的時候存在很大的問題。由于照片中存在大塊紋理一樣的局部，所以與模版的差異就不大，這樣有很多匹配點，很簡潔造成誤匹配。不易對兩條特征線以及特征線之間的距離進展確定。算法中在參考圖像T的重疊區域中取出兩列像素上的局部像素，并沒有給出選擇的限制。然而在利用拼接算法實現自動拼接的時候，假設選取的特征線不是很恰當,那么這樣的特征線算出來的模版就失去了作為模版的意義。同時，在確定特征線間距時,選的過大，則不能充分利用重疊區域的圖像信息。選擇的過小,則計算量太大。2.2.2.2特征點匹配法比值匹配法利用圖像特征較少,而且在圖像發生小角度旋轉的時候簡潔發生誤匹配。基于特征點的匹配法可以很好的解決這類問題。特征點主要指圖像中的明顯點，如房屋角點、圓點等.用于點特征提取得算子稱為有利算子或興趣算子。自七十年月以來消滅一系列各不一樣、各有Moravec算子、HarrisForstner算子等。Moravec1977年提出利用灰度方差提取點特征的算子，是在四個主要方向上，選擇具有最小灰度方差的點作為特征點的提取方法。Moravec算子計算簡潔,運算速度快，但是對邊緣和獨立的點比較敏感，在抑制噪聲方面效果不佳。Forstner算子的根本思想是對角點在最正確窗口內通過每個像元的邊緣直線進展加權中心化,然后對法方程進展代數求解得到其準確位置。Forstner算子運算速度快且精度高,但是計算方法簡潔。HarrisC.HarrisM.J.Stephens1998年提出的一種基于信號的點特征提取算子。HarrisMoravec算子的改進，它利用一階偏導來描述亮度的變化.Harris算子中只用到灰度的一階差分以及濾波,操作簡潔，提取的特征點均勻且合理，在紋理信息豐富的區域，Harris算子可以提取出大量有用的特征點，而在紋理信息少的區域，提取的特征點則較少,由于它的計算過程中只涉及到了圖像的一階導數，所以即使存在有圖像的旋轉,灰度的變化，噪聲影響和視點的變換,對角點的提取也是比較穩定的。由于圖像中有很多可以利用的特征，因而產生了多種基于特征的方法。常用的圖像特征有：特征點〔包括角點、高曲率點等〕、直線段、邊緣〔Robert、高斯-拉普拉斯Log、Canny、Gabor濾波等邊緣檢測算子〕或輪廓、閉合區域、特征構造以及統計特征如矩不變量等。基于特征的配準方法不是直接利用圖像的像素值，而是通過像素導出圖像的特征，然后以圖像特征為標準，對圖像重疊局部的對應特征區域進展搜尋匹配，該類拼接算法有比較高的強健性和魯棒性.:特征抽取和特征配準。首先從兩幅圖像中提取灰度變化明顯的點、線、區域等特征形成特征集。然后在兩幅圖像對應的特征集中利用特征匹配算法盡可能地將存在對應關系的特征對選擇出來。一系列的圖像分割技術都被用到特征的抽取和邊界canny算子、拉普拉斯高斯算子、區域生長。抽取出來的空間特征有閉合的邊界、開邊界、穿插線以及其他特征。特征匹配的算法有：穿插相關、距離變換、動態編程、構造匹配、鏈碼相關等算法。。3相位相關法相位相關度法是基于頻域的配準常用算法。它將圖像由空域變換到頻域以后再進展配準。該算法利用了互功率譜中的相位信息進展圖像配準，對圖像間的亮度變化不敏感,具有確定的抗干擾力氣，而且所獲得的相關峰銳利突出，位移檢測范圍大,具有較高的匹配精度。相位相關度法的優點：該算法簡潔速度快，因此常常被承受。對于其核心技術傅立葉變換，現在己經消滅了很多有關的快速算法,這使得該算法的快速性成為眾多算法中的一大優勢。另外，傅立葉變換的硬件實現也比其它算法簡潔.〔2〕該算法抗干擾力氣強，對于亮度變化不敏感.相位相關度法的缺點：(1〕該算法要求圖像有50%左右的重疊區域,在圖像重疊區域很小的時，算法的結果很難保證，簡潔造成誤匹配.〔2〕由于Fourier變換依靠于自身的不變屬性,所以該算法只適用于具有旋轉、平移、比例縮放等變換的圖像配準問題。對于任意變換模型，不能直接進展處理，而要使用把握點方法把握點方法可以解決諸如多項式、局部變形等問題。配準算法的評價標準始終以來，圖像處理算法的評價標準是圖像處理結果分析的一個難點。由于圖像類型差異很大〔如光學和SAR圖像〕、波段差異大〔如可見光和長波紅外圖像)，有時甚至是有很大噪聲的圖像，或者數據量較大的圖像，這時涉及圖像降噪和圖像分割等預處理，而卻爭論的側重點也各有千秋,所以評價的標準很難用一個指標來界定，往往需要多個評價指標綜合評定。本節對常用的評價指標——配準時間、配準率、算法簡潔度、算法的可移植性、算法的適用性、圖像數據對算法的影響等加以闡釋.配準時間:對于標準參考圖像和待配準圖像，從給定的兩幅圖像的輸入開頭計時，直到找到最正確的配準點，整個過程需要的時間就是配準所消耗的時間,即配準時間。算法簡潔度：算法簡潔度分為時間簡潔度和空間簡潔度。時間簡潔度：即程序運行所需的時間。空間簡潔度：即程序運行所需的空間.現在計算機的內存于硬盤〔對應虛存〕一般都很大，所以空間簡潔度并不是很重要，大家一般都把留意力放在時間簡潔度上。時間簡潔度和配準過程時間的區分在于它只考慮程序的運行時間。時間簡潔度在最壞n的函數。配準精度:假設配準誤差在一個像素內，則稱為像素級配準;假設配準誤差小于一個像素，稱為亞像素級配準。配準率：N次配準操作中，到達配準精度要求的正確配準的次數所占的百分比。可移植性:對于配準算法的可移植性,是指算法軟件編程或移植到各種硬件系統上的可行程度。配準算法的適用性：是指算法對不同來源的圖像傳感器數據是否同樣適用。圖像數據大小對配準算法影響程度,主要是對配準時間的影響，依據標準參考圖像或者待配準圖像增大一倍，配準時間將會增大多少，可以推斷其影響程度.2.4.2.4.圖像融合技術2.4。1圖像融合技術的根本概念數字圖像融合〔DigitalImageFusion〕是以圖像為主要爭論內容的數據融合技術,是把多個不同模式的圖像傳感器獲得的同一場景的多幅圖像或同一傳感器在不同時刻獲得的同一場景的多幅圖像合成為一幅圖像的過程。由于不同模式的圖像傳感器的成像機理不同，工作電磁波的波長不同,所以不同圖像傳感器獲得的同一場景的多幅圖像之間具有信息的冗余性和互補性，經圖像融合技術得到的合成圖像則可以更全面、更準確地描述所爭論的對象。正是由于這一特點，圖像融合技術現已廣泛地應用于軍事、遙感、計算機視覺、醫學圖像處理等領域中。數字圖像融合是圖像分析的一項重要技術，該技術在數字地圖拼接、全景圖、虛擬現實等Photoshop等圖像處現軟件供給了圖像處理功能，可以通過拖放的方式進展圖像拼接,但由于完全是手工操作,單調乏味，且精度不高，因此，有必要查找一種便利可行的圖像融合方法。Matlab具有強大的計算功能和豐富的工具箱函數，例如圖像處理和小波工具箱包含了大多數經典算法,并且它供給了一個格外便利快捷的算法爭論平臺，可讓用戶把精力集中在算法上而不是編程上，從而能大大提高爭論效率。2。4.2手動配準與圖象融合圖像融合包含圖像配準和無縫合成兩個局部。由于成像時受到各種變形因素的影響，得到的各幅圖像間存在著相對的幾何差異。圖像配準是通過數學模擬來對圖像間存在著的幾何差異進展校正，把相鄰兩幅圖像合成到同一坐標系下,并使得一樣景物在不同的局部圖像中對應起Matlabcpselect、cp2tform函數完成幾何配準。cpselect函數顯示圖像界面，手動在兩幅圖像的重疊局部選取配準把握點，Matlab自動進展cp2tform函數值正重疊局部的幾何差異.Matlabcp2tform6種變形，分別是線性相像；仿射；投影；多頂式；