PAGE編號 南陽師范學院2013屆畢業生畢業論文題目：航空影像多視匹配方法研究完成人：班級：2009-06學制：4年專業：測繪工程指導教師：完成日期：2013-04-15目錄摘要 (1)關鍵詞 (2)1緒論 (2)1.1選題的意義 (2)1.2國內外發展現狀 (2)1.3論文的內容與技術路線 (4)2匹配的基本原理 (5)2.1灰度匹配 (5)2.2特征匹配 (5)2.3兩者之間的比較 (6)3基于概率松弛的影像匹配 (6)3.1雙視松弛法影像匹配原理 (6)3.2多視松弛法影像匹配 (8)3.2.1多視匹配的處理 (8)3.2.2由多視相關系數計算初始概率 (9)3.3粗差點的剔除 (12)3.4金字塔影像匹配結果的傳遞 (12)4基于物方面元的多視最小二乘匹配 (13)4.1共線方程約束的多片最小二乘匹配及不足 (13)4.2基于物方面元的最小二乘影像匹配 (14)5總結展望 (19)5.1總結 (19)5.2展望 (19)參考文獻 (19)Abstract(19)第19頁共19頁摘要本文針對航空影像的特點，主要對多視影像匹配進行研究。把關鍵詞：1緒論1.1選題的意義在當今信息社會中信息技術正深刻的改變著社會的各個方面。對信息的獲取、加工、處理和應用已成為現代信息社會最基本、最重要的任務之一。隨著計算機軟硬件技術的迅速發展特別是計算機在計算速度、傳輸速度、存儲容量等方面的極大提高和在各行各業的迅速普及計算機圖像處理技術也迅速發展并廣泛應用在信息社會中起到越來越重要的作用。人類所獲得的70%以上的外界信息是來自眼睛攝取的圖像。圖像是人類獲取視覺信息的主要途徑。所謂“圖”就是物體透射或者反射光的分布,“像”是人的視覺系統接收圖的信息而在大腦中形成的印象或認識。前者是客觀存在的后者是人的感覺圖像是兩者的結合。在許多場合中沒有其他形式比圖像所表達的信息更豐富和更真切。將圖像技術和計算機技術結合在一起形成了數字圖像處理與分析技術。數字圖像處理與分析技術在不同領域的應用產生了不同的應用學科。目前已發展了多門相關的應用學科計算機視覺、機器人視覺、模式識別與人工智能、數字光學測量和數字攝影測量學等。數字圖像處理與分析技術已經和計算機一樣成為科學研究中的一種基本、通用的工具。圖像匹配技術是計算機視覺中的一個關鍵技術很多應用領域都離不開數字圖像的匹配技術。計算機所處理的是數字圖像匹配技術就是如何利用數字圖像處理技術來求解對應性的問題。1.2國內外發展現狀圖像匹配國內外研究現狀圖像匹配在近幾十年來一直是人們研究的熱點和難點最早的研究是在70年代美國從事飛行器輔助導航系統等軍事應用研究中提出來的。經歷了10多年的發展從80年代以后其應用逐步從原來單純的軍事應用擴大到其它領域。國內外現階段對圖像匹配研究主要是以提高匹配的精度和速度為主同時對匹配方法的通用性及可靠性也有一定要求。已研究比較多的匹配方法主要分為基于圖像灰度的匹配方法和基于圖像特征的匹配方法。基于灰度相關的圖像匹配方法主要處理不存在旋轉的匹配對象且已經提出了各種各樣針對灰度匹配的方法如Leese于1971年提出的MAD算法BarneaDI和Silverman于1972年提出了序貫相似性檢測法—SSDA緊接著又提出了歸一化積相關算法—NC這些方法在時間復雜度或匹配精度上均存在一定問題不適應于實際的匹配應用。對各種匹配快速算法的研究主要是從盡可能減少匹配運算量或搜索的位置數這兩個角度入手。后分別對MAD、NCC和SSDA等經典模板匹配算法進行改進以提高匹配速度將多個算法進行融合以提高匹配速度和準確度又提出新的匹配方法即基于圖像灰度值編碼的匹配方法較傳統匹配算法在速度上提高了一個數量級但其僅適應于矩形匹配對象且對局部光照變化非常敏感從而影響匹配準確度。但在實際應用當中一般以不規則匹配對象居多且環境的光照變化也是非常不穩定因素因此算法設計過程中必須考慮這幾個因素。典型的還有在搜索策略上進行改進的一系列方法分層搜索技術、遺傳算法、最小二乘、模擬退火、能量最小、削減搜索分支、多子區域相關匹配等。匹配速度主要從兩個方面來分析一方面分析在同樣硬件環境下同樣匹配精度和要求下比較所研究方法和其它方法的實際運算時間。另一方面分析算法進行算法時間復雜度的比較。由于基于灰度相關的圖像匹配方法不能解決匹配對象存在旋轉情況下的匹配問題所以繼續研究基于特征的圖像匹配方法主要是針對匹配對象存在旋轉情況下的匹配方法。最早對旋轉圖像的匹配研究是遍歷的旋轉搜索法每旋轉一個角度計算相關性或先估計一個旋轉角度在這個估計角度范圍內進行遍歷搜索很顯然該方法速度非常慢。FarhanUllah提出了方向碼方法利用圖像方向碼的直方圖進行相關性比較其前提條件是己知道匹配圖像的大致旋轉角度如果是任意角度就將模板在360內任意可能角度旋轉以后再跟待搜索圖匹配速度很慢。1992年Tsai提出了圓投影匹配方法用一個圓環內的象素平均值進行匹配可降低噪聲的影響。同時不變矩方法在圖像玨配中的應用也十分廣泛但其計算量大匹配速度慢不滿足匹配的實時性要求。對旋轉圖像的研究重點是如何更有效地在原圖像和變換后的圖像中提取旋轉、縮放、尺度變換等不變特征以提高匹配精度和匹配速度。常使用的特征包括邊緣、區域、曲率、面積、線交叉點、質心等其中以邊緣和區域邊界最常用它們可由邊緣檢測方法和圖像分割方法得到。從上述分析可知一方面匹配問題是研究熱點另一方面也說明匹配問題仍然有許多技術難題沒有解決且急需解決。在上千種算法中匹配問題在準確性、可靠性兩方面幾乎找不到通用的、一勞永逸的算法。1.3論文的內容與技術路線本論文主要針對影像的多匹配方法進行了探討與研究，主要采用基于概率松弛的影像匹配還有基于物方面的最小二乘法多視影像匹配，主要討論了這兩種多視的計算方式、應用條件及常用范圍。松弛法整體影像匹配通過局部松弛來選出匹配點和傳遞匹配點信息，通過影像金字塔上的多級匹配來實現整體匹配可靠性。松弛法匹配基于地形局部平滑原理，即在局部范圍內地起伏較小(即左右視差可認為是平滑變化的)。對于每個參與匹配特征點，利用相似性測度，如相關系數的峰值，找出右片上可能的同名點作為候選匹配點。根據地形的平滑性，同名點應能獲得較大的鄰域支持，而錯誤的候選點的鄰域支持較小。在松弛迭代過程中，正確的候選點的概率值在迭代中得到增加，錯誤的候選的概率值在迭代中不斷減小。迭代若干次數后，正確的候選點概率值收斂1，錯誤的候選點收斂到O。從而得到正確匹配。在影像金字塔的頂部，分辨率降低，局部的相容性相當于原始分辨率影像上大范圍的相容，保證了匹配可靠性。通過上層匹配的信息為下層匹配提供準確、可靠的近似值，可以減小匹配候選點搜索范圍，加快匹配速度。本章結合雙片核線影像介紹松弛法整體影像匹配的原理。然后介紹多視影像對匹配的改進。最后介紹一種基于物方面元的最小二乘影像匹配新方法。松弛法影像匹配的關鍵點是:.匹配點候選的生成.松弛鄰域的結構.概率更新.收斂條件2匹配的基本原理圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點，如二維圖像匹配中通過比較目標區和搜索區中相同大小的窗口的相關系數，取搜索區中相關系數最大所對應的窗口中心點作為同名點。其實質是在基元相似性的條件下，運用匹配準則的最佳搜索問題。圖像匹配主要可分為以灰度為基礎的匹配和以特征為基礎的匹配。2.1灰度匹配灰度匹配的基本思想:以統計的觀點將圖像看成是二維信號，采用統計相關的方法尋找信號間的相關匹配。利用兩個信號的相關函數，評價它們的相似性以確定同名點。灰度匹配通過利用某種相似性度量，如相關函數、協方差函數、差平方和、差絕對值和等測度極值，判定兩幅圖像中的對應關系。最經典的灰度匹配法是歸一化的灰度匹配法，其基本原理是逐像素的把一個以一定大小的實時圖像窗口的灰度矩陣，與參考圖像的所有可能的窗口灰度陣列，按某種相似性度量方法進行搜索比較的匹配方法，從理論上說就是采用圖像相關技術。利用灰度信息匹配方法的主要缺陷是計算量太大，因為使用場合一般都有一定的速度要求，所以這些方法很少被使用。現在已經提出了一些相關的快速算法，如幅度排序相關算法，FFT相關算法和分層搜索的序列判斷算法等。2.2特征匹配特征匹配是指通過分別提取兩個或多個圖像的特征（點、線、面等特征），對特征進行參數描述，然后運用所描述的參數來進行匹配的一種算法。基于特征的匹配所處理的圖像一般包含的特征有顏色特征、紋理特征、形狀特征、空間位置特征等。特征匹配首先對圖像進行預處理來提取其高層次的特征，然后建立兩幅圖像之間特征的匹配對應關系，通常使用的特征基元有點特征、邊緣特征和區域特征。特征匹配需要用到許多諸如矩陣的運算、梯度的求解、還有傅立葉變換和泰勒展開等數學運算。常用的特征提取與匹配方法有：統計方法、幾何法、模型法、信號處理法、邊界特征法、傅氏形狀描述法、幾何參數法、形狀不變矩法等。基于圖象特征的匹配方法可以克服利用圖象灰度信息進行匹配的缺點，由于圖象的特征點比較象素點要少很多，大大減少了匹配過程的計算量；同時特征點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度；而且特征點的提取過程可以減少噪聲的影響，對灰度變化，圖象形變以及遮擋等都有較好的適應能力。所以基于圖象特征的匹配在實際中的應用越來越廣泛。所使用的特征基元有點特征(明顯點，角點，邊緣點等)邊緣線段等。2.3兩者之間的比較特征匹配與灰度匹配的區別：灰度匹配是基于像素的，特征匹配則是基于區域的，特征匹配在考慮像素灰度的同時還應考慮諸如空間整體特征、空間關系等因素。特征是圖象內容最抽象的描述，與基于灰度的匹配方法相比，特征相對于幾何圖象和輻射度影響來說更不易變化，但特征提取方法的計算代價通常較大，并且需要一些自由參數和事先按照經驗選取的閥值，因而不便于實時應用。同時，在紋理較少的圖象區域提取的特征的密度通常比較稀少，使局部特征的提取比較困難。另外，基于特征的匹配方法的相似性度量也比較復雜，往往要以特征屬性、啟發式方法及閥方法的結合來確定度量方法。3基于概率松弛的影像匹配3.1雙視松弛法影像匹配原理圖3.1雙片核線影像圖匹配圖3.2多視候選匹配的搜索與驗證3.2多視松弛法影像匹配3.2.1多視匹配的處理3.2.2由多視相關系數計算初始概率3.3粗差點的剔除3.4金字塔影像匹配結果的傳遞4.1共線方程約束的多片最小二乘匹配及不足4.2基于物方面元的最小二乘影像匹配圖4.1多片最小二乘影響匹配圖4.2物方面元與光束的交點5總結展望5.1總結本文在介紹松弛法匹配原理的基礎上，針對多視影像的特殊性，討論了多視影像候選匹配的生成、多視候匹配選初始概率估計、金字塔影像匹配結果的傳遞等問題。本文對多視最小二乘匹配進行了改進，基于物方面元的最小二乘影像匹配的算法，該算法不僅可以消除各片之間獨立的變形系數，減少未知數，還可以得到空間面元的法向量。5.2展望總的來說，經過十幾年的不懈努力，多視影像匹配的研究己經取得了一些進展。但是目前還沒有能夠對各種場景自主地進行3D重建的完整系統。特別是，對于含有各種建筑形狀類型、房頂類型以及地形復雜的城區更是如此。這也是多源信息方法和半自動方法得到重視的原因。另一方面，應該看到自動三維重建的研究還沒有走到絕路。以雙視立體匹配為例，過去認為從立體對利用相關匹配的方法己經沒有什么發展的可能，但是近來的一些研究表明，通過開發新的算法，可以建立可靠的、精確的、保持高度不連續性的密集DsM(codr，etal.，2002)，為公共服務的檢測和提取提供服務。[1]吳曉良.匹配的松弛途徑[M].武漢測繪科技大學，1989：15-20.[2]張力，張祖勛，張劍清.基于約束滿足神經網絡的整體影像匹配[J].武漢測繪科技大學學報，1993:20.[3]張力，沈未名，張祖勛.基于視差變強度空間連續性約束的神經網絡影象匹配[J].武漢測繪科技大學學報，1999:5.[4]張祖勛，張劍清，吳曉良.整體松弛影像匹配[J].1989：7-10[5]仇彤.基于小波變換的松弛法影像匹配[J].武漢測繪科技大學學報，1993:66-67.[6]邵巨良.無需相似性量測的多片影像匹配[J].武漢測繪科技大學學報，1989：15-20.[7]張祖勛，張劍清，胡翔云.基于物方空間幾何約束最小二乘匹配的建筑物半自動提取方法[J].武漢大學學報(信息版)，1997:93-95.[8]王之卓.攝影測量原理續編[J].測繪出版社，1990:77-79.[9]李德仁，鄭肇葆.解析攝影測量學[J].測繪出版社，1998:87-89.AerialImageMulti-ViewMatchingMethodResearchHUFeiAbstract:Asaerialimageryacquiredconveniencely,efficiencilyandhighinformationaccommodate,Photographymeasurementmethodfromtheimageobjectextractionofgeometricfeatures(orgeometricelements),iscurrentlytheprimarymeansofaccesstodata,butduetotheartificialsurfacefeaturesthedataacquisitionistimeconsuming,costly,andhencethedevelopmentoftheautomaticmappingalgorithmisveryimportant.Thestudyofthisissueisnot