——圖像融合技術多源圖像融合技術及其遙感應用圖像融合技術概述灰度圖像融合技術彩色圖像融合技術實時圖像融合系統遙感圖像融合技術圖像融合前沿應用123456課程內容CONTENTS01圖像融合技術概述圖像融合概念圖像融合(ImageFusion)技術是多傳感器信息融合（MultisensorDataFusion）領域的重要分支。隨著科學技術的發展，傳感器性能獲得了很大的提高，各種面向復雜應用背景的多傳感器系統大量涌現。在多傳感器系統中，由于信息表現形式的多樣性，信息數量的巨大性，信息關系的復雜性，以及要求信息處理的及時性，都已大大超出了人腦的信息綜合處理能力。如何能夠在保證信息內容的真實性及完整性的同時，迅速有效地從結構多樣復雜的海量信息資源中捕獲到最感興趣的內容已變得尤為重要。常用的圖像傳感器傳感器類型主要特點TV可見光，可獲得豐富的對比度、顏色和形狀信息。微光夜視儀夜視，探測距離一般在800~1000m。紅外（IR）熱像儀晝夜兩用，探測距離一般在幾km~十幾km。成像激光雷達兼有測距、測速和成像三功能，成像距離3~5km。由于激光束很細（小于10mm），探測分辨能力強，能夠探測出架空電纜之類的細小物體。毫米波雷達全天候特性優于TV及IR，抗干擾性能好，分辨率較高。合成孔徑雷達（SAR）天線尺寸小，成像分辨能力高（地面分辨寬度可達1~3m），由于微波對土壤和水有一定穿透能力，因此SAR可探測淺層地下和水下目標。多光譜/高光譜/超光譜

成像儀多個光譜譜段同時、精確測量目標。可用于地形測繪、監測和分析等。熱島Theindustry’shighestpointdensitycombineswithunlimitedreturnsfromeachoutboundpulsetoprovideoutstandingcanopydetailforforestrystudies.Highsensitivityallowshighdefinitiononpowerlineinfrastructure,includingthesmalleststructuralelementsandsmall-diametergroundwires,anddoessofromgreaterflyingheightsthanothersensors.多傳感器信息融合從上世紀70年代起，多傳感器信息融合（又稱多傳感器數據融合）作為一門新興的學科迅速地發展起來。所謂的信息融合是一種多層次的、多方面的處理過程，這個過程是對多源數據進行檢測、互聯、相關、估計和組合以達到精確的狀態估計和身份估計，以及完整、及時的態勢評估和威脅估計。（Waltz和Llinas，1995）信息融合的特點信息融合技術的優點體現在：能獲得更準確、更及時、低成本的信息和僅靠單一傳感器無法獲得的新信息。多傳感器信息有冗余、互補等特點，通過信息融合可帶來：擴大時空覆蓋范圍增加信息維數增大電磁譜的偵察范圍提高探測率提高精度增大置信度提高空間分辨力提高系統可靠性等由于可以通過低成本的多個傳感器協調完成任務來替代高成本的高精度高性能的傳感器，從而有可能實現系統的相對低成本與高性價比。AB冗余信息互補信息互補信息圖像融合技術所謂圖像融合技術，就是指將多源信道所采集的關于同一目標的圖像經過一定的圖像處理，提取各自信道的信息，最后綜合成統一圖像或綜合圖像特征以供觀察或進一步處理。圖像融合技術的優點提高系統探測性能提高系統自動化程度降低系統相對成本提高指揮決策的正確性和可靠性圖像融合技術應用軍用領域偵察、探測、識別、跟蹤及制導系統中：采用圖像融合技術可使現代軍事偵察手段發生革命性變化，將多個圖像傳感器得到的信息資源得以最大限度的發揮。民用領域機器視覺：是克服目前某些技術難點的突破方向。航空航天遙感：各種遙感器所獲得的大量光譜遙感圖像（其中分辨力差別、灰度等級差別可能很大）的融合與分析，為信息的高效提取提供了良好的處理手段。醫學成像：輔助疾病診斷和病灶定位。生產過程控制：產品巡檢、智能機器人控制。圖像融合技術分類像素級融合：在嚴格配準的條件下，直接使用來自各個傳感器的信息進行像素與像素關聯的融合方法，達到疊加不同信道圖像的特征或提高融合圖像的質量的目的，用來提高信號的靈敏度與信噪比，以利于特征提取。特征級融合：在像素級融合的基礎上，使用參數模板、統計分析、模式相關等方法進行幾何關聯、目標識別、特征提取的融合方法，用以排除虛假特征，以利于系統判決。決策級融合：基于認知模型的方法，模擬人在識別分析推理的思維過程，采用人工智能的處理方法來進行融合處理。關聯各傳感器提供的判決，以增加識別的置信度。圖像融合技術分類

像素級融合特征級融合決策級融合信息種類多維（圖像）特征判決的符號信息的表征層次低到中中高信息模型具有多維特性的隨機過程非不變量；各方面的特征包括：幾何方式、方向、位置等。不確定度量的符號配準要求時間中中低空間髙中低配準方法時間同步同步若需要，歸類符號的時間特性。空間傳感器對準共同光學系統幾何交換若需要，歸類符號的空間特性。融合方法圖像估計或像素特性合成。幾何、時間上關聯；特征特性的合成。邏輯或統計推理融合的作用提高人眼對環境的識別能力；提高圖像處理的質量。提高特征的度量精度；提供新特征。提高（認識）概率的置信度。雙傳感器圖像融合功能模型一個完整的融合系統接收到的最初信息是像素級信息。融合的策略一般從低到高。先對同一層次上的信息進行融合處理，獲得可供更高層次進行融合處理的信息后，再將信息匯入相應的高層次融合級進行下一級融合。像素級融合的研究意義當前，大多數的圖像融合系統均是輔助人眼觀察以進行目標探測、識別的像素級融合設備。圖像本身的可視性，像素級融合具有濃厚的圖像處理色彩。融合后圖像的易接受性也要求圖像融合的輸出結果應需還原到像素級上，這也使得某些已具備特征級融合架構的融合算法（如金字塔法）仍被認為是像素級的，并帶來了算法的復雜化。由于缺乏對多信道的原始數據所包含的特性進行一致性檢驗的有效手段，像素級上的合成具有較大的盲目性，因此，信息融合原則上不贊成在像素級直接進行。像素級圖像融合的應用（遙感）提高分辨力具有立體成像能力突出感興趣區域提高分類效果彌補某一路傳感器成像缺陷(a)Landsat衛星圖像

(b)Spot衛星圖像

(c)融合結果圖像偽彩色融合多光譜圖像的彩色編碼以近紅外代替紅色進行合成，有效區分了生物區域與人造目標。(a)CT圖像(b)PET圖像(c)融合結果圖像像素級圖像融合的應用（醫學）利用不同成像診斷設備聯合進行病灶的精確定位計算機輔助手術臨床懷疑坐骨內生軟骨瘤診斷（紅十字線為病灶定位）利用不同成像診斷設備聯合進行病灶的精確定位計算機輔助手術(a)NMR圖像(b)SPECT圖像(c)融合結果圖像像素級圖像融合的應用（醫學）數字減影成像像素級圖像融合的應用（醫學）改善曝光時間對成像質量的影響(a)曝光不足圖像(b)曝光過度圖像(c)融合結果圖像像素級圖像融合的應用（數碼成像）高動態范圍圖像合成像素級圖像融合的應用（數碼成像）DynamicrangesofcommondevicesDeviceStopsContrastLCD9.5700:1(250:1–1750:1)Negativefilm(KodakVISION3)138192:1Humaneye10–141024:1–16384:1DSLRcamera(NikonD800)14.421744:1多聚焦圖像可提高像質和分辨力(a)聚焦于前面鐘表的圖像

(b)聚焦于中間磁盤盒的圖像(d)融合結果圖像(c)聚焦于后面人員的圖像像素級圖像融合的應用（數碼成像）多聚焦圖像可進行3D重建像素級圖像融合的應用（顯微成像）違禁品檢查暗藏槍支檢查輔助導航(a)可見光成像結果

(b)毫米波(MMW)成像結果(c)融合結果圖像

像素級圖像融合的應用（安檢）像素級圖像融合的應用（安檢）可見光彩色圖像紅外圖像融合圖像像素級圖像融合的應用（安檢）海天目標探測、識別與與跟蹤偽裝識別戰場監視(a)可見光圖像

(b)熱紅外圖像

(c)灰度融合圖像

(d)偽彩色融合圖像

像素級圖像融合的應用（軍事）像素級圖像融合的應用（立體視覺）像素級圖像融合的應用（立體視覺）thelastpicturethatSpiritsenthome像素級圖像融合的基本過程預處理預處理可見光圖像紅外圖像融合圖像圖像配準融合融合參考圖像融合中需解決的問題圖像預處理圖像配準圖像空間分辨力的匹配幀頻同步非光學圖像的融合融合信息的闡述融合效果的客觀評價規則圖像預處理技術由于成像系統的使用環境不同，傳感器的信噪比不同，光學系統不同，圖像質量也不同。圖像預處理是為了減少原始圖像中的噪聲和其它贗像的影響，技術關鍵是圖像去噪。同時兼顧濾除高斯噪聲和脈沖噪聲的效果，在濾除噪聲的同時要較好地保留邊緣等細節信息。圖像配準概念圖像配準（ImageRegistration）：是將兩幅圖像的一對一的映射（或者說變換）過程，即將兩幅圖像中對應于空間同一位置的點對應起來。根據實際情況可以做剛體變換，也可以是較復雜的彈性變換。圖像配準的關鍵問題是圖像之間的空間變換或幾何變換。圖像配準是像素級圖像融合的前提。圖像配準的數學形式圖像配準可描述為兩（相鄰）圖像之間的空間變換與灰度變換數學形式表示

——待配準圖像和參考圖像——二維空間坐標變換——一維灰度變換一般地，空間變換和灰度變換是非線性變換。圖像配準的基本條件是相鄰圖像之間有一部分在邏輯上是相同的比如：這是對應于同一物體同一位置的兩幅圖像。這兩幅圖有兩點明顯的不同，第一是方向上有差異，第二是形狀上少了一部分。我們可以認為它們由不同的成像設備得到（少的那部分代表兩種成像設備成像模式的差異），也可以認為它們來自同一個成像設備（如手術前和手術后，少的那部分代表病變組織），但它們都有著共同的成分。圖像配準的數學形式圖像配準過程我們這里解決的“空間配準”問題是指圖像傳感器相對位置保持不變、光學系統光軸保持平行時、視場不變的“對準”（Alignment），原則上經過一次標定好配準參數后，只要光學系統的參數不變，對待配準通道圖像進行空間變換和灰度變換即可完成圖像的配準過程。圖像對準常用的空間變換平移（Translation）旋轉/拉伸/平移（Rotation/Scale

/Translation）仿射（Affine）投影（Projective）ComplexTransformationsGlobalPolynomialTransformation(splines)前向映射后向映射圖像的重采樣待配準圖像I1(x,y)經過空間變換后，其原像不一定是整數的網格，所謂重采樣就是利用待配準圖像與幾何變換的逆變換T-1座標最臨近的像素點的灰度，使用插值逼近的變換G獲得T(x,y)的灰度，得到最終的配準圖像I2(i,j)。幾何變換T幾何逆變換T-1圖像的重采樣常用的插值算法包括

設對待配準圖像g(x,y)進行空間變換T:(x,y)→(i,j)得到圖像gT(i,j)，如果變換可逆T-1：(i,j)→(x,y)，則最近鄰域法（計算速度快，但幾何精度較差。）雙線性插值法（精度較好，但會造成分辨率下降。）其中圖像的重采樣雙三次卷積（誤差可以為雙線性插值的1/3，較好地保留了圖像細節，但計算過于復雜），設則雙三次卷積法的計算式為其中x方向y方向5423421563521241最近鄰點插值5423421563521241雙線性插值5423421563521241雙三次插值BilinearInterpolationCubicConvolution遙感圖像配準意義地理坐標尋址（地理編碼）多源數據融合方案圖像→地圖←圖像圖像?圖像地圖?圖像配準圖像?圖像配準基于控制點的幾何配準坐標的空間變換（空間插值）灰度級內插（亮度插值，重采樣。）后向映射空間變換方法仿射變換模型簡單多項式變換直觀，控制點數量與多項式階數相關。三角網格變換可以在不同的局部區域，應用不同的多項式。仿射變換幾何變換的類型：剛性變換（Rigid）：包括平移和旋轉。仿射變換（Affine）：將平行線變換為平行線。投影變換（Projection）：將直線映射為直線。曲線變換（curve）：將直線映射為曲線。圖像的配準利用映射函數進行圖像配準地圖

–圖像利用映射多項式進行圖像配準精確形式難以獲得→用多項式替代如二階：如何估計多項式的系數？地面控制點(GCPs)紅色曲線是龍格函數，藍色曲線是5階多項式，綠色曲線是9階多項式。隨著階次的增加，誤差逐漸變大局部三角網格變換在圖像變化較大、失真扭曲復雜、特征點多的區域，三角網密集，能很好地配準失真細節變化。而在圖像內容簡單、失真扭曲小的區域，特征點少，三角網稀疏，不會造成大量的冗余數據，也不會無謂地增加計算量。三角網格變換Delaunay三角剖分（Delaunaytriangulation）對平面有限點集P的三角剖分DT，P中的點不在任意一個DT三角形外接圓里。它滿足兩個重要準則三角網格變換Delaunay三角剖分——準則1空圓特性。Delaunay三角網是唯一的（任意四點不能共圓），在Delaunay三角形網中任一三角形的外接圓范圍內不會有其它點存在。三角網格變換Delaunay三角剖分——準則2最大化最小角特性。在散點集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。

ABCDABCD三角網格變換Delaunay三角剖分——優異的性質：最接近的點形成三角形。唯一性，無論何種算法，最后得到的Delaunay三角剖分是唯一的。最規則，由最大化最小角特性可以推出，Delaunay三角網是“最接近于規則化的”的三角網。所有三角形并集為點集的凸包。（這個所有剖分都是）三角網格變換Delaunay邊假設E中的一條邊e（其端點為a,b），若e滿足條件：存在一個圓經過a,b兩點，圓內不含點集中任何其他的點，這一特性又稱空圓特性，則稱之為Delaunay邊。Delaunay三角剖分如果點集的一個三角剖分只包含Delaunay邊，那么該三角剖分稱為Delaunay三角剖分。控制點的選擇手工選擇GCPs(thesameasImagetoMap)自動算法直接從像素值中提取從頻域提取（基于FFT）利用如邊緣、角點等低級特征利用高級特征，如識別出的物體、特征間的關系等控制點的選擇數量位置分布在圖像邊緣覆蓋整個圖像曲線擬合類比高階外推的不良影響從圖主圖GCP分散GCP集中三階多項式雙三次插值一階多項式雙三次插值地圖原圖配準圖LandsatMSS圖像悉尼11個控制點二階映射多項式雙三次插值GCPImagepixelImagelineMapeastingactualMapeastingestimateMapeastingresidualMapnorthingactualMapnorthingestimateMapnorthingresidualI19091473432279432230.149.4836471836410.160.7219501625431288431418.0-130.1822844822901.4-56.9319511747428981428867.9112.6812515812418.296.8419591851427164427196.9-33.2803313803359.4-46.7517971847417151417170.3-18.9805816805759.357.1614961862397860397871.6-11.2808128808187.2-59.6715551705404964404925.838.6821084820962.6121.6815991548411149411138.510.5833796833857.3-61.1916751584415057415129.0-72.4829871829851.119.81018291713422019421986.632.7816836816884.5-48.11118231625423530423507.822.0824422824504.8-83.2Standarderrorineasting=55.92mStandarderrorinnorthing=63.06m控制點的提取常見的特征點提取算法有：Harris算子（改進后的Shi-Tomasi算法）、Moravec算子、Forstner算子、小波變換算子等。簡單介紹一下最常用的Harris角點檢測算法。角點附近的區域相比于其他區域有一個顯著的特點：無論沿著哪一個方向，灰度變化率始終是很大。假設我們有一個矩形窗口罩在角點附近，將這個窗口沿任意方向移動一小段距離得到一個新的區域，新、舊區域對應點的灰度差值始終很大。相比之下，平滑區域的變化就很小，而邊緣區域沿著某些方向變化率大、某些方向變化率小。控制點的提取Harris算法首先定義了一個窗口函數w(x,y)表示選擇的窗口區域，w(x,y)表示這個坐標所占的權值。有時用0-1賦值，有時候用高斯濾波減少噪聲影響；定義E(u,v)表示窗口沿著(u,v)方向移動后的梯度變化情況：為了簡化計算，泰勒展開其中Ix,Iy

分別為灰度沿x,y方向的導數。控制點的提取Harris算法轉化為矩陣形式：最后定義一個評價函數R：其中k是一個控制參數，λ1,λ2

為M的特征值。當R較小時，圖像是平坦的；當R<０時，圖像是一個邊緣；當R很大時，圖像是一個角點。因此通常會對R設置一個閾值，大于這個閾值的點可以看做是角點。控制點的提取Harris算法HARRISC,STEPHENSM.

“ACombinedCornerandEdgeDetector”ProceedingsofFourthAlveyVisionConference.1988,147-151.控制點的精確對準SequentialSimilarityDetectionAlgorithms(SSDA)相關定位附近搜索簡化相關計算計算窗口內絕對值差之和。改進：平均亮度差異很大時，計算窗內相對各自均值的差的絕對值。錯誤定位時：改變搜索區域大小與窗口尺寸。EOimageCompositebeforeAlignmentIRimageCompositeafterAlignment圖A圖B配準效果CharacteristicsofRegistrationMethodsFeatureSpaceSimilarityMetricsSearchStrategyFeatureSpacesSimilarityMetricsSimilarityMetricAdvantagesNormalized,cross-correlationfunction[Rosenfeld82]accurateforwhitenoisebutnottolerantoflocaldistortions,sharppeakincorrelationspacedifficulttofindCorrelationcoefficient[Svedlow76]similartoabovebuthasabsolutemeasureStatisticalcorrelationandmatchedfil-ters[Pratt78]ifnoisecanbemodeledPhase-correlation[DeCastro87]tolerantoffrequencydependentnoiseSumofabsolutedifferencesofintensity[Barnea72]efficientcomputation,goodforfindingmatcheswithnolocaldistortionsSumofabsolutedifFereaicesofcontoiuis[Barrow77]canbeefficientlycomputedusing“chamfer”matching,morerobustagainstlocaldistortions-notassharplypeakedContour/surfacedifferences[Pelizzari89]forstructuralregistrationNumberofsignchangesinpointwiseintensitydifference[Venot89]goodfordissimilarimagesHigher-levelmetrics:structuralmatching:treeandgraphdistances[Mohr90].Syntacticmatching:automata.[Bunke90]optimizesmatchbasedonfeaturesorrelationsofinterestSearchStrategies02灰度圖像融合技術基于灰度的圖像融合方法代數法灰度調制法高通濾波法……多分辨算法金字塔算法小波變換……在下面的分析中：l多分辨力分析分解的第l級G1,G2,G3,…輸入的序列圖像i,m像素橫坐標GV輸入的可見光圖像j,n像素縱坐標GI輸入的紅外圖像M圖像行數GF融合后圖像N圖像列數

代數法（加權平均）加權平均法的優點是簡單直觀，適合實時處理，但多幅圖像簡單的疊加會使合成圖像的信噪比降低。當融合圖像的灰度差異較大時，就會出現明顯的拼接痕跡，不利于人眼識別和后續的目標識別過程。灰度調制算法灰度調制是一種線性處理，采用線性歸一化的手段將圖像進行變換一般仍然對兩路圖像中細節較多的一路GH進行歸一化。然后以歸一化的該路圖像對另一路圖像GL進行調制得到GF。將得到融合圖像重新量化，使之灰度范圍與顯示設備動態范圍R相匹配，則得到最后的融合圖像GF*。高通濾波法對于兩幅圖像，利用高通濾波器H計算出細節豐富的圖像GHI的高頻部分，與低分辨力圖像GLO相加形成融合圖像。由于圖像的邊緣等細節特征都是由高頻信號表示，因此高通濾波器方法可以增強低分辨力圖像的邊緣特征，增強的程度可以通過改變高通濾波器來實現。幾個常用的3×3高通濾波器多分辨分析多分辨分析（MultiResolutionAnalysis，MRA）的思想是將信號表示為一系列逼近的極限，這一系列逼近的分辨力以一定規律變化，其定義如下：多分辨融合算法多分辨結構的融合算法（如圖像金字塔和小波等）是當前圖像融合算法的主流，其基本思想來自于人眼視覺系統對于局部對比度變化的敏感性，因此可直接將融合圖像作為一種融合多尺度邊緣的描述。多分辨融合能較好地保留圖像的細節部分，并具有較好的目視效果。常用的多分辨融合算法有。金字塔算法Laplacian金字塔FSD金字塔Contrast金字塔Gradient金字塔小波算法（圖像的金字塔結構）LN… L2 L1 L0多分辨融合算法近似金字塔Gaussianpyramid殘差預測金字塔Laplacianpyramid（512×512）Gaussian和Laplacian金字塔（高斯金字塔）（Laplacian金字塔）Laplacian金字塔實質上就是局部亮度差異的分解結構Gaussian金字塔實質上是圖像在較粗分辨力上的逼近多分辨圖像融合算法的實現流程輸入源圖像；確定分解層數、低頻融合策略、高頻融合策略等參數；分別構建兩幅圖像的多分辨結構；利用低頻融合策略融合源圖像的低頻部分；利用高頻融合策略融合源圖像的高頻細節部分；重構圖像，獲得融合圖像。金字塔多分辨結構圖像融合算法融合策略選擇“或“融合策略對于分解后圖像的低頻部分采取加權平均融合策略。而對于高頻分量采用“或”運算進行融合。即取兩個源圖像第l級高頻分量中的最大值。該算法簡單，運算量小，但對噪聲敏感。

融合策略選擇匹配融合策略分解后圖像的低頻部分依然采取加權平均融合策略，而對于高頻分量采取區域特征匹配融合策略。如：選取局部能量為區域特征。若兩幅圖像的區域特征匹配，則進行加權平均處理，若不匹配，選擇特征明顯即局部能量大的作為融合后的高頻分量。計算兩幅圖像各級高頻分量的區域能量。計算兩源圖像第l級的局部區域匹配度。融合策略選擇確定融合算子：確定匹配度閾值a<1。若MIVl(i,j)>a，則利用加權平均計算融合圖像。否則選取局部區域特征更明顯的源圖像作為融合圖像：Gaussian金字塔圖像多分辨結構中的每一級圖像均是前一級圖像低通濾波形成的。（Burt,Adelson，1983）其中r(i),r(j)為對稱濾波器核，二者乘積組成一個Gaussian形式的二維低通濾波器，上式也可寫為。其中*表示卷積，[·]↓2表示“2抽1”的下采樣，用REDUCE表示。Gaussian金字塔對Gaussian金字塔進行擴展EXPAND。定義EXPAND函數為REDUCE函數的逆運算，其作用是利用插值在給定的數值間插補新的樣本值，將Gaussian金字塔結構中某一級圖像擴展成其前一級圖像的尺寸大小。（Burt,Adelson，1983）Laplacian金字塔Laplacian金字塔Dl（多分辨力帶通濾波器）是一組帶通濾波圖像序列，定義為Gaussian金字塔中相繼各級低通濾波圖像之差。（L為分解層數）原始圖像G0可以由Laplacian金字塔精確恢復。Laplacian金字塔Laplacian金字塔生成近似和預測殘差金字塔的系統結構

上采樣器下采樣器近似濾波器可選，比如：鄰域平均→平均金字塔低通高斯濾波→高斯金字塔不濾波

→取樣金字塔插值濾波器可選，比如：最近鄰域雙線性雙三次（迭代方式）FSD金字塔FSD（FilterSubtractDecimate）金字塔是一種類似于Laplacian金字塔的多分辨力結構。FSD金字塔的帶通序列圖像Dl定義為。（Anderson,1984）重構算法其中[·]↑2表示“1插2”的上采樣Contrast金字塔Contrast金字塔把Gaussian金字塔的Gl內插放大，得到放大圖像Gl,1，將其視為Gl的“背景”，故可定義圖像的Contrast金字塔為（Toet,1992） 其中I表示單位灰度圖像重構算法

Gradient金字塔Gradient金字塔相比Laplacian金字塔和FSD金字塔的最大優點在于分解后的帶通細節圖像具有方向性，細化了圖像性質。（Burt,Kolczyski，1993）引入矩陣 其中

表示代表源圖像的第l級第k個方向的分解利用d1、d2、d3、d4，Gradient金字塔可以分解出水平、45°、垂直、135°四個方向上的細節圖像。Gradient金字塔第l級細節圖像Dl定義為Gradient金字塔的重構可以借助FSD金字塔來完成小波分析（WaveletAnalysis）一個L2(R)的信號可以根據一個確定函數

的伸縮、平移系展開為一系列的子帶信號

(A.Grossman,1984)L2(R)可表示為關于一系列子空間WJ的直和分解關系

1986年，Y.Meyer構建出具有一定衰減性的光滑函數，其二進制伸縮與平移系

構成L2(R)的規范正交基=>VJ空間（尺度函數）=>WJ空間（小波函數）離散小波變換離散小波變換（DWT）展開系數規范小波正交基信號重構小波變換許多小波函數和縮放函數都是以開發者名字命名的，例如。Moret小波函數是Grossmann和Morlet在1984年開發的db6縮放函數和db6小波函數是Daubechies開發的小波變換——計算過程小波ψ(t)和原始信號f(t)的開始部分進行比較。計算系數C——該部分信號與小波的近似程度；C值越高表示信號與小波相似程度越高。小波右移k得到的小波函數為ψ(t-k)

，然后重復步驟1和2，……直到信號結束。擴展小波，如擴展一倍，得到的小波函數為ψ(t/2)

。重復步驟1~4。小波變換——粗略的解釋小波變換的公式有內積形式和卷積形式，兩種形式的實質都是一樣的。它要求的就是一個個小波分量的系數也就是”權”。其直觀意義就是首先用一個時窗最窄，頻窗最寬的小波作為尺子去一步步地“量”信號，也就是去比較信號與小波的相似程度。信號局部與小波越相似，則小波變換的值越大，否則越小！當一步比較完成后，再將尺子拉長一倍，又去一步步地比較，從而得出一組組數據。如此這般循環，最后得出的就是信號的小波分解（小波級數）。小波變換系數的含義小波變換的系數表示了：小波與處在分析時段內的信號的波形近似程度C=0.2247C=0.0102不同的分析時段不同的分析尺度二維小波分解1987年，Mallat巧妙地將計算機視覺領域內的多尺度分析思想引入到小波分析中，提出多分辨力分析概念，提出了相應的分解與重構快速算法（1988）在圖像的小波分解中每一層圖像被分解為LL（輪廓，

空間），HL（垂直向細節，

空間），LH（水平向細節，空間）和HH（135?對角線細節，

空間）四個頻帶，下一層對LL繼續分解。圖像的小波分解圖像分解上式中h(·),g(·)為選定的濾波器系數，h具有低通性質，g具有高通性質。待分解圖像Gl(i,j)與濾波器進行卷積，然后對結果進行下采樣，從而得到Gl、Dl1、Dl2、Dl3，分別代表圖像第l級分解的低頻信息及水平、垂直、對角線方向的高頻信息。圖像的小波重構圖像重構將分解的圖像Gl、Dl1、Dl2、Dl3與鏡像濾波器h(·),g(·)分別卷積，進行行列重構，每兩列和兩行重構時進行補零上采樣。4.小波變換系數取自H2灰度直方圖近似方向敏感性256×256128×12864×64圖像的小波分解與重構原始圖像2層小波分解結果如：采用的Daubechies(2,2)小波函數對原始圖像分解。基于小波分解的圖像融合基本的融合過程MultifocusfusioninwaveletdomaininputchannelswaveletdecompositionsMax-ruleinhighpassfusedwaveletdecompositionfusedimage小波在圖像融合處理中的優勢小波變換的完善重建能力，理論上保證了信號在分解過程中沒有任何信息損失和冗余信息。小波變換把圖像分解成逼近圖像和細節圖像，分別代表了圖像的不同結構，因此原始圖像的結構和細節信息容易提取。小波變換具有快速算法（Mallat算法），基于小波分析的多分辨結構回避了層與層之間的反饋運算，計算效率高。小波多分辨結構的分解過程中會自然生成具有方向性的高頻分量，符合人眼視覺對比度感知的方向性，其恒帶通頻率分析的特性與人的感覺過程十分類似。小波具有空間和頻域上的局部性，利用小波變換可以將源圖像分解到一系列頻率通道中，類似于人眼視網膜的處理過程，在多頻率分量、多方向上的融合，可以充分利用源圖像的信息，得到特征更突出、細節信息更豐富的融合圖像。小波算法vs.金字塔算法無論金字塔法還是小波變換法，多分辨分解的數據結構其內在機理是統一的。基于高斯塔式結構的金字塔算法雖然運算簡潔，但算法的穩定性則相對差些。小波可以選取不同的小波基以改善融合效果，而金字塔結構中高頻成分采用空域差值圖像表征，分解后的多通道多頻信息不具備正交性，不能精確地反映兩不同分辨力圖像的信息差。融合的評價規則主觀評價由觀察者根據一些事先規定的評價尺度或自己的經驗，對被評價圖像提出質量判決。有些情況下，也可提供一組標準圖像作為參考，幫助觀察者對圖像質量作出合適的評價。圖像主觀評價的尺度(即評分標準)往往要根據應用場合等因素來選擇和制定。對一般人來講多采用質量尺度，對專業人員來講，則多采用防礙尺度。為了保證圖像主觀評價在統計上有意義，參加評價的觀察者應足夠多。分數質量尺度妨礙程度5分非常好絲毫看不出圖像質量變化4分好能看出圖像質量變化，但不妨礙觀看。3分一般能清楚的看出圖像質量變壞，對觀看稍有妨礙。2分差對觀看有妨礙1分非常差非常嚴重地妨礙觀看主觀評價尺度表客觀評價利用圖像的統計參數進行判定，主要分2類：反映空間細節信息，如方差、信息熵和清晰度。反映光譜信息，如扭曲程度、偏差指數與相關系數。融合的評價規則均值與標準方差均值反映平均亮度，如果均值適中，則視覺效果良好；方差反映了灰度相對于灰度均值的離散情況，方差越大，灰度級分布越散，圖像中所有灰度級出現概率越趨于相等，包含的信息量越趨于最大。信息熵融合的評價規則融合的評價規則熵的大小反應了圖像攜帶的信息量的多少。融合圖像的熵值越大，說明融合圖像攜帶的信息量越大。

交叉熵交叉熵反映了融合圖像對原始圖像綜合的信息量的多少。偏差熵偏差熵反映了融合圖像信息量的差異。融合的評價規則清晰度清晰度反映了融合圖像邊緣的清晰度。偏差指數

偏差指數比較融合圖像和原圖像偏離程度。融合效果比較可見光圖像紅外圖像代數法高通濾波法Laplacian金字塔法FSD金字塔法Contrast金字塔法Gradient金字塔法小波算法融合算法性能對比融合算法性能分析一些參數原始圖像大小：640×384由于可見光圖像細節更豐富，后三種指標的值都是融合圖像與可見光圖像相比較得到。上表中1表示“或”融合策略、2表示采用了匹配融合策略。多分辨力融合算法匹配融合策略中。選用了DB(2,2)小波。融合算法性能分析分析結果可以看出代數法各指標都十分突出。除代數法外，各融合算法均使融合圖像的平均灰度和方差介于原始圖像的數值之間，處于較合理范圍。高通濾波法的交叉熵、偏差熵和均方差都是最小的，說明其融合結果與可見光圖像非常接近，很少包含紅外圖像的信息。幾種金字塔算法和小波算法融合結果平均亮度近似。Laplacian金字塔算法的熵最大，因此細節也最豐富。從交叉熵和偏差熵相關指標來看，對比度金字塔與原始圖像差異較大，而Laplacian金字塔與原始圖像最為接近。05遙感圖像融合效果評價本章內容圖像融合效果評價與異源遙感圖像融合基于視覺注意的可見光/紅外圖像融合技術雙通道紅外圖像融合技術138圖像融合的評價規則評價融合圖像的質量是圖像融合的一個重要步驟。評價融合效果主要包括定性（主觀）和定量（客觀）評價定性評價一般選用目視法解譯定量評價分為融合圖像的整體質量融合圖像與源圖像的關系評價融合圖像和低分辨率圖像的光譜信息保真度融合圖像與高分辨率圖像的高頻信息保真度（紋理信息）基于參考圖像的融合效果評價圖像融合的評價規則圖像融合的主觀評價規則分數MOS質量尺度Quality妨礙尺度Impairment5分非常好絲毫看不出圖像質量變化4分好能看出圖像質量變化，但不妨礙觀看。3分一般能清楚地看出圖像質量變壞，對觀看稍有妨礙。2分差對觀看有妨礙1分非常差非常嚴重地妨礙觀看141國際無線電咨詢委員會制定的CCIR-500五級質量評價標準由觀察者根據一些事先規定的評價尺度或自己的經驗，對被評價圖像提出質量判決。有些情況下，也可提供一組標準圖像作為參考，幫助觀察者對圖像質量作出合適的評價。圖像主觀評價的尺度(即評分標準)往往要根據應用場合等因素來選擇和制定。對一般人來講多采用質量尺度，對專業人員來講，則多采用防礙尺度。主觀評價尺度表MeanOpinionScore(MOS)圖像融合的主觀評價規則為了保證圖像主觀評價在統計上有意義，參加評價的觀察者應足夠多。在每個人給出打分后，對分數進行計算統計：N

指評價總人數，M

指失真類型總數為了限制評價人員的個人習慣、數值度量差異，可以轉換為Z-Score。142成功的圖像融合結果失敗的圖像融合結果圖像融合的主觀評價規則優秀主觀圖像質量標準的特征：(1)足夠寬的質量覆蓋范圍。

不僅要滿足當前的使用要求，而且必須兼顧以后的技術發展。(2)恒定性。

一旦標準被建立，就不應隨時間變化，盡管標準中的樣本圖像可能需要及時擴充和更新，但恒定性對于保證圖像質量評價實驗在不同時期的精確重復非常重要。(3)小的奇異性。

當多名圖像分析人員使用同樣的標準對同一幅圖像進行評定時，評價的均方誤差越小，標準本身的性能越好，說明任務的描述清晰準確，參照物的選擇科學，樣本圖像的數量充分且分布合理，易于被圖像分析人員把握。145圖像融合的主觀評價規則主觀質量評價是進行遙感圖像質量評價常用的方法，并且是檢驗客觀評價指標是否與人類視覺一致的唯一標準。但是由于主觀評價需要耗費大量人力和時間，評價結果受實驗條件的影響常常不夠穩定，因此對效率和穩定性要求較高的實時系統一般不太傾向于選擇這一方法。146美國國家圖像解譯度分級標準NationalImageryInterpretabilityRatingScale

(NIIRS)

它定義了一組解譯任務，覆蓋范圍從大目標的低級檢測到小目標的細節分析。IRARS（美國圖像分辨率評估和報告標準委員會）對執行這些解譯任務的難度進行分級，為每個任務賦予一個數值等級，判斷圖像能執行的最高級的解譯任務，將任務的數值等級賦予圖像，從而達到對圖像質量量化的目的。NIIRS作為一種定量的主觀圖像質量標準，將用戶的任務需求同遙感圖像質量聯系了起來，是目前西方情報機構廣為使用的一種圖像質量標準。開發NIIRS最初的目的是建立一個量化表，來表示從一副特定圖像中可以提取什么信息以及不可以提取什么信息。147148等級判據0由于圖像模糊、惡化或極差的分辨能力致使解譯工作無法進行。1發現中等大小的港口設施或辨別大型機場的跑道和滑道。2發現機場的大型機庫。發現大型固定雷達站（如AN/FPS-85，COBRADANE，PECHORA，HANHOUSE）。發現軍事訓練區域。

由道路的類型和場地形狀辨認SA-5基地。發現海軍設施的大型建筑（如倉庫和建造大廳）。發現大型建筑（如醫院和工廠）。3辨認所有大型飛機（如707，CONCORD，BEAR，BLACKJACK）的機翼形狀（直翼、掠翼和三角翼）。由形狀、土丘及混凝土頂罩辨認地對空導彈基地的雷達和制導區域。由形狀和標志發現直升機升降場。發現移動導彈基地的支持車輛。辨別停泊在港口的大型海面艦只的類型(巡洋艦、補給艦、非戰斗艦或商船)。發現鐵路線上的火車或標準滾動臺座(但不要求辨認出每個車廂)。4辨認所有大型戰斗機(如FENCER，FOXBAT，F-15，F-14)。發現獨立的大型雷達天線(如TALLKING)。辨別履帶車輛、野戰炮、大型舟橋設施以及成群出現的輪式車輛。發現開啟的導彈豎井。判定中等大小潛艇(ROMEO，HAN，Type209，CHARLIEⅡ，ECHOⅡ，VICTORⅡ／Ⅲ)的頭部形狀(尖頭、鈍頭或園頭)。辨認鐵路調車場中每一節火車、鐵路線、控制塔以及鐵道交叉點。等級判據5基于加油設備辨別MIDAS和CANDID。辨認雷達是安裝在汽車上還是安裝在拖車上。辨認已展開地對地戰術導彈系統的類型(FROG，SS-2l，SCLID)。一個已知的支援基地沒有被偽裝的情況下，辨別SS-25移動導彈運輸、安裝、豎立、發射裝備和導彈支持搬運車。辨認KIROV-，SOVREMENNY-，SLAVA，MOSKVA-，KARA-，KRESTA-Ⅱ級艦只的TOPSTEER或TOPSAIL對空監視雷達。辨別每節火車的類型(敞蓬車、平板車或廂式貨車)以及機車的類型(蒸汽機車還是內燃機車)。6辨認小型或中型直升機的型號(如HELIXA、HELLXB和HELLXC，HINDD和HINDE，HAZEA、HAZEB和HAZEC。辨認EW／GCI／ACQ雷達天線的形狀，是拋物面、有剪邊的拋物面或矩形。辨別中型卡車的備用輪胎。辨別SA-6，SA-11和SA-17的導彈彈體。辨認在SLAVA級艦艇上SA-N-6導彈的每一個垂直發射器頂蓋。辨認轎車和廂式旅行車。7辨認戰斗機大小飛機(如FULCRUM，FOXHOUND)的附件和整流罩。辨認電子車輛的入口、階梯和通風口。發現反坦克導彈的安裝(如BMP-1上的SAGGER)。發現Ⅲ-F，Ⅲ-G和Ⅱ-H發射井和Ⅲ-X發射控制井頂蓋的鉸鏈機構細節。辨認在KIROV-，KARA-和KRIVAK級艦只上RBU的每個炮管。辨認鐵軌的每個結點。8辨認轟炸機上的鉚釘線。發現安裝在BACKTRAP和BACKNET雷達頂部的角狀和W狀天線。辨認手持式地對地導彈(如SA-7/14，REDEYE，STINGER)。辨認TEL或TELAR的接點和焊點。發現安裝在甲板上的起重機的卷揚機鋼索。辨認汽車的雨刮器。9從飛機體表嵌板緊固件的一字槽中辨認十字槽。辨認天線罩連接導線的淺色調的小型陶瓷絕緣予。辨認卡車的車牌號。辨認導彈部件上的螺栓和螺釘。辨認編織繩索(直徑在1-3英寸之間)。發現鐵路線上的每一個道釘。可見光NIIRS分級標準(1994年3月)空軍：偵察空軍目標或設施的任務電子：偵察電子目標或設施的任務陸軍：偵察陸軍目標或設施的任務導彈：偵察導彈目標或設施的任務海軍：偵察海軍目標或設施的任務文化：偵察民用或文化設施的任務149等級判據0由于模糊、質量退化或空間分辨率極差無法解譯。1在大型飛機場，根據配置和布局辨別跑道和滑行道。探測稠密森林中的火面積（例如，超過1km2)開闊區域。在開闊的水域探測遠洋大型艦船（例如：航空母艦、超級游船、“基洛夫”巡洋艦）探測大面積的（例如，超過1km2）濕地或沼澤。2探測大型飛機（例如：C-141、波音707、“熊”轟炸機、“文豪”運輸機）在城區探測單個的大型建筑（例如：醫院、工廠）。辨別密林、稀疏林和開闊地。通過建筑和道路的圖案辨認SS-25基地。基于大型功能區域的類型和格局辨別軍用和民用港口設施3區分大型（如：C-141、波音707、“熊”轟炸機、空中客車A-300）和小型飛機（如：A-4、L-39）在熱電廠中辨認連接煙囪與鍋爐房之間的單根煙道。通過塹壕、警戒防護設施、混凝土掩體探測大型防空雷達陣地。在地面部隊營區探測駕駛員訓練場。辨認薩姆-5綜合發射的獨立功能區域(例如：發射井、電子設備部分、支持部分和導彈存儲部分)。分辨大型(例如：超過200m)貨船和游船。4辨認小型戰斗飛機(例如：FROGFOOT、F-16、FISHBED)的機翼外形。在市區探測小型(例如：超過50m2)變電站。在電子設備工廠中探測大型(例如，直徑超過超過10m)圓形屋頂。在部隊營區中探測每一個內燃機車輛。在部隊營區中探測發動引擎的SS-25導彈支撐搬運車。辨認大型商船上每個關閉著的貨物艙門。等級判據5辨別單尾翼(例如：FROGFOOT、F-16、TORNADO)和雙尾翼戰斗機(例如：F-15、FLANKER、FOXBAT)。辨認室外網球場。辨認大型(例如，近似為75m)無線電中繼塔的金屬網格結構。探測塹壕內的裝甲車輛。探測SA-10站展開的移動式電子設備塔(TET)。辨認大型(例如，超過200m)商船的貨船形狀(例如：方形、圓形、橢圓形)。6探測大型轟炸機(例如：B-52、“熊”轟炸機、BADGER)機翼上突出安裝的裝備(即空對地導彈、炸彈)。辨認柴油機車頂部的每個發熱的出煙口。基于天線型式和間距辨別FIXFOUR和FIXSIX基地。區分發動引擎的坦克和裝甲運兵車。區分雙軌和4軌SA-3發射臺。辨認潛水艇上的導彈發射艙口。7基于飛機前端形狀區分MIG-23的地面攻擊型和攔截型機種。辨認汽車為轎車還是廂式貨車。辨認無線電中繼站的反射面天線(直徑小于3m)。辨認SA-6上裝運機的導彈轉運起重機。在沒有裝載導彈時區分SA-2／CAS-1和SCUD-B導彈索引車。在碼頭探測船只泊停板或系船柱。8辨認殲擊機FISHBEDJ／K／L背部的滑塊式(RAM)空氣進氣口。辨認單兵的肢體(例如：胳膊、雙腿)。辨認雷達天線上水平的和垂直的單根桁肋。探測坦克炮塔上關閉的艙口。根據半自動拖車前部單個或成對的配件，區分油料和氧化劑多系統推進劑運輸車。在甲板邊緣的救生道上辨認單根立柱和圍欄。9辨認戰斗機的進出艙口。在輕型敞棚卡車里辨認貨物(例如：撅鏟、摟耙、梯子)。根據小型振子單元的存在與否區分BIRDSEYE和BELLLACE天線。辨認裝甲車上艙口鉸鏈。辨認SA-2／CSA-1導彈上單個帶狀制導天線。辨認艙壁梯子上的每個梯蹬。紅外NIIRS分級標準(1996年4月)均值：均值越大說明圖像含信息量越高。標準差：反映圖像灰度相對于灰度均值的離散情況。標準差大，則圖像灰度級分散，圖像反差大，信息量豐富。熵：熵越大說明整體圖像的信息含量高融合圖像的整體質量評價融合圖像的整體質量評價

融合圖像的整體質量評價空間頻率——

基于清晰度的評價其中，RF和CF分別表示空間行頻率和列頻率SF

越大，說明融合圖像越清晰。融合圖像與源圖像的關系評價互信息之和——基于信息量的評價

F為融合圖像，A、B為原始圖像。融合圖像與源圖像的互信息之和越大，表示融合圖像從源圖像獲取的信息越豐富，融合效果越好。互信息和有時也被稱為FusionFactor（FF）融合圖像與源圖像的關系評價FusionSymmetry（FS）——基于信息量的評價互信息和高，并不能表示融合圖像的信息均衡（對稱）地來自于兩幅源圖像FS可以表征圖像融合過程中信息來源的對稱性。

FS越小，表示融合圖像過程越均衡。如果某一圖像源較差，互信息和高更重要。如果兩個圖像源均具有高像質，則