1、紅外圖像與可見光圖像融合筆記圖像融合是將來自不同傳感器在同一時間 ( 或者不同時間 ) 對同一目標獲取 的兩幅或者多幅圖像合成為一幅滿足某種需求圖像的過程。為了獲得較好的融合效果，在研究融合算法之前，對圖像預處理理論及方法 進行了研究。預處理理論主要包括圖像去噪、 圖像配準和圖像增強。圖像去噪目 的是為了減少噪聲對圖像的影響。圖像配準是使處于不同狀態下的圖像達到統一配準狀態的方法。圖像增強是為了突出圖像中的有用信息，改善圖像的視覺效果， 并方便圖像的 進一步融合。圖像融合評價方法：主觀評價和客觀評價。指標如：均值、標準差、信息熵等。針對hS變換和小波變換的優缺點，本文提出了一種基于這兩種變換結

2、合的圖像融合方法。該算法的具體實現步驟如下：先對彩色可見光圖像進行IHS 變 換，對紅外圖像進行增強，然后將變換后得到的 I 分量與已增強的紅外圖像進行 2 層小波分解，將獲得的低頻子帶和高頻子帶使用基于窗口的融合規則，而 后對分量進行小波重構和IHS逆變換，最后得到融合結果。經仿真實驗證明，此結果優于傳統IHS變換和傳統小波變換，獲得了較好的融合結果，既保持了 可見光圖像中的大量 彩色信息又保留了紅外圖像的重要目標信息。紅外傳感器反映的是景物溫度差或輻射差，不易受風沙煙霧等復雜條件的影 響。一般來說，紅外圖像都有細節信息表現不明顯、對比度低、成像效果差等缺 點，因此 其可視性并不是很理想。可

3、見光成像傳感器與紅外成像傳感器不同， 它只與目標場景的反射有關與其他無關，所以可見光圖像表現為有較好的顏色等信息，反應真實環境目標情況， 但當有 遮擋時就無法觀察出遮擋的目標。利用紅外傳感器發現煙霧遮擋的目標或在樹木后的車輛等。 在夜間，人眼不能很好的辨別場景中的目標，但由于不同景物之間存在著一定的溫度差，可以利用紅外傳感器，它可以利用紅外輻射差來進行探測，這樣所成的圖像雖然不能直接清晰的觀察目標，但是能夠將目標的輪廓顯示出來，并能依據物體表面的溫度和發射率的高低把重要目標從背景中分離出來， 方便人眼的判讀。但由于自身成像原理以及使用條件等原因，所形成圖像具有噪聲大、對比度低、模糊不清、視 覺

4、效果差等問題。不利于人眼判讀。可以將兩者圖像融合在一起，這樣可以豐富圖像信息，提高圖像分辨率，增 強圖像的光譜信息，彌補單一傳感器針對特定場景表達的不全面， 實現對場景全面清晰準確的表達。兩者的主要區別有：(1) 可見光圖像與紅外圖像的成像原理不同，前者依據物體的反射率的不同 進行成像，后者依據物體的溫度或輻射率不同進行成像， 因此紅外圖像的光譜信 息明顯不如可見光圖像。(2) 可 見光圖像與紅外圖像的空間分辨率不同，一般情況下，前者的空間分辨率高于后者；(3) 可見光圖像與紅外圖像對同一景物的灰度差異不同；(4) 可見光圖像與紅外圖像的紋理和邊緣特征不同；(5) 可見光圖像與紅外圖像的像素之

5、間的相關性不同。圖像融合可以在以下三個不同層次進行：像素級、特征級和決策級。像素級圖像融合是最低層次的融合， 也是其他層次圖像融合方式的基礎，它 是直接對兩幅或多幅圖像中的對應像素點進行信息綜合處理。像素級圖像融合主 要強調的是對有用信息的強化和豐富，充分利用了融合圖像中的有用信息，使之更符合人類的視覺特性，從而進行下一步的處理和分析。融合技術有：基于變換域、基于成像模型、基于線性加權、基于多尺度分解。特征級圖像融合是指將待融合圖像進行特征提取產生特征矢量， 這里的特征是指邊緣、形狀，方向等，然后對特征矢量進行融合處理，從而完成特征級融合。 主要方法有貝葉斯估計法，熵法、模糊聚類法。決策級圖像

6、融合的一般步驟是先對圖像相關信息進行屬性說明， 而后進行融合，最后將得到場景中相關重要信息的融合屬性說明的結果作為控制決策的依據。常用的圖像融合方法包括基于空間域和基于變換域融合。基于變換域：PCA&統計特征的基礎上進行的一種多維正交線性變換。將相關性變量變換為不相關變量，這樣所得結果就是由原始變量線性相加而成。 PCA圖像融合方法的原理是首先計算待融合圖像的相關系數矩陣， 求出相應的特征值和特征向量，然后通過特征值對應的特征向量來確定圖像的加權系數， 這樣便得 到了融合后的圖像。高通濾波法(HPF) 的圖像融合方法原理是首先采用具有較小空間的高通濾波 器對待融合圖像進行濾波，這樣濾波

7、后得到的圖像保留了大部分與空間相關的高 頻分量信息，例如細節信息及紋理信息等，然后將得到的高頻分量信息進行逐像素疊加到另一幅待融合圖像上，這樣便實現了圖像融合。hS空間卻與RG醛間不同，它是由亮度、色度與飽和度構成的，分別為 I、 HS 表示，其它顏色也是由這三個分量構成。亮度I 表示的是由其他物體反射的全部能量和圖像的空間信息；色度H 表示的是色彩組成的主波長，反映的是頻 譜信息；飽和度S表示的是顏色的純度，主要反映地物的光譜信息。在 IHS色彩 空間中，I、H、S三個分量相關性很低，因此可以利用這個特點對分量單獨進行處理。并且這種彩色空間更適于人眼的觀察，算法也很簡單，因此被廣泛的應用 到

8、圖像融合技術。在舊S變換中，把圖像由RG而間變換到IHS空間的變換稱為正變換，相反 的， 由IHS空間變換到RGB更型的變換稱為反變換。基于這種變換的圖像融合原理是對已嚴格配準兩幅圖像中的顏色信息豐富 的圖像進行 IHS 正變換得到三個分量，再用另一幅圖像替換掉I 分量，最后利 用新的 I 分量和原來得到的兩個分量進行IHS逆變換，這樣便得出了融合圖像。(2)IHS逆變換公式.1/721 .乜1/3-1八2 f 6帆-1/V20 J )S 二 J 才十甘，H = tan-1(v2 / vj(3-1g(3-3)4 J苴中g論彷別為R(1R空間中的二牛什肘*小波變換的優點表現為圖像分解后形成具有不

9、同分辨率、頻率和方向特征的分量信號，而且可以將圖像的光譜特征和空間特征完全分離，這樣就可以為融合 處理奠定基礎。這種變換的優點還表現為當利用變換進行重構時，信息會被準確 無誤的，不會有圖像信息損失的重構。而且在分解時將圖像分解到不同的尺度上，這樣可以方便的分析圖像近似信息和細節信息，這種分解過程與人類視覺系統的 特點相類下面主要闡述基于小波的圖像融合原理，先對已嚴格配準的兩幅待融合圖像A,B進行小波變換，若進行i層變換，便得到3i個高頻子帶和1個低頻子帶，將獲得的 低頻和高頻子帶作不同融合規則處理，再將處理過的子帶實行小波 逆變換，便形成了結果圖像Fo下圖表示其融合原理圖。國曙A小波時和逆變圖

10、像B初叫多尺度:圖像 小波攵換國，4基于小波變按口勺圖像融靜原小波融合局限性：小波分他數的確定和小波基函數的選取。并且沒有一種先不同的小波基在對圖像進行分解和重構時具有不同的特性,小波基能夠對所有圖像的處理效果能優于其它的小波基。因此，在選取小波基 函數時應根據圖像的統計特性進行動態的選取；對于確定小波分解層數的問題會出現因小波分解層數的不同產生時頻分辨率和小波系數的變化范圍變差的現象。一般來說，當分解層數不斷增加時，分解中能夠剔除大量不重要的數據，由此可以增加圖像的壓縮比和提高圖像的壓縮質 量。然而，隨著 分解層數的進一步增加，這種良好的特性并不能一直的保持，而 是當分解層數達到一 定值時融

11、合效果最好，超過此值時融合效果會下降。Con tourlet 變換：因為小波變換只能獲得有限方向的信息，并不能獲得所有方向的信息。小波 變換的二維變換基的支撐區域為矩形，它能很好的表達點的奇異性，但無法高效的表達逼近圖像固有的奇異曲線；人們經過研究發展了一個新的方法即多尺度幾何分析法，這種分析法在表現高維函數上發揮了巨大的優勢；其中Con tourlet變換是Do和Vetterli 在2002年提出的方法。這種變換是目前應用較為廣泛的變換，它是“真正”的圖像二維表示方法。它是用非分離濾波器組構造的，其構造方法與小波類似。它是一種多分辨率多方向的變換，其最終是通過相當于輪廓段來對圖像進行逼近的，

12、它的基的支撐區間具有隨尺度而長寬比變化的“長條形結構。它在處理信號時具有良好的方向性、多分辨率性、局部化性和各向異性等優點，因此被廣泛的應用于圖像融合領域中。Con tourlet變換主要可分為兩個步驟，一個是搜索奇異點，另一個是合并 方向接 近的奇異點。它采用雙重濾波器組結構，一個是拉普拉斯金字塔濾波器，另一個是方向濾波器組，通過濾波器組來獲取多分辨率信息和方向信息。Contourlet變換的過程是先進行多分辨率分解，這里采用的是LP分解，經過分解后會產生低頻分量和高頻分量，然后對分解得到的高頻分量使用方向濾波器組進行方向性分析，最后對低頻分量再進行LP分解，便可以得到一系列不同尺度的低頻分

13、量和高頻分量圖像。每一次LP分解都生成低頻子帶和高頻子帶，其中低頻子帶的分辨率是原圖像的一半，而高頻子帶的分辨率和原圖像相同，這里的高頻子帶為原圖像和低頻子帶上采樣濾波后的差值信號。方向濾波器組的作用是捕獲圖像的方向性高頻信息，并將分布在同方向上的奇異點合成為一個系數。它的原理是采用樹形結構分解，在每層上將信號先通過扇形濾波器組(QFB進行扇形方向上的頻率切分，然后與旋轉重采樣操作適當組合以實現圖像高頻信息方向性分析，從而捕獲圖像中的線、面等奇異性。輸入方向杵分析S 3 6 Contourlet 換巾理曲歡迎下載17高斯金字塔的構成是首先對原始輸入圖像進行高斯低通濾波和隔行隔列的 下采 樣，這

14、樣便得到了高斯金字塔的第一層， 然后再對第一層圖像低通濾波和下 采樣, 得到高斯金字塔的第二層，依次類推。其構建過程如下：2 2fli fl=-2這里的I的范圍是1-N,表示高斯金字塔的層數。i , j表示高斯金字塔對 解層的行數和列數。W( m, n)是一個二維可分離的5*5窗口函數，其表達應分 公式如'144 161 h 24G> 二 256 44 16146 4 r24 16 436 24 624 16 464 1由上可見高斯金字塔的這一層圖像是由其上一層圖像先進行高斯低通濾波， 然 后進行隔行和隔列的采樣而得到的，這樣當前層圖像的大小依次為前一層圖像 大小 的 1/4.拉

15、普拉斯金字塔分解及重構：在對G進行內插處理，這樣便得到了放大的圖像 W2 1G; (fJ) = 4工工創(購川)?="-2 u = -2式中,GL =22(3-15)式中，N為拉普拉斯金字塔分解的最高層次，LR是拉普拉斯金字塔分解的 第I層圖像,這樣一層一層的分解便生成了最終的拉普拉斯金字塔， 其中的每- 層圖像都是經過高斯金字塔的當前層圖像與其前一層圖像經內插放大后進行相 減得 到圖像的差值；采樣理論：在素樣理論中采悍分為上采 樣和卜采樣.Flffl來外紹一卜這兩種采樣的 方法.佻上采樣如果將序列對砒進行 A/倍的卜黑樣拆得到的序列為 工(財”時,記為：xw尸 a(5/'w

16、)(3-18其對應的頻譜關系為'X(初二 X(,lf 叨(3-19)B下采樣如杲將子列N州進行M倍的下采樣后得到的 序列為工“仞？記為tx(/i) =Jf(AfrU(3-2(h瓦對應的榭諾關系為：1 J 2knX(h) = )A ()卜f J .，k -0接下來先介第丘株采樣.它是指沿相鄰兩彳亍和兩列奇偶交錯地杵肓利列內作二抽取采樣.WK/I?狀是五糕斯以得止匕？ ： "？可以用皓標護陣與如下忻陣 a ma的乘沅來衣示斤株采樣:r Y5'和4亍？需要對0|33)第果被漾樣牛戍的國 像就變戍原圖像大小的半并分別旋轉G與Q做一些改進.就仔如卜坨、際 局、比，我們把它們竦為

17、逼近濾波器組:I I1 -II (R 產 卜 R 二 . R,二 0 110 1111IHS變換由于其運算簡單，計算速度快，并能顯著提高圖像空間分辨率等諸多優點，被廣泛的應用于圖像融合技術中。小波變換是一種圖像的多分辨率分析方法，能夠將圖像分解為相應分辨率下的近似低頻分量和三個高頻細節分量， 這三個高頻細節分量分別為水平， 垂直和 對角線方向 的高頻細節信息。基于小波變換的分解特點，在進行圖像融合時可以 分別對近似低頻分量和高頻細節分量進行融合，并采用不同的融合規則，因此采用小波變換的融合算法往往能獲得更好的融合效果，也能較好地保留原始圖像的 光譜信息。但是使用小波變換法實際上是對圖像進行高通

18、濾波和低通濾波的過程，融合圖像會在一定程度上丟失邊緣信息，易出現模糊情況和分塊效應，而且計算過程比IHS變換復雜。因此將IHS變換和小波變換結合起來使用，這樣既 可以提高 融合圖像的空間分辨率，也可以更好的保留可見光圖像的光譜信息。根據紅外圖像的成像原理，紅外圖像具有分辨率低，邊緣模糊，視覺效果較 差，噂 聲較大等特點。尤其在復雜背景環境中，遠距離的紅外目標容易被復雜背 景所淹沒，這 將對后續的圖像融合造成很大的困難，會嚴重影響融合圖像的質量。對紅外圖像采用灰度變換的圖像增強處理方法。使用灰度變換可以提高紅外圖像的對比度，使得紅外目標更加清晰明顯，更易于后續的融合處理，并且灰度變換算法計算簡單

19、快速。基于IHS和小波變換的圖像融合在融合時一定要保留紅外圖像中的目標信息，不然融合就沒有了意義。同時， 要盡力保留紅外圖像和可見光圖像的邊緣信息，否則圖像會變得模糊。基于hS和小波變換的窗口融合算法，這是因為采用區域窗口的方法可以更好的保留兩幅圖像中的光譜和細節信息。與采用單個像素的融合算法相比，采 用區域融合算法更滿足人類的視覺系統；(1)對已配準的可見光圖像和紅外圖像分別進行 IHS變換和圖形增強處理， 前者得 到I、H S三個分量圖像，后者使用灰度變換法進行圖像增強，增加圖 像對比度，突出 紅外熱目標。其中灰度變換法采用的是三段線性變換法：* f<fvg; ) + &h

20、-zf2V /上式中的變量都表示圖像的灰度值，三段線性變換法主要是指將圖像的灰度值拉伸為三段，變換之前的灰度范圍是fl到f2 ,變換后的范圍是g1到g2 ;對所得的亮度I分量和已增強的紅外圖像進行小波分解，這里采用的是2層變換，分解后形成相應分辨率的低頻子帶和不同方向的高頻子帶；(3)對小波分解后的低頻子帶采用基于窗口能量的圖融合規則。(4)對小波分解后的高頻子帶采用基于窗口標準差取大法的融合規則。(5)對新合成的低頻子帶和高頻子帶進行逐層小波重構，得到新強度分量圖像Inew,對I new與之前的H、S分量進行IHS逆變換得到最終融合圖像目前采用廣泛的是基于單像素的像素級融合規則。基于單像素的

21、融合算法相對簡單，運算速度快，運用一定的融合規則也能取得符合人眼視覺的融合效果。但是，單個像素難以體現出圖像的局部特征，而局部特征需要局部區域內像素共 同表征，并且人眼視覺感知系統對單一像素不如對區域內像素敏感。因此采用基于單像素融合規則的圖像融合結果往往難以體現像素之間的相關性，融合效果往往不夠理想。低頻和高頻融合規則都采用基于區域窗口的融合規則，為縮短算法的計算時問，選用的是3*3的窗口。小波分解后的低頻分量是原圖像的近似圖像，這個近似圖像包含了原圖像的主要能量信息，并且其在一定程度上也反應了圖像的基本信息；考慮到紅外圖像的特點，在紅外圖像中感興趣的目標區域為圖像中亮度較高的區域，這些區域

22、的特點是灰度值較大，區域能量較大；低頻區域：該算法的基本思想是使用低頻分量的窗口能量表征低頻系數的重要程度，重要程度高的部分低頻系數獲得更高的權值；E;心卜丹古+八J +門C: (7 +門+門5二時W+rj+j')的I上式中各個分量的含義如下：A B分別表示需要融合的圖像，量所 L為低頻分 處的層次，C(i, j)在點(i, j)處的低頻分量的灰度值，WL (i, j)表示權重系 數。融合后低頻分量灰度值可由下式來表示：)_" £竊刀+旅7(心)、喉稅(4*3)這艮的M與卜表示權值系數？ ”兀，且兩？fZ和為I 敷來說，需塑筮據經驗對 m高頻區域：通過小波分解得到的

23、高頻分量，包含了除低頻分量包含的信息以外的全部圖像信息，例如細節、紋理信息等。為了獲得好的視覺效果，需要最大、最多的保留這些圖像信息；選取在高頻部分的規則為基于窗口的標準差取大法，當標準差的值越大時說明灰度值越分散，紋理等信息包含越富。融合規則的原理是首先對兩幅待融合圖像分別選取一個窗口，而后計算兩個窗口標準差的值，比較兩個值的大小，選取大的值的分量作為最后分量的值。窗口標準差的定義可表示為 如下：M N2xxwjmSTD 二AT x N這里選脫的窗口為、門M K表示為不同方向的離頻分星.，帝示第£層高頻分雖，門門 八我示圖像il點M j)卜的島頻分最灰i交的，兀為能口內的所有像秦尿

24、麼 的肉值？訟融合采用的規則可表示為如下式:J ；必(g j STDaG />S>Df (h /)I D；(f B=Df(ATDg />< STDfi. /)可見光圖像亮度適中，可視效果好，能夠清晰的看到樹，房屋和地面等背景信息，但是圖像存在較多的煙霧，遮擋了目標信息，因此觀察者不能讀取全部的目標信息。在紅外圖像中，可以很容易觀察到兩個目標人物以及發熱源，但是圖 像其他背景信息例如樹木，房屋，地面等都很不明顯，紋理也不清晰，輪廓也不是較突出。在圖4.2中，圖(a)使用傳統的IHS變換進行的圖像融合，該算法是先對 可見光圖 像進行hS變換，形成三個分量，然后用紅外圖像替換

25、掉其中的I分 量，同時保持其他分量不變，最后進行 hS逆變換形成最終的融合圖像。圖(b)使用小波變換進行圖像融 合，它是將紅外圖像與可見光圖像直接進行小波分解后，低頻和高頻分量都采用加權平均的融合規則。圖(c)采用基于IHS和小波變換的融合算法，其融合規則為：低頻分量選取紅外圖像的低頻部分作為最終低頻，而高頻采用基于區域的梯度取最大值的方法，將梯度值最大時的系數作為最終的 局頻。（11） U見光國像（h）紅外國像00小波鱉換法（L ） 1HSI小波氏才畋AOCTEC本中算法主觀評價：(a)更接近紅外圖像，保留紅外圖像信從圖4.2圖（a） 圖（c）可以看出，圖息最多，能夠觀察到紅外目標，并且從可

26、見光圖像中獲得了一定顏色信息，但是細節紋理信息不明顯，顏色失真較大。圖 （b）整體圖像顏色偏暗，彩色信息保留 較 好，與可見光圖像更為接近，并且能夠看到煙霧后面的房子，但可視效果并不 是很好，同時目標信息丟失明顯，并且目標信息不突出，不利于人眼辨別，這就失去了融合意義，因為融合圖像一定要顯示出所有的目標信息。圖（c）與圖（a）非常接近，但是圖（c）中細節信息保留較好，例如房屋邊緣比較明顯。圖像 （d） 是利用本文算法融合的，圖像在整體亮度方面明顯高于其他三幅圖像，融合圖像不僅保留了可見光圖像中的背景信息，例如樹木，房子，煙霧，地面等，而且紅 外圖像 中的重要信息也均得到了保留，兩個目標人物和發熱源以及煙霧后面的房屋均清晰可見。同時圖像中色彩比較鮮明并且圖像邊緣較為清晰。通過以上主觀分析可知本算法要優于作為對比的其他三種融合算法。客觀評價：指標選用灰度均值、信息嫡、標準偏差和平均梯度我4.1翹合實驗1客觀評怖農abcd11 1 1140306112 0124I5W.4K2I10.64603551巧中亦16.54216 fil27中均悌度4 78065.47