基于不同圖像特征的圖像放大算法比較

圖像放大是圖像處理的基本功能之一。廣泛應(yīng)用于醫(yī)學(xué)圖像、遙感圖像、網(wǎng)絡(luò)生產(chǎn)和一些商業(yè)數(shù)據(jù)處理軟件中。圖像放大即將一幅低分辨率的圖像轉(zhuǎn)換為高分辨率圖像的一種圖像處理技術(shù),對一幅圖像進行放大,實質(zhì)上是對圖像插值的過程。圖像放大目前已經(jīng)有了很多實用化的方法,它們有各自的特點、優(yōu)點和不足。圖像放大算法的選擇直接影響到放大圖像的質(zhì)量,所以尋找合適的算法是提高放大圖像質(zhì)量的關(guān)鍵。目前主要的圖像放大方法大致可以分為兩類:第一類是常規(guī)插值,包括最臨近點插值、雙線性插值、拉格朗日插值及三次樣條插值等,這類方法是根據(jù)離散的點建立一個連續(xù)函數(shù),用這個重建的函數(shù)求出任意位置處的函數(shù)值。第二類是利用圖像中包含不同的高、低頻成分的特點,經(jīng)過對圖像的數(shù)學(xué)統(tǒng)計特征的分析,采用不同的方式對圖像不同部分進行插值的非線性的、移變的插值方法。1傳統(tǒng)插值算法1.1最近領(lǐng)域法i,v點和i,j點粒度值;最臨近點插值是最簡便的插值算法,它以插值像素點周圍離最近的己知像素的灰度值作為插值像素點的灰度值,所以又稱為像素復(fù)寫或零階保持插值。如圖1所示,設(shè)(i,j),(i,j+1),(i+1,j),(i+1,j+1)是灰度插值前的一個四點鄰域,其灰度值分別為g(i,j),g(i,j+1),g(i+1,j),g(i+1,j+1)。最近領(lǐng)域法是比較(u,v)點和(i,j),(i,j+1),(i+1,j),(i+1,j+1)四點之間的距離,然后以與(u,v)點最近的那點的灰度值作為(u,v)點的灰度值。將兩點之間的距離記為D[(u,v),(i,j)],則上述四點與(u,v)點最近距離可由下式求得:D[(u,v),(i,j)]=min{D[(u,v),(i,j)],D[(u,v),(i,j+1)],D[(u,v),(i+1,j)],D[(u,v),(i+1,j+1)]}求得與(u,v)點距離最近的點(i′,j′)后,由最近鄰域法確定(u,v)點的灰度為:g(u,v)=g(i′,j′)最近鄰插值運算簡單快速,能夠保持插值圖像邊緣清晰,但邊緣輪廓有顯著的鋸齒現(xiàn)象,圖像背景產(chǎn)生馬賽克,形成偽邊緣,視覺效果差,重構(gòu)誤差較大。1.2多序列插值算法描述作為對最近鄰點法的一種改進,雙線性插值算法是“利用周圍4個鄰點的灰度值在兩個方向上做線性內(nèi)插以得到待采樣點的灰度值”,即根據(jù)待采樣點與相鄰點的距離確定相應(yīng)的權(quán)值計算出待采樣點的灰度值。其數(shù)學(xué)表達式為:f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)?vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)圖2是雙線性插值算法的示意圖,在圖中點(i+u,j+v)為待插值點,點f(i,j),f(i,j+1),f(i+1,j),f(i+1,j+1)是灰度值已知的近鄰像素點。先計算A,B兩點的灰度值,分別記為f(A),f(B)。則有f(A)=uf(i,j)+(1-u)f(i,j+1),f(B)=vf(i+1,j)+(1-v)f(i+1,j+1)。然后再計算出待插值點的灰度值:f(i+u,j+v)=vf(B)+(1-v)f(A)與最鄰近法相比,雙線性內(nèi)插法由于考慮了待采樣點周圍4個直接鄰點對待采樣點的影響,因此基本克服了前者灰度不連續(xù)的缺點,其計算量有所增大。此方法僅考慮4個直接鄰點灰度值的影響,而未考慮到各鄰點間灰度值變化率的影響,因此具有低通濾波器的性質(zhì),使放大后圖像的高頻分量受到損失,圖像的輪廓變得較模糊。1.3主要結(jié)果分析雙三次插值是高階插值算法中常用的方法,它對周圍鄰近的16個像素點進行插值計算(如圖3所示)。這種圖像插值算法的優(yōu)點是可以消除鋸齒現(xiàn)象,插值質(zhì)量高,效果好,與前面兩種方法比較邊緣階梯失真現(xiàn)象得到很大程度的抑制,但放大時邊緣模糊現(xiàn)象比較嚴重。該算法的另一不足之處是計算量大,運算時間長,在需要實時性較高的場合很難實現(xiàn)。雙立方插值算法與雙線性插值算法相比,不僅擴大了影響點的范圍,還采用了高級的插值算法。雙立方插值能夠得到較清晰的畫面質(zhì)量,不過計算量也變大。該算法在現(xiàn)在眾多的圖像處理軟件中最為常用,比如Photoshop,AfterEffects,Avid等。1.4次b樣條插值線性插值算法雖然已經(jīng)考慮了事物之間的連續(xù)性,但許多時候,數(shù)據(jù)之間并不滿足線性關(guān)系為了進一步改善插值效果,高次插值的思想雖之被引入,三次樣條(cubicconvolution)插值就是其中的一種,而三次樣條插值中應(yīng)用最多的又是三次B樣條插值。n+1階B樣條插值為:f(x)=+∞∑k=-∞Bk,n+1(x)?f(xk)從計算時間上考慮,次數(shù)越低,計算越快,但一次和二次B樣條插值會使圖像產(chǎn)生BLOCK現(xiàn)象,效果不太理想,而三次B樣條基本上可以兩者兼顧;在此基礎(chǔ)上,又有人引入斜投影算子,都達到了很好的效果。B樣條處理的最大優(yōu)勢是將對圖像的處理(離散)轉(zhuǎn)化在連續(xù)函數(shù)域(樣條域)。三階B樣條函數(shù)如下:Bi,3={(x-xi)2(xi+1-xi)(xi+2-xi)?xi≤x≤xi+1(x-xi)2(xi+1-xi)(xi+2-xi-(xi+2-xi+1)(x-xi+1)(xi+2-xi+1)(xi+3-xi+1)?xi+1≤x≤xi+2(xi+3-x)2(xi+3-xi+1)(xi+3-xi+2)?xi+2≤x≤xi+30?everywhere利用它插值放大的圖像較為平滑,無明顯的鋸齒現(xiàn)象。同時可以通過快速算法極大地縮短運算時間。采用該方法對于彩色圖象放大時,必須解決圖像出現(xiàn)色偏差,邊緣細節(jié)保持不足夠好的問題。基于三次B樣條函數(shù)的插值算法,在插值過程中均表現(xiàn)為低通濾波器,在不同程度上抑制了高頻成分,當(dāng)放大倍數(shù)較高時,會造成邊緣層次模糊和虛假的人工痕跡(鋸齒狀條紋和方塊效應(yīng)等)。近年來,隨著非線性科學(xué)理論的蓬勃發(fā)展,小波變換、分形等非線性處理手段亦被應(yīng)用到圖像放縮領(lǐng)域,取得了一些不錯的成果,但同時計算復(fù)雜度也大大增加。2圖像自適應(yīng)插值現(xiàn)在的自適應(yīng)插值算法有很多,主要有線性空不變圖像插值、距離加偏差圖像插值等,目前最新的自適應(yīng)插值技術(shù)還有雙信道插值、分形插值、小波插值、定向插值、偏微分方程插值和有理插值等。2.1分形放大技術(shù)分形插值放大主要的物理性依據(jù)是“自相似性”,這是分形的基本特征,它反映了自然界中廣泛存在的一種現(xiàn)象:(事物)局部與局部、局部與整體在形態(tài)、功能、時空等方面具有統(tǒng)計意義上的相似性。一些自然景物,如藍天、云彩、煙柱和火焰等,圖像具有高度的自相似性。分形插值反映了這種自相似性,因而分形插值在計算機視覺技術(shù)中有廣泛的應(yīng)用。分形技術(shù)用于圖像放大有很多優(yōu)點,如可“較好保留圖像的紋理特征,獲得高分辨率圖像,而對于曲線的插值計算則其有很高的保形性”,“可以主生高分辨率圖像,而能保持原圖像的紋理特征”。所以有不少學(xué)者研究分形放大于靜態(tài)圖像,醫(yī)學(xué)CT圖像等方面的作用。分形分為規(guī)則分形和隨機分形。規(guī)則分形是基于某一種函數(shù)或規(guī)則,按照一定的約定或法則,進行迭代形成。隨機分形的構(gòu)成原則是隨機的,更好地描述了自然現(xiàn)象。隨機分形的典型數(shù)學(xué)模型是分數(shù)布朗(Brown)運動,能充分反映圖像的統(tǒng)計紋理特性。分形放大的步驟一般可概括為:(1)將原圖分割為若干子圖;(2)選擇IFS算法,對每一個子圖進行運算,提取IFS代碼(或稱分形參數(shù)、特征值等;(3)選擇重構(gòu)算法,根據(jù)IFS代碼,在原圖基礎(chǔ)上進行分形插值。(4)合并新構(gòu)造的子圖,完畢。2.2小波逆變變換的一般理論小波插值充分利用了圖像奇異特征沿小波分解尺度的傳播性,能夠更準(zhǔn)確地重建出高分辨率圖像細節(jié)。但由于小波系數(shù)奇異值的定位涉及精確復(fù)雜的邊緣檢測且小波系數(shù)很難跨尺度對準(zhǔn),使得算法實現(xiàn)十分復(fù)雜。基于小波插值的算法主要有兩種,分別為子帶插值和極值外推插值。小波變換本質(zhì)上是用小波函數(shù)作為帶通濾波器進行濾波,將原始信號分解為一系列頻帶上的信號由小波函數(shù)簇定義小波變換為:(Wψf)(a,b)=∫∞-∞f(t)ˉψa,b(t)dt=|a|-1/2∫∞-∞f(t)ˉψ(t-ba)dt而小波逆變換則是從分解到各頻帶的信號進行原始信號的重構(gòu):f(t)=1Cψ∫∞-∞∫∞-∞(Wψf)(a,b)?ψa,b(t)1a2dadb式中:Cψ=∫∞-∞|ω|-1|?ψ(ω)|dω<+∞。推廣出二維離散小波變換,對數(shù)字圖像進行重構(gòu)和插值。如果圖像是空間頻率有限的二維信號,對圖像進行相應(yīng)頻窗的小波反變換得到的圖像就可認為是對該圖像的插值。子帶插值的思想是將原始圖像逐級向下拆分成不同分辨率的子圖像作為原始圖像的小波變換的結(jié)果。小波變換用小波函數(shù)作為帶通濾波器將圖像分解為一系列頻帶上的子圖。相應(yīng)分辨率下3個方向的細節(jié)子圖分別反映這3個方向上圖像的邊沿特性,高分辨率下的邊沿特性相似于低分辨率下的邊沿特性,子帶插值算法利用了圖像細節(jié)沿小波分解尺度的相似性,插值結(jié)果的細節(jié)清晰。但是,由于采用的相似變換比較粗略,圖像插值精度較低。相對于子帶插值,極值外推插值采用了更加精確的沿尺度近似變換。它通過考察信號的小波變換系數(shù)的極值點的位置和大小沿幾個較大尺度的變化,推測出更高分辨率圖像的小波變換極值點的位置和大小,從而得到比較精確的更小尺度下的小波分解系數(shù)。2.3圖像放大算法在圖像處理和計算機視覺中采用PDE(偏微分方程)方法是近十幾年發(fā)展起來的一個新的研究方向,顯示出了強大的生命力,并成為信息科學(xué)中相對獨立的一個分支。偏微分方程插值引入總變分最小原則,使插值像素?u滿足:?u=min(∫x∫y|?u(x,y)|dxdy)基于偏微分理論實現(xiàn)圖像放大的算法根據(jù)擴散填補放大后圖像對應(yīng)像素值的著眼點不同,可以分為兩類:一類是以線性擴散PDE模型為基礎(chǔ),另一類是以非線性擴散PDE模型為基礎(chǔ)。所謂線性擴散模型,就是擴散機制不考慮圖像自身的特點,擴散填補放大后圖像對應(yīng)像素的擴散過程中,擴散系數(shù)、擴散強度及擴散速度均在圖像的放大過程中始終相同。基于非線性PDE模型的圖像放大注重圖像的內(nèi)在本質(zhì),分析圖像像素點之間的關(guān)系,考慮圖像拍攝的形成機制和圖像的自身內(nèi)容(如邊緣梯度變換較強、等照度線應(yīng)該足夠光順等),認為放大圖像中的待填補像素的值應(yīng)該根據(jù)其周圍的像素信息延伸得到。線性PDE放大方法具有很多優(yōu)越的數(shù)學(xué)性質(zhì),在放大圖像的同時能夠平滑噪聲,并且保證放大圖像不會出現(xiàn)明顯的斑點以及亮暗區(qū)域偏移現(xiàn)象。但由于其采用高斯熱擴散,造成了放大后圖像中物體的邊緣不夠清晰、圖像整體看起來過度光滑和亮度不夠等視覺缺陷。非線性PDE放大方法在平坦區(qū)域有自然的過渡,比較光滑;在邊界處有突變,邊緣清晰;不會出現(xiàn)明顯的斑點、亮暗區(qū)域偏移現(xiàn)象;放大后的圖像整體看起來比較清晰、明亮。總的來說,非線性PDE放大方法克服了線性PDE圖像放大方法的缺陷,具有更加優(yōu)秀的放大效果。2.4鄰域交換內(nèi)插法鄰域交換內(nèi)插法于1990年天津大學(xué)的王兆華等人提出。鄰域內(nèi)插法通過交換上下左右像素的較好地解決了屏幕顯示中的馬賽克效應(yīng),也減少了圖像模糊。但是由于它是在每一方塊中的一部分像素和相鄰的上下左右的方塊中的一部分像素交換位置,利用人眼的低通濾波特性將相鄰像素平均,產(chǎn)生內(nèi)插效果。但是,它會引起如同點噪聲的灰度躍變點。這些灰度躍變點在圖像和文本的邊緣,由于人眼的視覺效應(yīng),顯得尤為刺眼。另一方面,該交換算法對筆畫單薄的線條、文字,特別是只有單個像素寬或高的線條和文字的顯示尤其不利,會產(chǎn)生像素混疊。鄰域交換內(nèi)插法的想法很簡單,如圖4所示。圖4(d)為原圖,有9個像素。圖4(e)內(nèi)帶箭頭的方框代表交換框內(nèi)兩像素位置的意思。圖4(a)是把原圖4(d)用重復(fù)放大的方法放大4×4倍的結(jié)果。現(xiàn)在先考察位于中央的像素塊“e”,在圖4(a)中已經(jīng)用虛線框起,在上、下、左、右4個方向把像素“e”與相鄰的像素進行交換,即“e”分別與b,h,d,f進行交換,如圖4(b)所示。其結(jié)果如圖4(c)所示。顯然圖4(c)中的像素塊“e”已經(jīng)沒了在圖4(a)中那四方的棱角,克服了方塊效應(yīng)。鄰域交換內(nèi)插法是通過交換算子來描述的。鄰域交換內(nèi)插算子有如下幾個特征:(1)交換算子由“0”和“1”組成;(2)如果放大倍數(shù)為N×M,則交換算子中“1”的數(shù)目等于N×M;(3)進行了交換的“1”的數(shù)目必然是偶數(shù),而且呈現(xiàn)中心對稱性。鄰域交換內(nèi)插放大算法使每個像素上方的上下左右或?qū)蔷€上的像素與鄰域進行交換,利用人眼的低通濾波特性,將相鄰像素平均產(chǎn)生內(nèi)插效果,從而消除方塊效應(yīng)。它的實現(xiàn)是先插零、再與相應(yīng)的交換算子卷積。鄰域交換放大法會引起如同點噪聲的灰度躍變點。利用十字形中值濾波器消除視頻信號所攜帶的點噪聲的特性,能消除灰度躍變點,優(yōu)化鄰域交換內(nèi)插圖像放大法。3圖像放大算法綜上所述,經(jīng)典插值算法原理基本相同,首先需要找到與輸出圖像相對應(yīng)的輸入圖像點,然后再通過計算該點附近某一像素集合的加權(quán)平均值來指定輸出像素的灰度值,其他像素都不考慮。對于最近鄰插值法來說,輸出像素的賦值為當(dāng)前點的像素點,放大效果較差,其優(yōu)點就是運算簡單;對于雙線性插值法來說,輸出像素的賦值為其周圍4個像素點的值的加權(quán)平均,運算比最近鄰插值復(fù)雜,放大后圖像的高頻分量受到損失,圖像的輪廓變得較模糊;對于雙三次插值法來說,輸出像素的賦值為其周圍16個像素點的值的加權(quán)平均,放大效果有一定改善,但運算量較大。對于灰度變化平緩的圖像區(qū)域,