圖象質量評價技術的研究進展

在圖像隱藏和數字水印技術中，嵌入信息和打印的圖像和原始圖像的視覺效果略有不同。在圖像壓縮、圖像重建和圖像通信過程中，通常需要處理、傳輸、處理、記錄和其他過程。處理的圖像和原始圖像是不同的。如何評估這些圖像的變化是圖像質量的主要內容。數字圖像的質量主要包括兩個方面：圖像強迫的真實性和圖像的可理解性。如何合理評估圖像的質量，不僅是圖像信息信息安全的中心問題之一，也是黑暗識別和信息安全等領域的一個不容忽視的重要問題。1峰信噪比和檢出限傳統的圖象質量的評價方法一般可以分為兩種:主觀評價和客觀評價.主觀評價的方法是召集一批實驗觀察者,讓觀察者根據一些事先規定的評價尺度或者自己的經驗,對測試圖象按視覺效果提出質量判斷,并給出質量分數,按所有觀察者給出的分數進行加權平均,所得的結果即為圖象的主觀質量評價.因為圖象的最終信宿是人,所以這種評價方法似乎更為可靠.但由于操作要求過于復雜,且存在不確定性,如受人的心情、疲勞程度的影響等,在實際應用中受到嚴重限制,甚至根本不適合于某些應用場合.客觀評價方法是用被測圖象偏離原始圖象的誤差來衡量被測圖象的質量,其思想來源于數據傳輸過程中均方信噪比的思想.常用的作為客觀評價指標的參數有均方誤差(MSE)和峰值信噪比(PSNR)等.峰值信噪比PSNR(PeakSignaltoNoiseRatio),有些文獻中也稱為峰-峰信噪比的定義如下:給定一幅大小為M×N的數字化圖象f(x,y)和參考圖象f0(x,y),則圖象f的PSNR為PSNR=10lgf2max1MN∑x=0M?1∑y=0N?1[f(x,y)?f0(x,y)]fmax21ΜΝ∑x=0Μ-1∑y=0Ν-1[f(x,y)-f0(x,y)],(1)引入另一常用質量評價指標均方誤差MSE,其中MSE的表達式為MSE=Σx=0M?1Σy=0N?1[f(x,y)?f0(x,y)]2MNΣx=0Μ-1Σy=0Ν-1[f(x,y)-f0(x,y)]2ΜΝ,(2)則PSNR=10lgf2maxMSE.(3)ΡSΝR=10lgfmax2ΜSE.(3)其中fmax是函數f(x,y)的最大灰度值,例如,常用的8bit的灰度圖象中,則fmax的最大值為255.而在彩色數字圖象中,由于圖象的顏色用RGB3基色的組合表示,每個顏色分量需用一個字節表示,于是相應的峰值信噪比可以表示為PSNR=10lg2552(MSE(R)+MSE(G)+MSE(B))/3ΡSΝR=10lg2552(ΜSE(R)+ΜSE(G)+ΜSE(B))/3,(4)3個變量MSE(R),MSE(G),MSE(B)分別為3個基色分量的均方差.也有人將式(4)稱為彩色圖象的平均峰值信噪比,因為上式等價于PSNRˉˉˉˉˉˉˉˉˉ=(PSNRR+PSNRΡSΝRˉ=(ΡSΝRR+ΡSΝRG+PSNRB)/3.(5)其中PSNRR、PSNRG、PSNRB分別為圖象的R、G、B幀的峰值信噪比.MSE與主觀評價的相關性較差,其結果常常與人的主觀感覺不一致,因此一般不直接作為圖象質量評價指標,大多數情況下是采用PSNR做為圖象質量評價指標,其優點是便于計算和理解,能大致反映圖象質量.一般情況下,PSNR的值高的圖象質量相對較高,通常,當PSNR值在28以上時,圖象質量差異不太顯著,當高于35～40時,則肉眼分辨不出差異.PSNR是目前用于圖象質量評價的最常用的指標,被錯用的情形也不少.如文獻中,將256×256的8位灰度圖象的PSNR被定義為10lg256×256MSE10lg256×256ΜSE;文獻中對N×N的8位灰度圖象,取PSNR=-10lgN×N1NΣi=0N?1(xi?xˉi)2Ν×Ν1ΝΣi=0Ν-1(xi-xˉi)2均是錯誤的.前者混淆了圖象大小與像素點的灰度值,實際上8bit灰度圖象f(x,y)的灰度最大值只能為28-1=255;后者的公式則完全是錯誤的.PSNR的誤用大多數表現在對公式內參數意義的理解上,特別是用在256×256的8位灰度圖象上.2新標準的測量方法PSNR目前仍是最常用的圖象質量評價標準之一,但是,在實際應用過程中,PSNR有時反映圖象質量與人眼觀察的圖象質量情況并不完全相符.例如文獻的實驗表明,在同一幅圖象中分別在圖象高頻部分、中低頻部分、低頻部加入白噪聲干擾時,在高頻部分加入干擾時圖象質量優于其它兩種情況,但三者的峰值信噪比相同.這使得許多人有理由認為PSNR并不是一個很好的圖象質量評價指標,由于PSNR的局限性,人們仍在不斷的探討,試圖找出更接近人視覺特征的評價指標.目前新的圖象質量評價標準大多數為基于人眼視覺系統(HVS)的測量方法,以期更接近人眼的主觀視覺.新標準大致可以分為兩類:基于視覺感知的測量方法和基于視覺興趣的測量方法.基于視覺感知的圖象評價方法較早也較成功的有基于剛辨差(JND,JustNoticeDifference)的視覺感知方法.由于人眼分辨亮度差異的能力與背景亮度有關,在寬闊的常用背景亮度變化范圍內,人眼的JND為常數;當背景亮度較強或較弱時,人眼的分辨能力減弱,即JND增大.該方法基于此原理達到對圖象質量定量測量的目的.基于視覺興趣的圖象質量評價方法的思想是將圖象分為感興趣區(ROI,RegionofInterest)和不感興趣區,并由感興趣程度對其設定加權值.整幅圖象的視覺質量往往取決于感興趣區的質量,不感興趣區質量的降質則影響較小.例如,假設測試圖象中只有一個感興趣區A1,其面積為S1,不感興趣區A2,面積為S2,圖象總面積為S=S1+S2.則由此可定義一個自己的均方誤差IMSE:IMSE=1S∣∣∣λ1Σ(x,y)∈S1(f(x,y)?f0(x,y))2+λ2Σ(x,y)∈S2(f(x,y)?f0(x,y))2∣∣∣.(6)ΙΜSE=1S|λ1Σ(x,y)∈S1(f(x,y)-f0(x,y))2+λ2Σ(x,y)∈S2(f(x,y)-f0(x,y))2|.(6)其中:λ1、λ2分別為A1和A2的加權值,并滿足λ1S1+λ2S2=S,加權值λ1越大,表示人眼對該區的興趣程度越大.可以看出,當S1=0,λ2=1或S2=0,λ1=1時,IMSE退化為MSE.該方法能較好的與人眼的主觀視覺相符合.但由于圖象感興趣區的確定,多個感興趣區權值的確定等問題還待研究,故該方法現在仍處于初級研究階段.3其他圖像質量評價方法的示例3.1mpqm度量法VandenBranden等在人眼視覺系統的基礎上建立了一種用于評價視頻編碼質量的視覺時空模型并提出了MPQM(MovingPictureQualityMetric)質量量度.該模型的主要特點是用一個三維濾波器組來模擬HVS的多通道特性,如圖一所示.三維濾波器模擬的過程是先把原始圖象序列粗略地分割成均勻區域、輪廓和紋理,同時使用濾波器組按照5種空間頻率、4種取向、2種時間頻率將原始圖象序列和編碼誤差序列分解為感知成分,且每一通道中都要考慮對比度敏感度和掩蓋效應;然后將感知通道的輸出進行掩蓋,這一步驟可預測到初級視覺皮層細胞的響應;把所得數據收集起來用以解釋高層感知,此過程稱為組合.最后提出了MPQM度量法.考慮到注意力集中和觀看距離的影響,這種度量以三維序列塊為基礎進行計算,其從本質上說,就是用Minkowski求和法把通道輸出的幅值結合在一起,按照失真的程度,予以相應的指數加權.一個給定序列塊的實際失真E可按下式計算:E={1NE={1ΝΣc=1NΣc=1Ν{1NxNyNt{1ΝxΝyΝtΣt=1NtΣx=1NxΣy=1NyΣt=1ΝtΣx=1ΝxΣy=1Νy|e[x;y;t;c]|}β}1β.(7)|e[x;y;t;c]|}β}1β.(7)其中,e[x;y;t;c]是在位置(x,y)、當前塊的時間為t、通道c處經掩蓋的誤差信號;,Nx,Ny和Nt分別表示塊的水平、垂直和時間維數;N是通道數;β是Minkowski求和法的指數.這種MPQM質量度量方法較全面地模擬了人眼的視覺特性,能夠在相當大的比特率范圍內對視頻質量做出較好的評價.但由于頻率分解而增加了算法的運算量,計算的時間較長.因此若想做到對視頻質量進行實時評價,還需對此模型做進一步的簡化.3.2主觀評價實驗結果的相關性Okomoto等提出了客觀感知方法:三維信噪比(3D-SNR)方法,這種方法是在考慮了視覺時空頻率響應和視覺掩蓋效應的基礎上由普通的SNR形成的.時空頻率特性W(μ,v,f)是由空間頻率特性Ws(μ,v)和時間頻率特性WT(F)相乘而得Ws(μ,v)=2.46(0.1+0.25f)exp(-0.25f),(8)WT(F)=0.134×[1+(F/0.5)]/[1+(F/7.8)2]1.2.(9)式中f=(μ2+v2)1/2,μ是水平空間頻率,v是垂直空間頻率,單位均是c/d(周/度),F是時間頻率,單位是Hz.是由于Ws與WT都近似符合HVS,因此三維加權信噪比模型比起其他模型更易理解,算法也比較簡單.依據三維信噪比的模型進行計算機模擬實驗的結果表明,客觀測試指標與原有的物理信噪比相比,其與主觀評價結果的相關性有顯著提高.3.3估計損傷等級的確定Pessoa等經過多年的研究,提出了基于圖像分割的客觀參數視頻質量評價方法,該模型的最大特點是每個客觀參數在平坦區,紋理區和邊緣區中分別計算.其主要思路如下:首先利用分割算法把圖像分為平坦區,紋理區和邊緣區,為每個區計算一套客觀參數;然后通過確定客觀參數與一些已得到的主觀評價結果的關系,提出一個基于感知的模型;由該感知模型,就可以預測序列的主觀評分了.該感知模型分兩步定義:1)每個客觀參數和主觀損傷等級之間的關系近似為log曲線,這樣就為每個參數得到一個估計的損傷等級.設客觀參數為D,對應于D的歸一化損傷等級為dD,對dD的估計值為dD,因為dD和每個客觀參數D之間近似為對數關系:dD=1(1+(DM/D)G×100%dD=1(1+(DΜ/D)G×100%,(10)其中,DM和G的選擇應該最小化:e=E[{dD-dD}2].(11)由此,可以得到對應于每個D的dD.2)最終的評價結果由各分區的估計損傷級別經三步線性組合逐步得到:先把每個區中由亮度信息和色度信息得到的估計損傷等級分別求出,即{dYP,dYT,dYE}和{dCD,dCT,dCE},P代表平坦區,T代表紋理區,E代表邊緣區,Y代表亮度信息,C代表彩色信息;然后每個分區中把由亮度和色度得到的估計值線性組合形成每個分區的估計等級{dp,dT,dE};最后由這3個分區中的估計值線性預測得到該幅圖像的主觀質量評價的估計值d.VQEG(VideoQualityExpertGroup)測試結果顯示,該模型在絕大部分測試范圍內都表現了很好的性能.它不僅能被用于符合MPEG標準的視頻壓縮系統上,也能被應用于評價其它類型的系統(例如基于小波和預測濾波器的編解碼系統)和復合信號編解碼系統上.目前在該模型中只對亮度分量進行了分區,如果同時把彩色分量分區,那么會對結果有一定的改善.4psnr評價標準圖象質量的評價技術在圖象通信、多媒體技術、信息安全技術等領域都有重要的應用.隨著多媒體信息技術的高速發展,對圖象質