幾種常用的圖像質量評價方法的比較

1圖像質量評價圖像質量評價研究是數據處理研究領域的一個重要因素。在大多數圖像處理算法中，圖像質量評估包括圖像抑制、圖像傳輸、圖像去除模糊等。總的來說,圖像質量評價的主要應用有以下3個方面:1)監控圖像或視頻獲取系統,并自動調節,使其可以獲取到最佳圖片;2)作為圖像系統的一種基準指標;3)作為一個反饋量來調節算法中的參數,使算法得以優化,從而獲得最優性能。總之,質量評價在圖像處理的各個領域都有著非常廣泛的應用[5~7],對圖像質量評價的研究具有非常重要的實際意義。圖像質量評價方法按評價的主體來劃分,可以分為主觀評價方法和客觀評價方法兩大類。主觀評價方法能夠反映觀察者對圖像的感受,但是主觀評價方法自身的問題制約了其應用。最初的客觀評價方式是針對處理后的圖像相對于標準圖像其像素值的變化來衡量圖像質量的,但是在研究中發現,處理后的圖像與標準圖像之間的像素差異有時并不能反映出人類的視覺感受,甚至所得到的結果與人類視覺感受相反。進而人們開始研究面向人類視覺特性的一些評價方法,比如結構容量方法(SC),結構相似度方法(SSIM)等。所有的客觀評價方法都分為無參考評價方法和有參考評價方法兩種。其分類的原則即看計算過程是否需要標準圖像作參考。目前有參考評價的方法和指標最多,應用也最為廣泛。在眾多客觀評價指標下,對于該如何去評判某一個質量評價指標的應用效果,視頻質量專家組(VQEG)給出了指導性原則,這些原則可以從一定程度上衡量評價指標的應用效果。本文從目前圖像質量評價的各種常用指標入手,針對質量評價的瓶頸以及挑戰性問題進行分析和比較,發現其中的規律,指出當前圖像質量評價研究所面臨的機遇和挑戰性問題,使用VQEG提出的若干原則來驗證本文的分析結果。2圖像質量主觀評價結果常規的主觀評價方法主要依靠人眼主觀視覺效果來判斷,常用的方法有均值意見評分法(MOS)和國際標準CCIR500。在MOS標準下,為所有的評價者提供相同的圖像觀察條件,評價者根據自己的感受進行評分,最終根據多個評價結果得到該圖像最終的MOS值NMOS。為了使主觀評價的分數具有無偏性,常采用某種數據處理方法對得到的結果進行簡單處理。比如主觀評分的無偏差均值意見評分(DMOS)法是讓評價者對同一場景的一組圖像(該組圖像中含有一張標準圖像)進行評判,得到每張圖像的NMOS,并以標準圖像的NMOS作為標準,用其他圖像的NMOS與標準圖像的NMOS進行相減,同時將得到的所有差值歸一化到0~100之間,最終得到圖像的DMOS值NDMOS。標準圖像的NDMOS為0,其他圖像與標準圖像偏差越大,其NDMOS越大,圖像質量也越差。主觀評價方法的評價結果通常能夠較好地反映圖像的實際質量,但主觀評價方法在實施過程中存在很多問題。比如評價過程消耗的時間長,主觀分數受到觀察者自身素質、情緒以及測試環境的影響而不穩定,評價所花費的費用較高、不易實現,處理過程不能實現自動化等。目前圖像質量主觀評價結果主要用來衡量各種客觀評價指標與人類主觀視覺的符合程度。比如U-TexasatAustin的LIVE圖片庫就是為這一目的而設計的,它的每張圖片樣本都采用標準主觀評價方法獲得其主觀評價分數并將該分數標準化,從而得到每張圖片所對應的NDMOS。該數據庫被廣泛應用于圖像質量評價的研究工作中。客觀的圖像質量評價方法可分為無參考評價方法和有參考評價方法兩類。有參考圖像質量評價即計算過程需要觀測圖像與標準圖像做對比,從而得出觀測圖像與標準圖像之間的差異,該差異越大,說明觀測圖像的降質程度越大,圖像質量也越差。但在實際應用中,往往找不到標準圖像,比如一些在運動中拍攝的圖像,往往帶有各種噪聲和運動模糊,在評價這些圖像的質量時,不存在與之做對比的標準圖像,因此在這種情況下需要開發無參考圖像質量評價指標去衡量其圖像質量。目前的常規客觀評價方法已有數十種之多[15~17]。這些方法中大部分都是著眼于處理后的圖像與標準圖像之間的像素值的變化,對于圖像在經過處理后出現的降質,最直接的衡量方法是計算其像素值與標準圖像之間的差異,這種思想在有參考圖像質量評價方法中得到了較廣泛的應用。比如,目前為止應用最廣泛的指標是峰值信噪比(PSNR)和均方誤差(MSE),即計算兩幅圖像之間的像素差異。在無參考的圖像質量評價方法中,評價的過程僅依賴觀測圖像,在這種情況下考核圖像質量的難度要遠遠超過有參考的評價方法。目前,無參考評價方法的評價指標比較少，且已有指標往往只是針對某一特定的應用背景，不具有通用性。隨著對各種指標研究的深入，發現在某些情況下上述指標的計算結果與人類視覺感受不符，甚至與人類視覺感受之間出現相反的結論，于是開始尋求各種辦法[18~21]來解決這樣的問題。結合人類視覺系統(HVS)的客觀評價方法是將人類視覺特性與圖像質量評價相結合,但由于目前還未對人類視覺機制本身有清晰的認識,因此也限制了HVS模型的準確度。結構相似度(SSIM)是融入了人類視覺感受因素的客觀圖像質量評價指標之一,是針對人類視覺對圖片的結構信息比較敏感的前提下提出的,因此關注圖像的結構失真度。SSIM模型在一定程度上能夠反映出人類的視覺感受。3實驗與結果分析3.1圖像質量主觀評價為了分析目前客觀的圖像質量評價的效果,選擇了幾個典型指標進行計算,并對結果進行對比分析。選用的計算指標是:峰值信噪比,均方誤差,結構相似度,信噪比(SNR),拉普拉斯和(LS),灰度差和(GDS),其中前3個指標是全參考評價方法,后3種指標是無參考評價方法。均方誤差是統計觀測圖像與標準圖像像素差,可表示為式中分別為原圖及其被污染之后的像素值。峰值信噪比的計算公式為結構相似度的計算公式為式中l(x,y),c(x,y),s(x,y)分別為亮度變化量、對比度變化量和結構變化量。NMSE,NPSNR,NSSIM的計算過程需要標準圖像作為比對,因此這3個指標是有參考圖像質量評價指標。為了評價無參考圖像質量評價指標的性能,對3個無參考評價指標進行了實驗。這3個指標計算過程中不需要標準圖像信息,僅僅觀測圖像就能夠計算出圖像質量的結果,其中式中σf,σf?分別為原始圖和被污染圖的方差。在不存在標準圖像的情況下,可以對NSNR進行估值,這是一種無參考的質量評價方法。本文采用無參考的估值信噪比計算方法來計算NSNR,使用圖像局部方差的最大值和最小值之比作為圖像信噪比的估計,并利用經驗公式對其進行修正。圖像局部方差的計算公式為式中μy為局部均值,P,Q分別代表圖像的寬和高。拉普拉斯和的值NLS的計算過程是對每一個像素在3×3的鄰域內采用拉普拉斯算子得到8鄰域微分值，然后在圖像范圍內求和。一般圖像越清晰，輪廓越鮮明，則每一像素附近的灰度值變化越大，NLS就越大。LS是無參考圖像質量評價指標之一。GDS也是衡量圖片清晰度的指標，是無參考圖像質量評價指標之一。為了衡量上述指標對圖像質量評價的效果,使用來自于TheUniversityofTexasatAustin的LIVE圖片庫作為實驗樣本,圖片庫中的圖像都是對標準圖像做不同的處理后得到各種信噪比與效果均不相同的圖像組,并利用MOS主觀評價方法對每張圖像進行主觀質量評價。圖1所示即使用標準圖像womanhat做不同的處理后得到的一組圖像。這組圖像都是對同一個原始圖像進行3類不同的處理后得到的圖像,這3類處理方式分別是JPEG壓縮處理、加入白噪聲處理(wn)和模糊化處理(gblur),每張圖像處理時所采用的參數不同,因此得到的處理效果也不盡相同。表1中第3,4列分別是對womanhat組圖中采用的具體處理方法以及參數的描述。圖的位置采用兩個數字表示,分別代表它的行和列。其中每張圖所采用的處理方法以及使用每種圖像質量評價指標所得到的計算結果見表1。通過對計算結果及其對應圖像進行分析和比較發現:對于采用不同的參數對同一幅圖片進行JPEG壓縮處理后得到的一組圖像(在該組中的第2至第7張圖片),除了指標LS失效,其他指標均能夠與主觀感受得到的評分標準達到一致;對于采用加入白噪聲后得到的一組圖片(在該組中的第8至第12張圖片),指標LS,GDS失效,這兩個指標無法判別出圖像被白噪聲污染的程度,其他的4個指標均能夠判斷出圖像被白噪聲污染的程度;對于采用高斯函數模糊化后得到的一組圖片(在該組中的第13至第17張圖片),指標SNR失效,無法判別出圖像的模糊程度,其他指標均能夠判斷出圖像的模糊程度。3.2wmanton.測試圖像質量:vqeg推薦,白噪聲前看從對比實驗可以看出,指標PSNR,MSE與SSIM在3種處理技術(JPEG壓縮,白噪聲,模糊化)的質量時就會發現,指標PSNR的評價結果與主觀視覺感受出現了個別不符合的情況,指標MSE,SSIM的獨立應用中均能夠取得較好的效果;指標SNR是適用于JPEG壓縮和白噪聲技術,但更適合白噪聲技術;而指標LS與GDS只適用于高斯模糊技術。當使用這6個指標去評判3種技術處理后所有圖像與主觀的視覺感受出現了少部分不符合的情況,指標SNR,GDS,LS與主觀的視覺感受出現了較多不符合的情況。因此通過初步的主觀判斷可知,某些質量評價指標,當它們被應用到某一種圖像處理技術處理后的圖像時,它們能夠很好地反映出處理后圖像質量的變化,并且其計算結果能夠較好地符合人類主觀視覺感受。由不同處理方法得到的圖像,幾乎所有的指標均出現了不同程度地與人類視覺感受不符合的現象,說明這些指標已經無法與人類視覺感受達到一致的效果。為了進一步分析質量評價指標的性能,采用VQEG推薦方法進行了進一步的實驗。首先對womanhat圖像數據中采用JPEG壓縮的數據進行分析,以NDMOS值作為X坐標,以算得的指標值作為Y坐標,繪制散點圖,如圖2所示。發現除了指標LS外,其他5個指標都能夠與NDMOS呈現單調的趨勢,說明在評價JPEG壓縮的圖像質量時,指標LS失效,其他5個指標均能夠對壓縮后的圖片質量進行評價。對womanhat圖像數據中加入白噪聲的數據進行分析,如圖3所示。發現除了指標GDS,LS外,其他4個指標都能夠與NDMOS呈現單調的趨勢。說明在評價含有白噪聲的圖像質量時,指標GDS,LS失效,其他4個指標均能夠對含白噪聲的圖片進行質量評價。對womanhat圖像數據中經過高斯函數模糊后的數據進行分析,如圖4所示。發現除了指標SNR外,其他5個指標都能夠與NDMOS呈現單調的趨勢,說明在評價出現模糊的圖像質量時,指標SNR失效,其他5個指標均能夠對模糊的圖像進行質量評價。除了散點圖,VQEG推薦了3個定量指標來分別衡量準確性、單調性和一致性。這3個定量指標的計算過程是:利用曲線擬合的方法得到評價指標與DMOS之間的擬合曲線,根據擬合曲線的參數與相應的指標值能夠求得在該擬合曲線下的NDMOSp,利用NDMOS與NDMOSp之間的Pearson相關系數來評價該指標的準確性,利用NDMOS與NDMOSp之間的Spearman秩相關系數來評價該指標的單調性,利用超出閾值的外部點占全部點的比率來衡量一致性。其中判斷為外部點的標準是其NDMOSp與NDMOS的絕對差值大于2倍的NDMOS的標準誤差。為了得到更具有一般性的結論,對LIVE圖像庫中所有的圖像進行計算分析,得到的散點圖如圖5所示,具體計算結果見表2。從實驗結果可知,3個無參考評價指標SNR,GDS,LS散點圖呈現雜亂的狀態,且其準確性、單調性與一致性均較差。有參考的3個評價指標PSNR,MSE,SSIM均具有較好的準確性,但是指標MSE的單調性較差,3個指標的一致性均較差。4圖像質量評價方法和工具理想的圖像質量評價指標應該在3個方面具有良好的性能:1)與人類視覺感受具有較好的符合程度;2)評價指標具有通用性,能夠適用于多種圖像處理技術;3)評價的結果具有單調性、準確性和一致性。通過對實驗數據的分析發現,在現有的客觀評價方法中,全參考的評價方法不僅能夠對某種技術處理后的圖像進行單獨的評價,而且也具有一定的通用性,雖然在多種應用的質量評價中其準確性和一致性還不盡如人意,但也能夠在一定程度上衡量用多種處理技術處理后的圖像質量優劣。無參考的評價方法只能在某種既定的處理技術上得到較好的評價效果,完全無法對多種處理技術處理后得到的圖像質量進行評價。在實際應用中,圖像質量評價方法和工具可以在各種圖像處理技術中發揮重要作用,質量評價的結果可以作為衡量圖像處理技術性能的量化指標，通過進一步的反饋優化，以強化圖像處理技術的優化功能。根據當前的發展趨勢和應用需求，結合本文作者的研究心得，對工程應用中必須面對的一些關鍵性的問題及其可能的解決途徑進行簡要的闡釋。1)對于某種處理結果,如果無法按照更為恰當的指標評價其處理質量時,可以把峰值信噪比作為一種通用性的評價指標來運用。2)在能夠取得參考圖像的情況下,使用全參考的圖像質量評價方法,其準確性要遠遠優于無參考的圖像質量評價方法。3)在實際應用中,可根據上述的3條標準選擇評價方法和工具,當某些指標難以確定時,可通過分析比較進行優選,力求選出最合適的指標。4)在現階段,人類主觀視覺感受還很難通過客觀計算的方法得以量化,利用MOS方法是一種可行的獲取圖像主觀評價結果的途徑。5)在對某種圖像處理結果進行質量評價時,可以選用某一專門指標,但專一指標往往只注重圖像質量的某一方面。為了能夠取得更加