面向目標的圖像超分辨率重建方法

實際交通監控系統通常只能獲得低分異度的圖像，這些圖像有時不能滿足監控應用程序后的處理要求（如車牌識別等）。因此，從低質量和低分異度觀測圖像重建高分辨率的車牌圖像，即車牌圖像的超分辨率重建具有重要意義。文獻對圖像超分辨率早期的相關工作給出較好的綜述.從對輸入觀測圖像的數量需求上說,傳統的圖像超分辨率算法大概分為2類.一類是需要獲取同一目標的多幅觀測圖像,即多源圖像超分辨率.多源圖像超分辨率的整個流程包括數據校準、圖像配準、數據融合、反卷積等步驟.這類方法通過挖掘多幅圖像的互補信息,重建高分辨率圖像.Tsai和Huang認為,空域平移等價于頻域相移,在頻率域組合多幅圖像,進行超分辨率重建.這類方法的優點是理論上不需要過多的先驗知識,只要有多個觀測圖像即可進行超分辨率,其缺點在于難以解決圖像配準的難題,且需要多幅觀測圖像,限制了算法的應用范圍.這類方法不適合用于車牌圖像超分辨率重建.另外一類超分辨率算法是根據先驗知識,建立高分辨率圖像與低分辨率圖像的對應關系,從而實現從單幅圖像進行超分辨率,即單源圖像超分辨率.由于只需要一幅輸入圖像,單源圖像超分辨率擁有更廣闊的應用范圍.這類方法的關鍵在于建立高低分辨率圖像的對應關系.一部分工作是基于模型的重建,通過顯式地建立圖像下采樣模型,并將先驗知識作為約束條件使問題正則化.例如趙書斌等用小波域隱馬爾科夫樹(HMT)進行重建、Stark和Oskoui的投影到凸集(POCS)的方法等.基于模型的方法需要對降晰模型進行充分的描述,車牌圖像的降晰模型十分復雜,包括傳感器件自身的降晰.散焦降晰和移動降晰,這類方法并不適用于車牌圖像的超分辨率重建.另一部分工作是近年來受到廣泛關注的基于學習的單源圖像超分辨率方法,如Freeman等使用統計學習的重建方法,Yang等利用圖像片的稀疏編碼進行重建,Kim等使用稀疏回歸重建高分辨率圖像,Glasner等使用基于樣例的方法進行重建.與基于模型的方法相比,基于學習的方法更多地關注圖像的內容和紋理結構,能夠更充分地建立高低分辨率圖像片的對應關系,因而能獲得更好的結果.這種方法通常要求訓練圖像和測試圖像具有較好的一致性.在實際生活中,車牌圖像通常具有統一規格,可以選擇大量車牌圖像作為訓練庫,確保訓練圖像與實際應用中的圖像具有較好的一致性,所以,基于學習的單源圖像超分辨率重建適用于車牌圖像超分辨率.上述超分辨率算法是針對整幅圖像進行重建,實際應用中,圖像背景中的很多細節對后續目標識別任務是無關緊要的,通過大量復雜的計算重建整幅圖像僅僅是增強了圖像的視覺效果,并無必要.事實上,通過綜合顏色、紋理等信息,現實世界中車牌目標可以在較低分辨率的圖像中成功檢測.文獻通過實驗證明,超分辨率對于目標檢測性能提升十分有限,在提高檢測率的同時容易造成虛警.因此,可以先檢測目標,然后針對目標圖像進行超分辨率,從而更好地恢復目標圖像的細節信息.相對于傳統的先重建再檢測,這種思路更符合人類的視覺認知規律.人類的視覺注意機制可以保證快速的檢測和定位目標,然后通過有意識的眼動,將視網膜窩區對準目標,進行超分辨率成像.研究者們發現,人類的視覺系統中存在稀疏編碼機制.基于以上思路,本文提出面向目標的車牌圖像超分辨率算法.該算法的核心思想是,在車牌檢測之后,只對圖像中的車牌區域(即檢測時確定的包含車牌號碼的圖像區域)進行超分辨率重建.這樣不僅可以減少計算量,而且可以針對目標建立字典,字典中的碼字將更接近車牌圖像片的紋理結構,從而使目標區域圖像片更容易恢復.在特征提取階段,本文加入了鄰接特征,可以對低分辨率圖像片進行更充分的描述.實驗證明,使用本文方法訓練生產的目標字典擁有與車牌圖像片更接近的紋理結構,可以更有效地重建目標.此外,傳統工作在驗證超分辨率重建有效性時,僅比較視覺效果和PSNR等指標,本文驗證了超分辨率重建可以改善車牌識別結果.本文第1節簡要介紹重建算法需要用到的壓縮感知理論;第2節介紹面向目標的圖像超分辨率算法的字典訓練和圖像重建過程;第3節給出實驗結果并進行分析和討論;最后總結全文.1ue06cd.變通性能壓縮感知(compressedsensing)是近年來發展起來的一種有效的信號重建方法,該方法可以通過少量觀測值恢復大數據量的稀疏信號.本文的超分辨率重建算法以該方法為基礎.假設信號x為K稀疏的,即只有K個非零元,那么對于其中,y為x的觀測結果,Φ∈Rm×N為一個投影矩陣,mue04dN.由于mue04dN,即觀測y的維數遠小于數據x的維數,相當于x從N維空間向m維空間的投影.從傳統角度看,如果沒有任何先驗知識,這個問題是病態的,存在無窮多組解可以生成觀測y.壓縮感知理論認為,如果Φ滿足一定條件(詳見下文),當信號為K稀疏的,那么只要m≥O(Klog(N))即可以通過下列最優化的求解以較高的概率恢復出信號x:在最優化領域中,可以證明上述l0-范數優化問題是NP-hard,難于求解;但在稀疏假設前提下,大多數l0-范數優化可以轉換為l1-范數優化問題,即這個最優化問題有很多方法可以有效求解.上述矩陣Φ稱為測量矩陣(measurementmatrix),又稱作字典矩陣,要滿足約束等距性(RIP)條件,即如果對于任何信號c∈RN并且‖c‖0≤K,滿足其中,δK∈(0,1).則稱Φ滿足K階常數為δK的RIP條件.RIP條件的一個直觀解釋是Φ的任意小于K的列抽取集合都是近似的正交規范系統.2優化稀疏數據的觀測重建車牌目標可以從低分辨率圖像中正確檢測,在先檢測后重建的架構下,可以對車牌區域進行面向目標的超分辨率(object-orientedsuperresolution,OSR)重建,然后進行目標識別等后續處理.根據壓縮感知理論,稀疏數據可以通過不完整的觀測重建,這為圖像超分辨率重建提供了一個有效手段.實際的圖像并非稀疏信號,本文只采樣車牌區域圖像片,并進行稀疏編碼建立字典矩陣,對圖像片進行有效的稀疏編碼,重建時可以通過壓縮感知理論求解相應的稀疏表示系數,從而較好地重建車牌圖像.2.1低分辨率圖像片訓練建立字典時,只在車牌區域中選取圖像片作為訓練數據,生成目標字典.由于只需要匹配車牌圖像片的紋理結構,這樣生成的目標字典中的碼字擁有與車牌圖像片相似的紋理結構,在該字典下的重建更加有效.圖1為字典矩陣生成過程,對大量高分辨率圖像片進行下采樣可獲得相應的低分辨率圖像片,高分辨率圖像片矩陣Xh的每一列都是一個高分辨率圖像片,低分辨率圖像片矩陣Xl的每一列都是由相應高分辨率圖像片下采樣得到的低分辨率圖像片及其特征描述,高低分辨率圖像片一一對應.低分辨率圖像特征描述與文獻類似,包括圖像片水平和豎直方向的一階和二階梯度值,除此之外,本文還加入圖像片鄰接像素(即圖像片周圍的像素)的梯度值作為特征,從而更充分地描述圖像片.圖2中黑色區域為白色圖像片的鄰接區域,例如,3*3圖像片除自身梯度特征之外,還包括16個鄰接像素的梯度值作為特征描述,這些鄰接特征與低分辨率圖像片有較強的相關關系,可以對圖像片進行更充分的約束,從而使求解更準確.經過擴展,3*3圖像片的特征為400維.聯合圖像片矩陣Xh和Xl作為訓練樣本,采用文獻的稀疏編碼策略對這些樣本進行稀疏編碼,編碼訓練過程中始終保持高低分辨率圖像片的一一對應關系,訓練結束時,將矩陣一分為二,即得到低分辨率字典矩陣Dl和高分辨率字典矩陣Dh,而且二者之間仍然保持著嚴格的一一對應關系.增加字典中碼字的數量,保證字典是過完備的,以充分表示任意圖像片.為了更直觀地理解該方法的優越性,圖3給出規模為256的2個字典中碼字的圖像,為看清細節,畫出高分辨率字典中的碼字,碼字尺寸為9*9.圖3(a)為整個畫面隨機采樣訓練生成的非目標字典,因為需要匹配自然場景中各種復雜紋理,其中的多數碼字紋理較為復雜,隨機性強,沒有很強的結構性;而圖3(b)中的目標字典,因為只需要匹配車牌紋理,多數碼字具有很強的結構性,更接近實際車牌圖像片的紋理結構,可以對車牌圖像片進行更稀疏、更有效的表達.2.2分辨率圖像的全局優化實際應用中,在正確檢測車牌目標之后,使用目標字典對目標區域進行超分辨率重建就是OSR重建算法.超分辨率重建時,只有2個字典Dl,Dh和輸入的低分辨率車牌圖像,需要逐片進行重建.逐片重建時,片與片之間要有重疊,以便保持全局一致性.全部重建完成后,即可得到高分辨率圖像.逐片求解時,首先,根據壓縮傳感理論用低分辨率字典矩陣Dl作為字典矩陣,低分辨率圖像片y為觀測,通過如下優化解出稀疏編碼系數α:將優化(5)簡化為無約束優化:其中,為稀疏編碼的線性組合系數,λ是調整優化目標的權重系數.利用高分辨率字典矩陣Dh重建與y對應的高分辨率圖像為逐片重建之后,得到一幅高分辨率圖像X*,X*是最終重建的高分辨率圖像.傳統工作通常在逐片重建之后有一個全局優化過程,以加強圖像的全局一致性,例如文獻采用經典的后向投影進行全局優化.本文不需要添加全局優化過程,主要有2方面原因:一是相對于整幅圖像重建,車牌圖像區域較小,全局一致性更容易滿足;二是添加了鄰接特征后,逐片重建時約束更強,重建的圖像片更容易滿足全局一致性.由于這2方面原因,逐片重建就可以獲得較好的全局一致性,無須進行全局優化.3目標漢字重建為了說明OSR的優勢,我們比較了本文方法與文獻方法(nonOSR)的重建結果.OSR在車牌區域中隨機選擇10000片作為訓練數據,而且提取鄰接特征,生成目標字典,OSR使用目標字典進行重建;nonOSR的字典整個圖像區域中隨機地選擇10000片做訓練生成,稱為非目標字典.實驗中所有高分辨率圖像片尺寸為9*9,相應的低分辨率圖像片尺寸為3*3,即對圖像做3倍下采樣.在接下來的實驗中,從不同角度比較OSR與nonOSR的圖像重建算法的性能.3.1雙3次曲線插值重建的主觀視覺感受為說明OSR重建算法的有效性,我們在不同噪聲條件下進行重建.圖4(a)是一幅高分辨率圖像,該圖像不包括在形成碼本的訓練集中.對高分辨率圖像3倍下采樣后得到低分辨率圖像,在低分辨率圖像中添加不同信噪比(SNR)的高斯噪聲.圖4(b)從左至右依次是無噪聲圖像,信噪比為30dB圖像,信噪比為20dB圖像和信噪比為10dB圖像.為便于比較,低分辨率圖像通過最近鄰插值進行3倍放大至與高分辨率圖像一致的尺寸.除了面向目標和非面向目標重建2種方法外,還給出雙3次曲線插值重建結果;圖4(c)是相應的雙3次曲線插值結果;圖4(d)是相應的通過nonOSR重建的結果,圖4(e)是相應的通過OSR重建的結果.通過主觀視覺感受比較可以發現,無論在何種信噪比下,雙3次曲線插值方法得到的結果更加平滑,看起來模糊,對比度低,細節不夠清晰;nonOSR重建得到的結果略有改善,細節有所加強,但是有明顯的噪聲和失真;OSR重建得到最好的結果,圖像細節清晰,對比度高,噪聲和失真比nonOSR的結果要少.為進一步說明OSR重建算法的優勢,我們記錄了不同噪聲水平下面向OSR和nonOSR重建的峰值信噪比(peaksignaltonoiseratio,PSNR),PSNR定義如下其中,xij是原始高分辨率圖像的像素,x珓ij為重建高分辨率圖像的像素.不同信噪比下重建圖像的PSNR如圖5所示,nonOSR重建圖像效果最差,雙3次曲線插值結果PSNR約比其大1.5dB左右,OSR重建圖像約比其大2dB.事實上,插值方法是一種加權平均,圖像很平滑,在PSNR比較中占據優勢,其視覺效果很差,見圖4.通常而言,圖像的信噪比是大于20dB的,在信噪比大于20dB的范圍,OSR重建結果比nonOSR重建結果改善接近2dB,較插值方法改善約0.5dB.在信噪比大于20dB的范圍內,重建算法對噪聲不敏感,PSNR沒有顯著改變.無論是圖4中的主觀評價還是圖5的定量比較,在不同的噪聲條件下,OSR的結果均顯著優于nonOSR的結果和雙3次曲線插值方法.3.2主觀效果分析以上實驗中,為便于數值上定量比較,低分辨率圖像都是從清晰圖片下采樣獲得的.下面給出實例,圖6(a)中2幅圖都是實際監控攝像頭拍攝的車牌圖像,不失一般性,給出藍底白字,黃底黑字車牌,2幅圖像分別用OSR和nonOSR重建.作為參考,圖6(b)為雙3次曲線插值結果圖,圖6(c)是nonOSR重建結果,圖6(d)是OSR重建結果.由于高分辨率圖像未知,無法定量比較,只能從主觀視覺效果上進行評價.比較圖6(c)和圖6(d),圖6(c)邊緣毛糙,細節模糊,且有較強噪聲干擾;圖6(d)的圖像邊緣細節更加清晰,對比度更強,噪聲相對圖6(c)也更少.可見,OSR超分辨率重建在實際應用中效果也更好.3.3核心數據的獲取最后測試超分辨率重建對識別結果的影響.首先簡要介紹車牌定位算法,采集大量車牌圖像和非車牌圖像,訓練生成Adaboost檢測器,檢測器對不同尺度的圖像逐片進行判別,可以正確檢測車牌,圖6就是3個實際的檢測結果.傳統車牌識別系統中,車牌經過定位后,進行字符分割、識別等后續處理.我們采用OSR重建,然后進行后續處理.測試數據集合為125幅低分辨率車輛圖像,每幅圖像包含1個車牌、7個字符,其字符高度均小于25.迄今為止,大多數車牌識別系統處理的對象中,車牌字符