基于surf的電子穩像視頻的運動補償

1傳統電子穩像方法隨著攝影設備的廣泛應用，攝影平臺變得越來越多樣化。通過車載攝像系統、手持攝影設備、飛機或艦船攝影平臺等得到的視頻信號往往會因為攝像機的運動而發生抖動。視頻抖動不僅會影響視覺效果,使觀看者產生暈眩進而導致誤判和漏判,而且給進一步的圖像處理帶來困難。利用電子穩像技術實現視頻圖像序列穩定是現代穩像技術的發展方向之一。傳統電子穩像方法主要有:塊匹配方法、灰度投影法和特征匹配方法。塊匹配法是最常見的運動矢量估計方法,近幾年研究者對塊匹配方法不斷進行改進,它們多采用合適的搜索路徑,快速準確搜索最佳匹配塊來得到運動矢量。但是塊匹配法只能估計平移運動矢量,當攝像機存在旋轉運動和變焦運動時,精度較低甚至誤匹配,因此適用場合受到限制。灰度投影法速度比較快,但是要求圖像的灰度變化豐富,否則灰度投影曲線變化不明顯,難以精確求出運動矢量或者根本無法進行投影曲線的相關運算,精度不高。特征匹配法是利用圖像的主要特征,包括區域、物體邊緣、直線以及灰度極大值點、角點和特征點等進行匹配穩像的方法,如何提取特征和特征定位的精確性是其關鍵技術。本文采用SURF算法獲得參考圖像和當前圖像中的興趣點及其匹配關系,利用隨機抽樣一致性(RANSAC)算法消除誤匹配對并過濾掉由前景物體局部運動帶來的全局運動矢量誤差,以獲得準確的運動估計矢量。通過判定參考幀的更新策略得到運動補償矢量對原始視頻序列進行運動補償及全幀頻補償,從而實現高精度的實時電子穩像。2基于快速魯棒特征的配準算法電子穩像方法中,圖像配準是非常關鍵的步驟。通過匹配圖像特征,計算仿射變換模型參數,可以得到兩幅圖像間的仿射變換關系。SURF(Speeded-UpRobustFeatures)是在SIFT(ScaleInvariableFeatureTransformation)配準算法的基礎上提出的一種基于快速魯棒特征的配準算法,包括興趣點檢測和興趣點描述兩個部分,其核心思想是通過對積分圖像Harr求導減少計算時間。SURF算法提取的特征具有尺度不變、旋轉不變的性能,對光照變化和仿射、透視變換具有部分不變性。通過在旋轉、縮放、視角變化、圖像模糊、JPEG壓縮、光照變化6個方面對SURF的測試結果表明,SURF在各個方面均接近或超越了SIFT的性能,計算速度比SIFT方法提高3倍。2.1基于[]的harr小波響應值計算在原SURF算法中,以5°為步進,采用60°扇形掃描累加向量,遍歷整個圓形區域,選擇最長矢量的方向作為該特征點的主方向。但在這個過程中,每一次掃描步進,扇形區域內的Harr小波響應值都被重復計算,因此本文提出一種計算SURF興趣點主方向的快速算法以提高運算效率。步驟如下:第一步,將圓形分為360份,圓內每個Harr小波響應值dx,dy按其角度取整得到對應?θ=[θ]θ?=[θ],按?θθ?所對應角度分別計算圓內的dx,dy直方圖,如圖1所示。?θ=[θ]=[arctan(dy/dx)]θ?=[θ]=[arctan(dy/dx)],(1)hisX(?θ)+=dx(?θ)hisX(θ?)+=dx(θ?).(2)第二步,計算直方圖的積分。Dx(i)=i∑?θ=0hisX(?θ)={histX(0),i=0Dx(i-1)+histX(i),360>i>0.(3)Dx(i)=∑θ?=0ihisX(θ?)={histX(0),i=0Dx(i?1)+histX(i),360>i>0.(3)第三步,計算扇形內包含的Harr小波響應值。以X方向為例,以任意角度i起始的角度為α的扇形所包含響應值。sumX(i)=Dx(i+α)-Dx(i),360>i+α≥0.(4)為方便計算包含角度300～359°的區域,將式(3)修改為Dx(i)=i∑?θ=0histX(?θ)={histX(0),i=0Dx(i-1)+histX(i),360>i>0Dx(i-360),420>i≥360,(5)Dx(i)=∑θ?=0ihistX(θ?)=?????histX(0),i=0Dx(i?1)+histX(i),360>i>0Dx(i?360),420>i≥360,(5)則以任意角度i起始的角度為60°的扇形所包含響應值公式為sumX(i)=Dx(i+60)-Dx(i),360>i≥0,(6)sumY(i)計算步驟同理。第四步,計算各方向上響應值向量和的大小,并將最大值所對應的方向確定為特征點主方向。vector=sumX×sumX+sumY×sumY.(7)2.2基于ransac思想的快速計算全局運動的算法電子穩像所處理的原始視頻中,場景中不僅含有位置固定的背景,還含有前景物體。這些前景物體的局部運動所計算出來的局部運動向量會對全局運動向量的計算帶來干擾,因此需要提前剔除掉。本文采用RANSAC的思想過濾各匹配對的局部運動向量,剔除誤匹配對及前景物體的匹配對,以最終獲得精確的全局運動向量。設各匹配對對應的局部運動向量為LMV[i],RANSAC算法的一般流程為:針對一對匹配對的局部運動向量LMV[p],統計其余局部運動向量滿足公式(8)的個數n。n={LMV[q]-LMV[p]<ε,q≠p},(8)若n≥N,認為得到了正確的全局運動矢量,對滿足公式(8)的子集采用最小二乘等方法重新計算提高精度;否則重新隨機抽取新的LMV[p],重復以上過程。RANSAC的核心思想是,隨機抽取樣本LMV[p],統計其余子集對其的一致性,這個一致性是包含一定容差ε的,找到一致性最高的作為最終結果。本文基于RANSAC的思想,提出一種快速計算全局運動的算法。首先認為當前樣本LMV[p]對鄰近LMV[q]具有一定“影響”,即RANSAC思想中的容差ε。然后將原本的樣本一致性問題轉換為求取這種帶容差ε的運動向量直方圖最大值問題。具體算法為:第一步,設各匹配對對應的局部運動向量為LMV[i],遍歷LMV[i],計算帶容差ε的運動向量直方圖histMV。這里假設LMV[i]對相應直方柱影響為1,對兩側影響為0.5。由SURF算法得到的局部運動矢量是精確到小于1pixel的,這里需要先將LMV[i]四舍五入取整。由此帶來的像素的誤差,在算法第三步時可消除掉。{histΜV[LΜV[i]-1]+=0.5histΜV[LΜV[i]]+=1histΜV[LΜV[i]+1]+=0.5.(9)第二步,遍歷histMV,最大值即判定為全局運動矢量方向。GMV=max{histMV[i]}.(10)第三步,再次遍歷LMV[i],計算鄰近GMV的所有LMV[i]的均值得出最終全局運動向量GMV′。GMV′=avg{LMV[i],|LMV[i]-GMV|<1}.(11)采用運動向量直方圖的優勢在于只需兩次遍歷局部運動向量即可準確判定出全局運動向量,從而減少了計算時間。3更新ri策略對于需要進行電子穩像的原始視頻,人們往往希望得到的是穩定的輸出視頻,這種穩定不僅指空間上物體的穩定,即準確計算并補償的全局運動向量,還包括時間上的穩定,以便于人們觀察視頻細節等信息。另外,除了時間與空間上的輸出穩定,還需要對運動補償后的視頻進行全幀頻補償。運動濾波主要是基于平滑運動矢量以穩定輸出視頻的策略,即輸出的穩定視頻沿人為設定的平滑軌跡運動。由于實際情況的復雜性,這種小幅度運動往往不會按照理論模型的設定軌跡運動而是有一定的往復性和波動性,即在時間軸上出現小幅波動。人們不僅期望對空間軸上相對穩定,即相鄰幀位置相對固定,同時也期望在時間軸上相對穩定,即在“一段時間”內位置相對固定,這個“一段時間”主要決定于人眼的視覺特性和人的主觀期望。此外,如果當前幀圖像與人為預訂的運動軌跡趨勢相悖,在運動補償后的輸出圖像中的未定義像素區域(黑邊)中,容易出現參考幀中也沒有對應區域的情況,因此會對接下來的全幀頻補償帶來困難。本文提出一種基于人的主觀評價標準更新參考幀,進而實現電子穩像中運動向量平滑的策略。定義以時刻t為起點,輸入視頻第i幀時,參考幀為Ri,當前幀為Ci,Ci相對于Ri的運動向量為GMVi,經過電子穩像算法后,輸出的穩定視頻為Di。本文提出的電子穩像策略核心思想如公式(12)所示Di=(Ci-GMVi)+Ri,(12)公式(12)表示,將Ci按照GMVi反向補償的結果(Ci-Ri)貼圖到Ri上,并賦值給Di,即將Ri設定成“穩定狀態”,只要準確計算出GMVi,就可以找到Ci對應Ri的位置,更新輸出圖像。這樣做同時完成了電子穩像和全幀頻補償兩個任務,而且相較于其他方法無需考慮當前幀圖像與人為預訂的運動趨勢相悖時的全幀頻補償問題。當攝像頭僅存在原地顫動時,人的主觀愿望是輸出視頻可以穩定,通過公式(12)可以獲得理想狀態的穩定輸出;當攝像頭大幅度抖動時,只需要更新Ri即可,即將電子穩像中運動向量平滑的問題轉換為在何種情況下需要更新參考幀以及如何更新參考幀的問題。本文提出的更新Ri策略如下:規則1,運動矢量GMV<閾值T1時,認為是攝像機原地顫動,不更新參考幀。規則2,運動矢量GMV>閾值T2時,認為場景發生重要改變,一般是由于攝像機快速大幅度移動導致場景大幅度變化或者有較大物體進入場景造成的,如果繼續保持參考幀不變,會造成后續幀特征匹配失敗。因此應將參考幀直接設置為當前幀圖像Ri+1=Ci。規則3,T1<GMV<T2時,認為此時的攝像機原地劇烈抖動,這種抖動包含需要濾除的顫動分量及需要保留的攝像機有意運動分量。對于視頻的實時處理,特別是當有意運動趨勢較小,湮沒在較劇烈的抖動中的情況下,及時分離顫動分量及有意運動分量是非常困難的。因此,一般的做法是,人為地擬定一個平滑運動趨勢代替實際的運動情況,以達到穩像的效果。第一步,由于此時不包含大幅度移動,因此可以延遲幾幀,通過先判定是長時間劇烈抖動還是短時劇烈抖動再決定是否更新Ri。如果是短時(幾幀)劇烈抖動,按照人的主觀意愿,是期望將此劇烈抖動忽略不計,仍然在原位置穩定輸出視頻,即不更新Ri。方法是,當第1次滿足規則3時計數器counter開始計數,設定短時劇烈抖動為不能連續n幀滿足規則3,即后續n-1幀中,任意一幀的GMV不在此閾值間,則counter清0,無需更新Ri。第二步,如果counter>n,認為當前攝像機原地劇烈抖動,并且不應忽略攝像機可能存在的湮沒在較劇烈的抖動下的有意運動,即需要按照一定規則更新Ri,以便在新的位置重新確定是否仍然滿足規則3。更新Ri的規則應該盡量破壞規則3所能達到的條件,即更新后,趨勢為規則1,以達到收斂的效果,在新的Ri的位置上繼續輸出穩像視頻。此時更新規則如下:第一步,counter計數的同時,計算均值avgGMV。在理想狀態下,攝像機抖動應該是在某位置兩側的反復性運動,并且avgGMV應趨近于此位置。但由于此時的avgGMV僅代表有限幀的運動向量均值,并且由于實際情況的復雜性,因此不應將avgGMV所在位置直接賦值給Ri,而是認為收斂位置位于avgGMV與0之間。第二步,使用GMV位于avgGMV與0之間(sign(GMV)=sign(avgGMV)且0≤|GMV|≤|avgGMV|)的后續幀更新Ri,Ri+1=Ci,并且計數器清0,avgGMV重置。第三步,判斷是否滿足規則3,如不滿足即已經達到了穩定的Ri位置,counter清0。否則,跳到第一步繼續判定收斂位置。通常情況下,利用這種更新規則需要幾次更新Ri位置才可能獲得穩定位置,但利用中間幀更新臨時Ri的策略可以避免由GMV誤差帶來的拼接圖像誤差,進而避免累積誤差導致的穩像失敗。而且注意到,非更新Ri時刻(第二步中后續的當前幀GMV不位于avgGMV與0之間,并且不滿足規則2時)的輸出視頻是穩定在過渡Ri位置上的,而更新Ri時刻的輸出視頻,是非階躍性的平滑過渡。因此,這樣通過階段式的逐步收斂,既保證了遵循攝像機有意運動趨勢,又保證了過渡的平滑性,同時,可以得到收斂的最終結果,因此可以在新的最終Ri的位置上獲得穩定的輸出視頻。對于運算過程中的由GMV誤差帶來的可能出現錯誤的Ri位置,當程序陷入規則3中Ri位置判斷循環時(即后續幀的GMV總不落入avgGMV與0之間),可通過規則2跳出此錯誤的Ri位置,從而保證程序的健壯性。4xel的穩像實驗用分辨率為320pixel×240pixel的抖動視頻序列,在PC機(Pentium4CPU3.00GHz,3GB內存)使用VC6.0進行穩像實驗。4.1實驗結果及分析基于SURF算法尺度不變的特點,可通過降低檢測尺度的方法加快檢測速度。為保證電子穩像算法的實時性和魯棒性,本文使用降2均值采樣。SURF算法在判定主方向時扇形掃描窗口遞進為5°,采用改進后的SURF算法,由于在主方向判定時將精度提高到1°,因此提高了魯棒性。由實驗結果可以看出,圖2中優化后的SURF算法與原SURF算法相比,消除了部分誤匹配對,并且降低了檢測SURF興趣點的時間及匹配時間。由圖2中對應關系可以看出,降低尺度后的SURF算法,由于沒有檢測高尺度的SURF興趣