數字視頻智能編輯算法研究

1傳統視頻制作成本高據統計，人們收到約60%的信息來自視覺，20%來自聽覺，20%來自其他方法，這表明視覺信息的重要性。其中,視頻是視覺信息傳播的主要媒體,然而在視頻制作過程中,常常有一些特殊要求,如場景中的字符或人臉留下一些影響視覺效果的斑點需要去除等。如果按傳統的方法,就必須重新拍攝該視頻片段,或者用現有的一些PS工具一幀一幀地手動處理該視頻片段,制作慢,成本高。為此,筆者創新性地設計了一種數字視頻智能編輯系統,旨在智能地處理視頻中的小瑕疵,文章首先利用圖像跟蹤技術實現對連續幀中的小瑕疵跟蹤,再利用圖像修復技術,去除這些瑕疵的影響,從而達到了視頻制作的低成本、高效率、高質量目標。2基于塊匹配算法的圖像特征點窗口對比圖像跟蹤技術不同的算法各有其優缺點,適用的場合也不同,因此一種算法的優劣取決于其處理的目標對象的特點。本文的處理對象是視頻中的小目標,由于目標區域小,紋理信息少,特征點難以提取,因此基于區域的跟蹤算法是一種較為適合的算法。由于基于區域跟蹤算法幾乎沒有抗形變、伸縮的能力,該算法的應用場合非常受限;另一方面,由于跟蹤目標的背景占有較大區域,往往含有豐富的信息,這些信息有助于實現目標的精確跟蹤。綜合考慮這兩點,提出了一種結合Kanade-Lucas-Tomasi(KLT)算法和塊匹配算法的跟蹤算法,其中KLT算法利用背景領域的紋理特征,得到形變仿射信息,完成初步處理,再利用塊匹配算法精確跟蹤目標。KLT算法對灰度圖像的特征點窗口W,KLT算法假定圖像在t+τ時刻的像素I(x,y,t+τ)和t時刻像素I(x,y,t)滿足關系對于特征點窗口內的各個像素,其唯一近似表示為令A=I+D,I和J分別表示待匹配的兩幀圖像的特征點窗口,則由上述分析,I和JKLT算法就是要尋找A和d,使得特征點窗口的灰度差平方和SSD最小式中:w(X)為權重函數,通常可以取1,或為了強調中心紋理,取高斯分布函數。當式(4)取得最小值時有式中:當u=DX+d為小量時,可對J(AX+d)進行泰勒展開,并將待求運動參數D和d提取出來,問題可表示為因此,KLT的迭代步驟為:1)假設i=0時,D2)計算式(4),若ε≤min(ε),停止迭代,所得D3)判斷迭代次數,若i>N,停止迭代;5)根據式(6),計算D6)由5)的結果,計算J在KLT跟蹤算法中,并不是所有包含紋理信息的特征窗口都是適合跟蹤的,只有對那些特征窗口,滿足矩陣T的子矩陣Z的兩個特征值λ塊匹配如圖1為跟蹤算法的實驗結果,其中圖1b,1c分別為單純使用塊匹配法跟蹤的結果,顯然它不能處理形變伸縮的序列,而圖1d,1e是結合KLT算法的塊匹配跟蹤結果,從結果可見,目標得到了精確的跟蹤。3tables-tod算法描述完成了對目標的正確跟蹤后,下一步就是要對跟蹤到的目標進行修復,得到期望的圖像。圖像修復技術主要分為圖像細紋修復技術和圖像紋理合成修復技術。與傳統的需要迭代的修復方法不同,Telea提出了一種快速的非迭代的修復算法。該方法根據像素與結構信息計算區域內已知像素所應有的權重,采取與缺失區域幾何信息相關的修復順序,根據鄰域內像素加權來確定未知像素的值。圖2為Telea算法的示意圖,假設待修復點集為S={x即距離修復點x式中:w這樣的權重估計,保證了距離待修復點較近的已知點具有較大的權重,靠近修復方向的已知點具有較大的權重,符合了Telea的信息傳遞的方向。由于Telea圖像修復法只根據圖像破損區域的幾何特征確定向內修復的方向,可能導致信息向內的錯誤傳遞,并且有不連續的現象。但在本系統中,由于考慮的是視頻中小目標破損區域,還不會出現Telea算法本身缺陷導致的問題。同時由于Telea算法不需要迭代計算修復權重,還是一種快速的修復算法?？傊?針對該視頻圖像智能編輯系統,Telea算法可以在不影響視頻修復質量的基礎上,達到快速修復的目的,因此是本系統一個較佳的選擇。4預測設備的智能修正根據前面的分析,本文設計的智能編輯系統的數據處理流程為:首先用KLT算法計算圖像幀的形變仿射系數矩陣,根據該系數矩陣,計算待匹配區域仿射后的模板,之后,利用塊匹配算法,在后續幀中找到此模板的匹配區域,最后利用Telea細紋修復算法完成對匹配區域的修復。如圖3所示,為該智能編輯系統的試驗結果,該圖片序列為電影中截取的片段,其中圖3a為截取片段的第一幀,該試驗的目標是:用戶先在圖像上圈出待修復的區域,即臉頰上的痣;然后該系統自動在后續幀中定位該痣在圖像中的位置,并將其去除。為了說明問題,該系統隨機地選取了智能修復過程中兩幀圖像的跟蹤和修復結果,如圖3b,3c分別為圖像序列第13幀和第76幀的跟蹤結果,圖3d,3e分別為圖像序列第13幀和第76幀的跟蹤并修復的結果。從圖3可以看出,本文設計的數字視頻編輯系統可以很好地對圖像中的小目標進行跟蹤并修復,從而實現了視頻的智能編輯的目的。5數字視頻智能編輯系統文章以視頻制作應用作為切入點,針對視頻拍攝中不可