1、基于提升技術(shù)的三維小波視頻時域濾波方案設(shè)計姜婷安徽經(jīng)濟(jì)管理學(xué)院 安徽 合肥 230059摘要:提出了一種新的三維小波視頻時域濾波方案。通過小波提升技術(shù)實現(xiàn)運動補(bǔ)償時域濾波,編碼效率因為自適應(yīng)濾波方式和子象素運動補(bǔ)償?shù)氖褂枚蟠筇岣摺嶒灲Y(jié)果證明,該方案能較為有效地提高時域濾波后零系數(shù)的個數(shù)，為后面的熵編碼中實現(xiàn)較高的壓縮率提供了可能。關(guān)鍵詞:視頻編碼；運動補(bǔ)償；提升小波；時域濾波中圖分類號: TN 919.81文獻(xiàn)標(biāo)識碼: BDesign of 3-D Wavelet Video temporal filter Based On lifting filter implementation Ji

2、ang TingAnhui Economic Management College, Hefei 230059Abstract: A new temporal filter of 3-D wavelet video is described. The motion compensated temporal filtering process is achieved in terms of the concept of lifting filters. The coding efficiency is improved due to the use of adaptive filtering a

3、nd accurate subpixel motion compensation. The experimented results show that the proposed system can effectively improve the number of zero coefficients after temporal filtering. So it is impossible to achieve a better compress ratio in the entropy codec. Keywords: video coding; motion compensation;

4、 lifting wavelets; temporal filtering1 引言隨著網(wǎng)絡(luò)與通信技術(shù)的飛速發(fā)展，新的多媒體通信業(yè)務(wù)不斷出現(xiàn)。作為多媒體重要組成部分的視頻，其有效通信與存儲有著非常重要的意義。在視頻業(yè)務(wù)的開發(fā)過程中,視頻信息的數(shù)據(jù)量非常龐大。這樣大的數(shù)據(jù)量，無疑給存儲器的存儲容量、通信干線的信道傳輸速度和計算機(jī)的速度都增加了極大的壓力，所以高效的編碼技術(shù)已成為視頻技術(shù)得以進(jìn)一步發(fā)展的關(guān)鍵所在。三維小波視頻編碼技術(shù)12是實現(xiàn)視頻有效壓縮和編碼的重要方法之一，其中，含運動補(bǔ)償?shù)娜S小波視頻編碼是二維空間小波圖像壓縮向三維視頻空間的推廣。這種方案一般由幀間的時域濾波、幀內(nèi)的空域濾波和熵

5、編碼組成。本文基于這種結(jié)構(gòu)，在時域濾波方面提出了改進(jìn)方案。該方案使用羅琳提出的MCLIFT34幀結(jié)構(gòu)，在對序列幀進(jìn)行幀間時域變換時,不是對各幀中同一坐標(biāo)的象素進(jìn)行,而是對各幀中由運動矢量聯(lián)系起來的象素進(jìn)行。時域濾波采用小波提升技術(shù)進(jìn)行,高頻幀由提升技術(shù)中的預(yù)測步驟(prediction step) 來生成,根據(jù)運動估計的情況,可以自適應(yīng)地采用雙向濾波、前向濾波或后向濾波。同時,運動估計精度可以達(dá)到任意的子象素精度,它保證了時域濾波的有效性,進(jìn)而提高了整個系統(tǒng)的編碼效率。 2 基于提升技術(shù)的三維小波視頻時域濾波方案2.1 含運動補(bǔ)償技術(shù)的三維小波視頻編碼方案含運動補(bǔ)償技術(shù)的三維小波視頻編碼方案的

6、系統(tǒng)框圖如圖1 5所示。視頻序列首先根據(jù)運動估計得到運動矢量,根據(jù)運動矢量進(jìn)行運動補(bǔ)償時域提升濾波,然后對經(jīng)過濾波后的每一幀數(shù)據(jù)進(jìn)行空域變換，最后對小波系數(shù)熵編碼,并與運動矢量信息一起封包輸出。本文將對該編碼方案的時域濾波部分進(jìn)行探討和改進(jìn)。視頻源基于運動補(bǔ)償和提升的幀間(時域)濾波幀內(nèi)空域變換熵編碼碼流圖1 基于運動補(bǔ)償?shù)娜S提升小波視頻編碼總體框圖2.2 小波提升算法傳統(tǒng)的基于卷積的小波變換的缺點是計算量大，計算復(fù)雜程度高，對于存儲空間的要求高，不利于硬件實現(xiàn)。提升算法是一種更為快速有效的小波變換實現(xiàn)方法，它不依賴于傅立葉變換，被譽為第二代小波變換67。簡單說來，提升方案把小波變換過程分為

7、三個階段：分解（Split）、預(yù)測(Predict)、更新(Update)。任何離散小波變換都可以被分解成一系列簡單的提升步驟，通過預(yù)測和更新兩個提升環(huán)節(jié)實現(xiàn)信號高低頻的分離，由于信號局部相關(guān)性，某一點的信號值可以根據(jù)相鄰信號的值由適當(dāng)?shù)念A(yù)測算子預(yù)測出來，而這種預(yù)測所產(chǎn)生的誤差就是高頻信息，這個過程稱為預(yù)測環(huán)節(jié)；預(yù)測環(huán)節(jié)得到的高頻信息又通過更新算子來調(diào)整信號的下抽樣來得到低頻信息，這個過程稱為更新環(huán)節(jié)。本文的運動補(bǔ)償時域濾波就是以提升小波技術(shù)為基礎(chǔ)，提升公式為： (1)當(dāng)a=-1/2, b = 1/4時，此變換即為W5/3提升小波變換。2.3 本文采用的幀結(jié)構(gòu)本文的方案使用了羅琳在MCLIFT

8、方案提出的幀結(jié)構(gòu)。幀結(jié)構(gòu)如圖2所示，其中F0-F7為一個GOP的8個幀，F(xiàn)8為下一個GOP的第一幀。F0, F1,，F(xiàn)8是原始視頻序列中的9幀。F0和F8是未經(jīng)提升的，把它們標(biāo)記為A幀。F4是以F0和F8為參考幀(兩個A幀)提升得來，稱之為B幀。同樣的，F(xiàn)2和F6以相鄰的兩個A和B幀為參考幀提升得來，稱為C幀。而F1,F3、F5和F7各自以相鄰的A, B, C幀做為參考幀提升而來，稱為D幀。在三維小波提升變換中，D, C, B幀分別對應(yīng)了第一、第二和第三級提升小波變換。圖2 本方案使用的MCLIFT幀結(jié)構(gòu)2.2本文采用的時域濾波方案本文方案中在研究了MPEG方案的I幀、B幀及P幀的特點的基礎(chǔ)上

9、參考8提出了新的預(yù)測方法，公式如下： (2)通過計算函數(shù)中三式中最小值確定是使用雙向、前向還是后向預(yù)測。本文在選擇運動補(bǔ)償提升算法時，為了減少運動向量的數(shù)目，在時間軸分析中使用了“截短的5-3小波濾波器(truncated 5-3 filter)”。截短的小波中濾波器只有提升參數(shù)a=-1/2的高通濾波，而省略了小波提升過程的第二步(低通濾波)。這樣，本文的幀間濾波方案總結(jié)如下：運動補(bǔ)償時域提升濾波以W5/3小波的提升方案為基礎(chǔ)。高頻幀根據(jù)運動估計得到的運動向量由提升方案生成，低頻幀則為對應(yīng)的原始視頻幀。圖3為高頻幀的生成方式，其中當(dāng)前幀(B)經(jīng)濾波后將成為高頻幀，首先對當(dāng)前幀進(jìn)行運動估計，并根

10、據(jù)運動估計的匹配情況（如式1所示）來決定采用雙向濾波、前向濾波和后向濾波中的哪一種濾波方式。圖3 高頻幀生成方式3 實驗結(jié)果及分析3.1 實驗過程 (1）將視頻序列劃分為一系列的圖像組(Group of Picture，簡稱GOP)，每個圖像組由8幀組成，幀結(jié)構(gòu)采用了羅琳在MCLIFT方案中提出的結(jié)構(gòu)，如圖2所示。分組后以GOP為編碼單元進(jìn)行獨立的變換。時域濾波沿時間軸進(jìn)行3級提升小波分解（使用W5/3為小波基）。(2)運動估計(Motion Estimate)將圖像分為16*16（也可以取其它值） 的宏塊，以宏塊為單位在參考幀中找出待編碼幀的匹配塊。在此部分采用較先進(jìn)的菱形搜索法(DS),該

11、方法目前已應(yīng)用于MPEG4的運動估計中。(3)運動補(bǔ)償(Motion Compensation)經(jīng)運動估計后求得運動向量(motion vector)，將該運動向量加上原圖像得到運動補(bǔ)償圖像(Motion Compensated Image)(4)求差值該步驟是提升小波的預(yù)測步驟。將原圖像與運動補(bǔ)償圖像求差值，按前向、后向以及雙向的差值最小決定濾波方向。同時為了重構(gòu)時能夠較好地復(fù)原原值，需要將濾波方向的情況（本文定義為方向因子）放到一個數(shù)組中，數(shù)組為兩維數(shù)據(jù)，行列為圖像宏塊的塊號，即濾波方向的選擇以宏塊為單位。在求差值部分使用了小波提升技術(shù)，小波基為雙正交5/3小波。(5)輸出經(jīng)時域濾波輸出的

12、是運動向量、差值和方向因子以及參考幀（即每個GOP的第一幀）。重構(gòu)輸出的量，將其與原始視頻進(jìn)行比較。3.2 實驗結(jié)果(1)使用本文方案及McLift對Caltrain的第5、22幀進(jìn)行變換再重構(gòu)的幀與原幀圖像比較如圖4和圖5: 圖4 第5幀比較圖 圖5 第22幀比較圖(2)取Caltrain視頻序列的7幀進(jìn)行兩種方法的比較，結(jié)果如表1，其中Num指經(jīng)時濾（幀間）濾波后輸出的原圖像與運動補(bǔ)償圖像的差值矩陣中系數(shù)為零的數(shù)量，PSNR為重構(gòu)圖像與原幀圖像的比較結(jié)果：表5-1 Caltrain視頻序列實驗結(jié)果第5幀（B幀）第10幀(D幀)第13幀(B幀)第16幀（D幀）第19幀(C幀)第22幀（D幀）

13、第27幀（C幀）NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案1407731.811509437.911407532.371316738.491216235.291269638.661294133.96McLift9528159.6213532159.629259159.6212151159.6210006159.6211945159.6210449159.62（3）使用本文方案及McLift對Alex的第3、28幀進(jìn)行變換再重構(gòu)的幀與原幀圖像比較圖如圖6和圖7：圖6 Alex第3幀對比圖圖7 Alex第28幀對比圖(4) 取Alex

14、視頻序列的7幀進(jìn)行兩種方法的比較，結(jié)果如表5-2：表5-2 Alex視頻序列實驗結(jié)果第3幀(C幀)第13幀(B幀)第15幀(C幀)第18幀(D幀)第21幀(B幀)第24幀(D幀)第28幀(D幀)NumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNRNumPSNR本文方案4324046.634051548.274197449.173889261.614237549.233887958.663980452.99McLift38857157.3237813157.3238917157.3237876157.3238741157.3237602157.3237143157

15、.323.3 實驗結(jié)果分析從以上實驗結(jié)果可以看出：（1）本方案比McLIift方案在時域濾波部分生成的原圖像與運動補(bǔ)償圖像的差值矩陣可以得到更多的零系數(shù)。而差值矩陣的零系數(shù)作為時域（幀間）濾波經(jīng)過之后的幀內(nèi)分解之后可以在最后的熵編碼中進(jìn)行消除，從而保證了比McLift更高的壓縮率。(2)在本方案的 B、C、D三類幀中，重構(gòu)的D幀PSNR值最高，其次是C幀，最低的是B幀。D、C、B分別對應(yīng)時域濾波的一級、二級、三級提升，通過觀察數(shù)據(jù)可以看出，本方案是隨著提升級別PSNR降低，同時0系數(shù)增多。說明本方案在失真度提高的同時，壓縮率也被提高了。事實上，逼真度和壓縮率一直是視頻編碼器需要兼顧又相互矛盾的

16、兩方面。（3）由于Mclift方案使用雙向濾波所以可以充分考慮小波的平滑性，PSNR比本方案高很多，而且每一級的PSNR都是一樣的，這說明雙正交5/3小波用于雙向預(yù)測的時域濾波時能夠比較好地降低失真度。4 小結(jié)本章介紹了一種新的三維小波視頻編碼器的構(gòu)架并實現(xiàn)了該方案的改進(jìn)部分：時域（幀間）濾波。研究表明，該編碼器在能夠較為有效地提高輸入視頻經(jīng)時域濾波后零系數(shù)的個數(shù)，為后面的熵編碼中實現(xiàn)較高的壓縮率提供了可能。參考文獻(xiàn)1 Tseng Y H , Shih H K, Hsu P H. Hyperspectral image compression using three dimensional w

17、avelet transformation A . The 21st Asian Conference on Remote SensingC, 2000:809-814.2 楊春玲,余英林.基于三維小波變換嵌入式視頻壓縮算法的研究J .電子學(xué)報, 2001,29 (10):1381-1375.3 Luo Lin, Li Jin, Li Shipeng, Zhuang Zhenquan, and Zhang Ya-Qin . Motion compensated lifting wavelet and its application in video codingC/, IEEE Int. Co

18、nf on Multimedia and Expo (ICME 2001), Tokyo, Japan,2001: 481-484.4 Luo Lin, Li Jin, Li Shipeng,and Zhuang Zhenquan. A motion compensated lifting wavelet codec for 3D video coding. J. Comput Sci & Technol. Mar. 2003,18(2): 214-222.5 區(qū)騁.基于運動補(bǔ)償技術(shù)和三維小波變換的視頻編碼器研究D.廣西大學(xué)計算機(jī)系,2004.6 SWELDENS W. The lifting scheme: A construction of second generation wavelet