淺談上海市浦東新區圖像壓縮技術

1高效源圖像的再現形式隨著時間的推移，人們對圖像壓縮處理的要求越來越高。舊標準（如xml）很難適應最新的形勢。在這種背景下，多年來，委員會的專家們一直致力于制定一種新的圖形壓縮國際標準，即xml2000。該基準包含八個部分：第一部分在2000年12月達到國際標準。目標是為2000年使用的系統無知識產權問題。與第二部分相比，它的技術更復雜，性能更好。然而，與之前的一篇文章相比，一些技術與知識產權問題（ipr）有關，因此解碼語言無法解碼與之前的產品解碼有關。其他六個部分的標準化也得到了積極的實施，重點是當今的移動圖像、高質量的標準實施、軟件實施的提供、掃描真實圖像和其他應用程序的格式、安全性、相關性、傳輸協議、三維編碼和其他問題。JPEG2000的優秀之處并不僅僅體現在它對圖像壓縮性能提高上,更為重要的是,它提供了一種全新的圖像再現形式.為了具體地理解這一點,先看一下JPEG2000PART1所支持的特征:(1)改進的壓縮性能;(2)有損壓縮和無損壓縮的能力;(3)多解析度支持;(4)可嵌入的碼流;(5)感興趣區(RegionOfInterest,ROI);(6)對錯誤的魯棒性;(7)對碼流的隨機訪問處理;(8)靈活的文件格式;……這些特征的靈活運用,可以在達到高效壓縮的同時,滿足在移動和網絡環境下對互操作和可伸縮性的要求.而它們的成功實現則在于JPEG2000采用了眾多的最新技術,如離散小波變換(DiscreteWaveletTransform,DWT),EBCOT(EmbeddedBlockCodingwithOptimalTruncation)編碼算法,帶deadzone的量化器等.JPEG2000的需求針對性以及技術先進性保證了它光明的應用前景.2圖像2000年的壓縮過程和原則圖1所示為一個典型JPEG2000PART1的壓縮過程.2.1數據預處理PART1的預處理一般包括三種操作:區域劃分,降低量級,分量變換.2.1.1資源分離過程所需的高效分配,一個是邊緣象素環境信息的缺乏,一個是邊緣象素環境信息的缺乏區域劃分是指將圖像劃分為大小相等的若干區域,對每一區域獨立進行壓縮處理.區域劃分的目的在于要降低壓縮過程所需的內存資源,如果內存足夠,這一步可以忽略.PART1要求劃分的區域是互不重疊的,因為這種劃分是最簡單的,但由此而產生的一個缺點就是邊緣象素環境信息的缺乏,這個問題在PART2中得到了解決(見第5節).2.1.2編碼的0對稱化降低量級是將采樣精度為P的無符號整數減去2P-1,使原來范圍為[0,2P-1]的樣本移位到[-2P-1,2P-1-1]這個關于0對稱的范圍內.這一步在簡化對數值溢出等問題處理的同時,不會影響編碼的效率.2.1.3解壓縮原分量的確定分量變換指對具有多個分量的圖像先通過某種變換降低這幾個分量之間的相關性,提高壓縮效率.目前PART1中主要是對RGB分量采用ICT或RCT,將色彩信息轉換為頻道信息.ICT(IrreversibleColorTransform)定義如下(YCbCr)=(0.2990.5870.114-0.16875-0.331260.5000.500-0.41869-0.08131)×(RGB).???YCbCr???=???0.299?0.168750.5000.587?0.33126?0.418690.1140.500?0.08131???×???RGB???.RCT(ReversibleColorTransform)定義如下Y=[-R+2G+B4]?U=R-G?V=B-G.Y=[?R+2G+B4]?U=R?G?V=B?G.解壓縮時需進行相應的逆變換以恢復原分量的值.2.2分散小波變換ddt2.2.1源信號的集中預處理后的數據將進行離散小波變換,以進一步降低數據之間的相關性.與JPEG采用的離散余弦變換(DCT)相比,DWT具有很好的局部性,能夠針對不同類型特點的圖像中的不同區域采用不同的空-頻分辨率,從而有可能取得更好的壓縮比,而且它還可以提供實現無損壓縮的機制.簡單來講,一維DWT即是對源信號進行了一系列的高通和低通濾波,并在每次濾波后將數據采樣頻率降為原來的一半,以保證每次小波變換后得到的系數與源信號數目相同.每次的低通濾波輸出保存了源信息的低頻信息,它是一個以更低分辨率對源信號的再現,集中了源信號中的大部分能量;而高通濾波輸出保存的則是源信號的高頻信息,如邊界、材質等,其中所含能量很少.一次低通濾波后的信號往往還存在著大量的相關性,為提高壓縮性能,仍需要對它再次濾波,直至信號之間相關性達到可以忽略的程度為止.高通濾波后的信號由于能量很小,再對它進行濾波往往是不劃算的,因而一般不再對它濾波.這種濾波方式(如圖2所示)被稱為dyadic分解,它是JPEG2000PART1唯一支持的分解方式.二維DWT是對一維DWT的簡單擴充,通過將行信號和列信號與高通濾波器h1(n)和低通濾波器h0(n)進行不同的組合,源圖像被劃分為4個子帶.其中唯一的一個低頻子帶仍可以繼續分解,形成如圖3所示的結構.有幾個細節問題需要注意:(1)對邊界信號進行小波變換前,由于缺乏周邊信號的信息,需先對信號進行擴展.具體的擴展方式受到濾波器的影響,一般采取對稱擴展的方式(如圖4所示).(2)DWT內在的提供了一個解決多分辨率問題的機制,對一個N層小波分解的圖像來說,它可以提供N+1種分辨率供用戶選擇,因為每層分解中的kLL都是對源圖像的一個低分辨率再現.(3)DWT是針對整塊區域的,而DCT是針對某個8×8塊的,所以當壓縮率超過一定限度時,JPEG2000可以消除JPEG不可避免的“馬賽克”現象.關于DCT和DWT的差異,有一個形象的比喻:同是壓縮一堵墻,DCT是將每塊磚敲碎了重新組裝再放回原處,而DWT是將整堵墻敲碎了再重新組織.(4)JPEG2000PART1所支持的濾波器組只有兩種,一種是具有較高有損壓縮性能的浮點型的(9,7)濾波器組,另一種是可同時滿足有損無損壓縮需求的整數型的(5,3)濾波器組(無損壓縮的介紹見第2.2.2節).2.2.2基于卷積的濾波JPEG2000支持兩種濾波方式:基于卷積的濾波和基于提升小波的濾波.基于卷積的濾波是傳統方法,它將擴充后的源信號與h0(n),h1(n)作基于內積的點運算,其缺點在于無法即時用離散小波變換系數替換對應點的源信號數據,因此要占用更多的內存;而基于提升小波的濾波可完全消除這一缺點,它的基本思想是先將源信號劃分為奇數信號集合{d0i}和偶數信號集合{s0i0i},然后對它們交替進行預測和更新的操作,依次得到{d1i},{s1i},{d2i},{s2i},…其中{dni},n=0,1,2,…,N保存的是源信號的高頻濾波系數,{sΝi}保存的是低頻濾波系數,并且數值上與相應的基于卷積的濾波系數相等.預測和更新操作的公式分別為dni=dn-1i+∑kΡn(k)sn-1k,n∈[1,2,?,Ν],sni=sn-1i+∑kUn(k)dnk,n∈[1,2,?,Ν].其中,Pn(k),Un(k)分別為預測和更新操作的權重,N代表某次奇數(偶數)信號的獲取所涉及的上一層的偶數(奇數)信號的個數,它的數值因所采用的濾波器族的不同而有所差異,JPEG2000PART1中N取值為2.圖5所示為N=2時的一個基于提升小波的濾波過程.基于提升小波的濾波的另一個特點就是計算簡單,不論是分解或重構都不涉及復雜的內積運算,而且它還提供了無損壓縮的能力.對于基于卷積的濾波,即使是采用整數型的(5,3)濾波器組,隨著分解層數的加深,由于計算機無法為完整的表示濾波系數提供足夠的精度,從而出現信息丟失;而基于提升小波的濾波則可以和量化器結合提供一個整數到整數的壓縮框架,以實現無損壓縮.一個可能的基于提升小波濾波的無損壓縮系統的構成為正變換y(2n+1)=x(2n+1)-[x(2n)+x(2n+2)2]?y(2n)=x(2n)+[y(2n-1)+y(2n+1)+24].逆變換x(2n)=y(2n)-[y(2n-1)+y(2n+1)+24]?x(2n+1)=y(2n+1)+[x(2n)+x(2n+2)2].這個系統得到的濾波系數全為整數,正、逆變換簡單,并且逆變換可完整地恢復出正變換之前的結果,因而可實現無損壓縮.2.3量化器步長b的選擇JPEG2000的量化與JPEG量化基本相同:總體上都是采用均勻量化;不同子帶的量化步長一般不同.JPEG2000的量化器的一個特殊之處在于它引入了一個“deadzone”的概念,在PART1中,對每個子帶的量化器,deadzone的寬度都是其它步長的2倍,如圖6所示.這意味著如果采用步長為Δb的這種量化器并得到長為Mb的量化索引值,那么在解碼過程中,我們可通過選用步長為Δb×2Mb-Ma的量化器來恢復原來的索引值最重要的前Ma位.這樣做的優點就是為我們提供信噪比分級的一個手段:先用較小的步長對信號進行細致的量化,然后依據用戶的需求,采用不同的寬步長(一般為量化步長的2的冪次方倍)進行逆量化,僅解碼原索引中重要性較高的若干位,以提供給用戶不同質量的圖像.JPEG2000量化器的另一個不同在于,解碼時量化索引的逆量化值可取量化器允許范圍中的某個值而不是僅局限在中值點.如果取值策略正確,將有助于提高解碼性能.量化器步長是因子帶而異的,目前有兩種考慮因素:一種是人類視覺對子帶信號的敏感性(HVS的屬性);另一種是依據不同子帶的均方誤差對重建后圖像的總均方誤差的貢獻大小來決定量化步長.量化器步長的傳輸也有兩種方式:一種是類似于JPEG中的q-table,顯式地傳給解碼器;另一種僅傳輸某子帶的量化器步長Δb,其它子帶步長由Δb計算出.2.4標準通用算術編碼第一層編碼和碼流組織第二層編碼2.4.1位平面編碼與多分辨率支持本小節介紹JPEG2000的另一個核心內容——優化截取的嵌入式塊編碼(EBCOT)算法,它是基于小波變換的嵌入式編碼的方法之一.所謂“基于小波變換的嵌入式編碼”是指編碼器將等待編碼的、經過小波變換后的比特流按重要性不同進行排序,提供多個滿足不同目標碼率或失真度的截斷點,使得解碼器方能根據目標碼率或失真度的要求在某一截斷點結束解碼,提供相應質量的圖像.當前這種編碼方法很多,如EZW算法,SPIHT算法等.那么,JPEG2000為何選擇EBCOT呢?JPEG2000非常強調的一點是靈活性,因為它能保證用同一個圖像滿足不同用戶的需求.多分辨率支持和多失真度支持都是靈活性的必然要求.多分辨率支持可通過DWT來實現,多失真度支持則可通過位平面編碼(位平面指將所有數據相同位的數據抽取出來組織到一起)來解決.但是,將這兩種技術結合起來并不能達到“1+1=2”的效果,原因在于位平面編碼過程中往往用到了源信號數據之間的某種相關性來提高編碼效率,即將不同位平面或者不同位置上相關性較強的數據組織到一起進行編碼.這將和多分辨率支持所要求的數據按子帶排列的要求產生沖突,結果是雖然可能取得了多失真度的支持,但無法用同一碼流取得多分辨率的支持,EZW和SPIHT算法均存在著這一問題.而EBCOT中則不會出現這一問題,因為它將源圖像分為若干大小相等的塊,對每塊獨立進行編碼,如果想要得到某分辨率下的圖像就僅僅解碼該分辨率下對應的塊;如果想要得到某失真度下的圖像就僅僅解碼每塊中對應該失真度的部分.它可能產生的缺點是由于沒有利用到源信號數據塊之間的相關性消除冗余而造成壓縮性能降低.事實表明,由于塊編碼可以對每一塊進行獨立優化,因此這種操作帶來的壓縮性能的提高可完全補償上述損失.在進行塊編碼時,JPEG2000強調多截斷點的支持,越多的截斷點,表明圖像可提供更多的質量選擇.如果我們對每塊僅僅進行位平面編碼,那么對于數據最高位數為N的塊,最多可得到的截斷點有N個.很多時候這種截斷是粗糙的而且截斷點數目過少.為了獲得更多的截斷點,EBCOT引入“片段化位平面”的概念,將編碼的邏輯單位進一步細化,對每一個位平面再進行3次掃描,得到3個“片段化位平面”,它們是對原位平面的一個無重復劃分.這樣對某塊Bi來說,可能的截斷點可以有3N個(實際有3N-2個,原因見第2.4.2節).對碼流的組織,EBCOT也有專門的論述.因為若沒有合理的組織,單純的嵌入式編碼并不能保證對多失真度的支持.圖7所示為一種最簡單的碼流組織方式,它的碼流雖然是可嵌入的,但并不能支持多失真度.圖7所示碼流失敗的原因在于它沒有在碼流的組織中加入有關圖像質量分級的輔助信息,而EBCOT中采用了第二層編碼的概念對該信息的提供進行了規范化.2.4.2信號概率的估計JPEG2000PART1的編碼方法采用自適應算術編碼而非JPEG常用的霍夫曼編碼.自適應算術編碼與霍夫曼編碼最大的不同在于它并不是對每個信號產生一個碼值,而是對一個信號序列產生一個碼值;它除了需要獲得信號序列外,還要獲得其中每個信號的預測概率.根據這個概率.將[0,1)區間不斷分割,最后得到的碼值即是最后分割得到的小區間所對應的一個二進制表示.自適應性的獲得在于不斷更新信號的預測概率,使之總是趨近于實際.位平面中點(u,v)的信號對應預測概率的獲得需要考慮該點周圍各點的信號分布以及該點在高位平面的信號分布.在EBCOT中,這些分布情況是由顯著位來指示的.顯著位在初始時(即對某塊最高位平面編碼時)全置為0,當編碼時得到非0數據時,它將立即由0變為1.在編碼的某個時刻顯著位σ(u,v)標志該點已編碼數據的值若為0,則σ(u,v)=0;若大于0,則σ(u,v)=1.下面介紹對某塊進行自適應算術編碼所需的3次掃描中的具體內容(掃描的次序如圖8所示,掃描每列高為4個象素,這也是塊高度的最小值).(1)ebcot編碼原則本次掃描的編碼對象是當前狀態位為0,且其直接相鄰8個系數的狀態位至少有一個為1的樣本,即在當前位平面中最有可能成為“顯著”(顯著位為1)的那些“不顯著”樣本.根據文獻,它們單位數據包含的信息量最大,而EBCOT的編碼原則是將最有價值的信息優先編碼,使得在文件大小一定的情況下取得最小的失真度.這些樣本直接相鄰的8個樣本的狀態位作為“上下文”提供給編碼器,編碼器根據“上下文”選擇一種預測概率對其進行算術編碼.σ(u,v)要即時反映(u,v)點最近被編碼位的變化,它將影響下面待掃描點的“上下文”,進而影響編碼,這也是本次掃描名稱中“傳播”的由來.另外,在某樣本變為顯著時,要對它的正負號立即進行編碼,編碼過程類似于上述的數值編碼.(2)顯著編碼過程對當前狀態位為1,但沒有被第一次掃描編碼過的樣本進行編碼,這些樣本的高位字節是“顯著”的,包含的信息量也較大.編碼過程類似于“顯著性傳播”掃描.(3)“不顯著”的局部編碼將所有剩下的未編碼的樣本進行編碼.由于本次編碼的數據都是“不顯著”的,所以可采用一種稱為“run模式”的編碼模式.其原理是將一列4個樣本作為一個整體進行編碼,如果這4個樣本同是“不顯著”的(即都屬于本次掃描),就可以僅用一個二進制符號來代表;如某列中至少含有一個“顯著”樣本,在標記了第一個“顯著”樣本的位置后,立即停止“run模式”,改用前兩次的編碼方式進行編碼.當在編碼過程中某樣本成為“顯著”時,同樣需對其進行正負號編碼.由于在初始化編碼時,所有的狀態位均被置為0,因此沒有前兩次掃描.這樣,對量化索引最高位為N的塊,可能的截斷點有3N-2個.2.4.3圖像碼流的采用以上三種掃描的次序是固定的,它反映的核心思想是把位平面上不同位置的樣本按其包含的信息量分級,然后依次編碼.這種編碼方式是碼流可支持多失真度的基礎,但是采用這種編碼方式得到的碼流并不保證一定支持多失真度的圖像再現,圖7所示為一個反面的例子.JPEG2000采用層來組織碼流,它的功能是提供有關圖像質量分級的信息.第一層Q0摘取了每一塊中的某一部分,并滿足當總長度受限的情況下,各塊失真度之和最小,即在∑ilz0ii≤l0max時,D0=∑iDz0ii最小(z0i指塊i對應Q0層的截斷點;lz0ii指塊i中對應Q0層的部分長度;Dz0ii指塊i中對應Q0層的部分失真度).而接續的某層Qn則取每一塊中的長為lznii-lzn-1ii的附加部分,并滿足在∑ilznii≤lnmax情況下,Dn=∑iDznii最小.圖9所示為一個3層圖像碼流的組織.JPEG2000為了更好地表達這種分層的思想,又引入了幾種中間邏輯結構,即Princt和包.Princt指某一分辨率下空間某連續區域在所有子帶中對應塊的集合;而包則包括由某個Princt中所有塊的一次或者幾次掃描后得到的碼流中的一個連續片段,它是編碼的邏輯單位,并采用包頭封裝了必要的邏輯信息.而層就是以包為單位組成的.為了在不同的分辨率下明確指示同一塊空間區域,JPEG2000采用了Canvas坐標系統,它在實質上與分形編碼中的碼表是一樣的.在這種坐標系統中,空間的矩形區域是由該矩形左上角的坐標和它的長寬來指定的,不同分辨率下的同一塊空間區域的左上角坐標和長度可以相互換算.例如,在分辨率為64×64的圖像中,左上角頂點坐標(x0,y0)為(31,31),長寬(xsize,ysize)為(32,32)的矩形區域,在分辨率為32×32時(x0,y0)為(15,15),(xsize,ysize)為(16,16).除了定位空間區域外,Canvas坐標系統還有利于裁剪操作,因為對坐標原點以上部分和以左部分的裁剪,并不影響剩余部分的坐標,無需重新編碼.圖10所示為Princt和塊、子帶之間的關系.綜上所述,包需要4個參數來指定,即分量(Component),分辨率(Resolution),層(Layer),Princt.這樣,包的組織就可以有若干種順序,如Layer-Resolution-Component-Princt,Resolution-Princt-Component-Layer,Component-Princt-Resolution-Layer等,而每一種組織順序意味著對某類應用更好的支持.如Component-Princt-Resolution-Layer的組織順序對圖像庫的應用是很有利的,因為可以方便地得到不同質量的圖像.與JPEG標準相比,這種以包為基礎的編碼和解碼方式非常靈活,從一種應用到另一種應用只需對包進行重新排列,并不需要重新解碼、逆變換這樣的復雜操作.3圖像2000年的主要功能包括多個重要函數本小節著重介紹基于以上壓縮過程的JPEG2000一些重要功能及其實現.3.1拉格朗日r-d優化方法多失真度支持的實現方法如下:方法1.量化時采用一個很小的步長,對變換系數進行最細致的量化,而在逆量化時采用不同的寬步長(一般為量化步長的2的冪次方倍),舍棄量化索引中不重要位上的信息,滿足不同用戶對圖像質量的要求.方法2.充分利用EBCOT中層的概念,對某一特定目標碼率,僅解碼相關層所含的包,從而達到在一定文件大小的限制下,對圖像的最佳再現.實施這一方法的前提是層組織的正確性,JPEG2000采用拉格朗日R-D優化方法確保了這一點.第2.4.3節對層的描述說明的即是該方法的一般過程,具體實現見文獻.3.2roi構建用戶體驗在實際應用中,用戶可能需要圖像中的某些特定區域能以較其它部分更高的質量進行編碼、解碼,或者在圖像顯示過程中對這些區域實行優先顯示,JPEG2000通過提供一種稱為感興趣區的功能來滿足用戶的這種需求.ROI的壓縮過程如下:(1)確定圖像中用戶感興趣的區域.(2)用ROI掩膜指明這些區域.在背景區域,其值為0;在ROI區域,其值為1.(3)在編碼前,將ROI內的系數加倍(或將背景系數減倍)以提高ROI內數據(或降低背景數據)編碼精度.其余過程同第2節所述.在解壓縮時,要將ROI區域信息以及系數加倍(或背景系數減倍)信息傳遞給解碼器,以恢復原系數值.JPEG2000具體實現ROI采用的Maxriff方法與上文略有不同,它先找到背景區域變換系數的最高位數s,而后將所有背景系數除以2s,確保即使ROI內系數最小的值也比背景系數大,使得解碼時先解碼ROI內系數,再將背景系數擴大2s倍后進行解碼.它的優點在于無需顯式地傳遞ROI區域信息給解碼器.3.3編碼和碼流組織JPEG2000最大的容錯性是由EBCOT提供的.EBCOT采用的獨立編碼確保某塊內的錯誤不會擴散到其它塊中,并且在進行某“片段化位平面”掃描前,“上下文”對應的概率分布都要重置,以確保上一個“片段化位平面”掃描的錯誤不會影響到下一次掃描的結果.除此之外,JPEG2000還從碼流組織上提供了容錯的手段.如對某位平面編碼,JPEG2000規定在每一次Cleanup掃描過后,編碼器都應在其后加入“1010”標志;解碼時如未能正確取得此標志,說明該位平面的碼流中存在錯誤.同時在第二層編碼中,JPEG2000對每一個包進行了記數,確保包頭和包的數據能夠正確對應起來,提高魯棒性.3.4種為用戶而的文件格式每種圖像文件格式的主要內容就是對顏色空間的定義和元數據的嵌入.JPEG2000PART1中對此作了非常靈活的規定.PART1提供了一種稱為JP2的文件格式.它對顏色空間的定義有兩種方式:一是強調互動性,僅提供了兩種顏色空間,即RGB和灰度級;另一種則強調靈活性,提供了一種描述顏色空間變換的數據結構,允許用戶自定義空間.對元數據的嵌入也有兩種定義方式:采用UUID(UniversalUniqueIdentifier)的方式和采用XML的方式.無論采用哪一種方式,元數據在文件中嵌入的位置都是隨意的.4這一變量的形態由于JPEG委員會考慮到計算復雜度、編碼效率以及知識產權的問題(JPEG委員會希望JPEG2000PART1沒有涉及知識產權問題),因此很多技術并沒有放到PART1中,而是被吸收到在2001年12月份成為國際標準的PART2中.總地來講,PART2是對PART1的一個深入和提高.PART2中與PART1相關的一些技術特點簡介如下:(1)數據預處理在PART1的區域劃分中,劃分出來的空間區域是不能重疊的;在PART2的區域劃分中,劃分出來的空間區域是可以重疊的,雖然這樣會帶來計算上的復雜度,但它消除了邊緣信息的缺乏.在PART1的量級降低中,針對某一個區域劃分出來的區域,變換系數僅僅允許減去2s-1(s為該區域中變換系數的最高位);在PART2中,這一數值更加一般化,并不局限于某個值.在PART1的分量轉換中,僅允許對RGB分量進行ICT和RCT兩種轉換;在PART2中,允許對多分量進行變換,并且提供了對多分量去除相關的一般方法.(2)量化在PART1的量化中,各子帶的量化器的結構都是一樣的(deadzone的寬度都是其它索引位置步長的2倍);在PART2的量化中,各子帶的deadzone的寬度可以是其它索引步長的x倍(1≤x≤2),以更好地體現子帶之間的差異性.(3)DCT在PART1的DCT中,僅對kLL(k=0,1,2,…,N)繼續分解以降低相關性;在PART2中,其它子帶(kLH,kHL,kHH,k=0,1,2,…,