1、第第8 8講講 圖像及視頻編碼標準圖像及視頻編碼標準v靜態圖像壓縮標準靜態圖像壓縮標準 JPEGv視聽會議壓縮編碼標準視聽會議壓縮編碼標準H.261v低碼率視聽會議壓縮編碼標準低碼率視聽會議壓縮編碼標準H.263v動態圖像壓縮標準動態圖像壓縮標準 MPEGJPEG壓縮標準壓縮標準u對于靜止圖像壓縮標準有：對于靜止圖像壓縮標準有：JPEG、JBIG、G3、G4，其中其中JPEG標準是一個用于灰度或彩色圖像的壓縮標準標準是一個用于灰度或彩色圖像的壓縮標準，包括無損和有損模式。，包括無損和有損模式。uJPEG適用于不太復雜或一般取自真實景象的圖像壓縮適用于不太復雜或一般取自真實景象的圖像壓縮。例如用

2、于黑白及彩色照片、彩色傳真和印刷圖片，可。例如用于黑白及彩色照片、彩色傳真和印刷圖片，可以支持很高的圖像分辨率和量化精度。以支持很高的圖像分辨率和量化精度。u JPEG標準提供兩種編碼方法：基于標準提供兩種編碼方法：基于DCT的有損壓縮的有損壓縮編碼和基于線性預測無損壓縮編碼。編碼和基于線性預測無損壓縮編碼。u規定了規定了4種運行模式，以滿足各種需要：順序編碼、遞種運行模式，以滿足各種需要：順序編碼、遞增編碼、無損編碼、分層編碼。增編碼、無損編碼、分層編碼。u 基于線性預測和霍夫曼編碼，壓縮比很低，一般基于線性預測和霍夫曼編碼，壓縮比很低，一般為為2：1，主要為了滿足一些無損壓縮的應用要求。，

3、主要為了滿足一些無損壓縮的應用要求。u 硬件實現容易，重建圖像質量好，可以完全恢復硬件實現容易，重建圖像質量好，可以完全恢復JPEG無損預測編碼框圖無損預測編碼框圖 JPEG的基于的基于DCT的壓縮編碼算法包括基本系統和增的壓縮編碼算法包括基本系統和增強強 系統，并定義了順序方式和遞增方式。基本系統只系統，并定義了順序方式和遞增方式。基本系統只采用順序工作方式，熵編碼時只能采用霍夫曼編碼，采用順序工作方式，熵編碼時只能采用霍夫曼編碼，且只能存儲兩套碼表。且只能存儲兩套碼表。通常，通常，JPEG的一幀源圖像包含有的一幀源圖像包含有1255個圖像成分，個圖像成分，稱為顏色平面或組元。在源圖被分成顏

4、色組元后，進稱為顏色平面或組元。在源圖被分成顏色組元后，進一步將各個組元分成一步將各個組元分成88數據元數據元(即像素塊即像素塊)，并按產生，并按產生的順序傳送給編碼器進行處理。每個數據元的處理次的順序傳送給編碼器進行處理。每個數據元的處理次序是：從左到右，從上到下逐一組元進行。這就是所序是：從左到右，從上到下逐一組元進行。這就是所謂的謂的“之之”字形順序字形順序(即非交錯順序即非交錯順序) 。 JPEGJPEG定義了定義了“數據元數據元”的概念。在基于的概念。在基于DPCMDPCM的的CodecCodec中，一個樣本點就是一個數據元；在基于中，一個樣本點就是一個數據元；在基于DCTDCT的的

5、CodecCodec中，一個中，一個8 88 8樣本塊是一個數據元。樣本塊是一個數據元。像素塊和像素塊和“之之”字形處理順序字形處理順序(a(a）8X88X8像素塊；像素塊；(b)(b)“之之”字形順序字形順序 基于基于DCT編碼的過程為：先進行編碼的過程為：先進行FDCT，再對輸出，再對輸出的的DCT系數進行量化，目的是去除無明顯視覺意義的系數進行量化，目的是去除無明顯視覺意義的高頻信息。對量化后的高頻信息。對量化后的DC和和AC系數進行系數進行DPCM編碼編碼或行程編碼，最后進行熵編碼。編碼框圖如圖：或行程編碼，最后進行熵編碼。編碼框圖如圖： 源圖像源圖像數據數據塊塊準準備備8 88 DC

6、T8 DCT正變換正變換(FDCT(FDCTJPEGJPEG編碼器編碼器 編碼步驟：編碼步驟：塊準備：塊準備：塊準備將一幀幀圖像分成塊準備將一幀幀圖像分成88的數據塊，的數據塊，為了滿足為了滿足DCT變換過程的要求，塊準備根據圖像的大變換過程的要求，塊準備根據圖像的大小化分出亮度塊和色差塊，同時將原始圖像的采樣數小化分出亮度塊和色差塊，同時將原始圖像的采樣數據從無符號整數變為有符號整數，以此作為據從無符號整數變為有符號整數，以此作為FDCT的輸的輸入。入。FDCT：由由FDCT將源圖像將源圖像88數據塊進行變換，利數據塊進行變換，利用變換公式進行，圖象經過變換后，將每個數據塊的用變換公式進行，

7、圖象經過變換后，將每個數據塊的數據空間從空間域變換到頻率域，輸出數據空間從空間域變換到頻率域，輸出64個個DCT變換變換系數，包括一個系數，包括一個DC系數和系數和63個個AC系數。系數。量量 化：化：量化器對每個量化器對每個DCT系數進行量化處理，達到系數進行量化處理，達到壓縮的目的。量化表由開發者制定，輸入編碼器。壓縮的目的。量化表由開發者制定，輸入編碼器。JPEG量化采用非線性均勻量化，量化公式為：量化采用非線性均勻量化，量化公式為： CQ（u,v）= integer 其中其中F(u, v)為為DCT系數，系數，Q(u,v)是量化器步長，是量化是量化器步長，是量化表中的元素。表中的元素。

8、DCT系數的編碼：系數的編碼：64個變換系數中，個變換系數中，DC系數位于左上系數位于左上角，即角，即u=v=0，稱為，稱為DC分量，是分量，是64個圖像采樣的平均個圖像采樣的平均值，其余值，其余63個系數為個系數為AC分量，量化后通常出現較多的分量，量化后通常出現較多的零值。相鄰的零值。相鄰的88塊之間的塊之間的DC系數具有很強的相關性系數具有很強的相關性，因此，因此JPEG中對中對DC系數采用系數采用DPCM編碼，即相鄰塊編碼，即相鄰塊之間的之間的DC系數差值為系數差值為DCjDCj-1，并且按照，并且按照Z字形次字形次序進行編碼。序進行編碼。熵編碼熵編碼經過經過DPCM編碼的直流項和經過

9、行程編碼的交流項仍然編碼的直流項和經過行程編碼的交流項仍然可以壓縮，可以壓縮，JPEG可以使用霍夫曼編碼或自適應二進制算可以使用霍夫曼編碼或自適應二進制算術編碼，對第一個字節進行編碼，幅值字節不作編碼直接術編碼，對第一個字節進行編碼，幅值字節不作編碼直接傳送。傳送。 壓縮比和圖像質量壓縮比和圖像質量基于基于DCT的的JPEG標準的壓縮是有失真的，重要原因是標準的壓縮是有失真的，重要原因是DCT變換后系數量化所引起的，壓縮效果與圖像內容本變換后系數量化所引起的，壓縮效果與圖像內容本身有較大關系。身有較大關系。 不同之處在于累進方式中每個圖像分量的編碼要經過多不同之處在于累進方式中每個圖像分量的編

10、碼要經過多次掃描才完成。次掃描才完成。這種運行模式的優點是可生成預顯示的這種運行模式的優點是可生成預顯示的圖像，而無需對該圖像完全解碼，可迅速傳輸和顯示圖圖像，而無需對該圖像完全解碼，可迅速傳輸和顯示圖像。像。 有兩種對量化有兩種對量化DCTDCT系數編碼的方法：頻譜選擇和位先逼系數編碼的方法：頻譜選擇和位先逼近。近。提供提供一種一種“金字塔金字塔”式分辨率圖像編碼，即對一幅原始式分辨率圖像編碼，即對一幅原始圖像的空間分辨率進行變換，使分辨率在水平和垂直方圖像的空間分辨率進行變換，使分辨率在水平和垂直方向分辨率以向分辨率以2 2倍因子下降。這種運行模式很適合于用低倍因子下降。這種運行模式很適合

11、于用低分辨率設備處理高分辨率圖像的應用。分辨率設備處理高分辨率圖像的應用。JPEG-2000JPEG-2000特點：特點： 支持有損和無損壓縮支持有損和無損壓縮有有5 5種層次的編碼形式，支持種層次的編碼形式，支持“感興趣區域感興趣區域”的的壓縮質量壓縮質量支持各種線速度，可以不同的分辨率及壓縮率發支持各種線速度，可以不同的分辨率及壓縮率發送圖像，支持先傳輸圖像的輪廓，然后逐步傳輸數送圖像，支持先傳輸圖像的輪廓，然后逐步傳輸數據的方式的漸進傳輸方式，并且能提供高壓縮率和據的方式的漸進傳輸方式，并且能提供高壓縮率和高信噪比。高信噪比。 JPEG-2000JPEG-2000系統還具有穩定性好，運行

12、平穩，抗系統還具有穩定性好，運行平穩，抗干擾性好，易于操作等特點干擾性好，易于操作等特點JPEG-2000JPEG-2000的技術的技術 u 在編碼算法上，在編碼算法上，JPEG-2000JPEG-2000采用以小波變換為主的采用以小波變換為主的多解析編碼方式，包括離散小波變換（多解析編碼方式，包括離散小波變換（DWTDWT）和）和bit bit plainplain位簡易算術編碼（位簡易算術編碼（MQ coderMQ coder）。）。 采用新的小波變換，原因是因為采用新的小波變換，原因是因為余弦變換考察的是全局特征余弦變換考察的是全局特征。即考察整個時域過程的頻域特征或整個頻域過程的時域特

13、征，因即考察整個時域過程的頻域特征或整個頻域過程的時域特征，因此比較適合于平穩過程，但不適合于非平穩過程。在此比較適合于平穩過程，但不適合于非平穩過程。在JPEGJPEG中是靠中是靠丟棄頻率信息來實現壓縮的，因而圖像的壓縮率越高，頻率信息丟棄頻率信息來實現壓縮的，因而圖像的壓縮率越高，頻率信息被丟棄的越多。在極端情況下，被丟棄的越多。在極端情況下，JPEGJPEG只保留了反映圖像輪廓的基只保留了反映圖像輪廓的基本信息，而損失精細全部的圖像細節。本信息，而損失精細全部的圖像細節。小波變換考察的是局部特征小波變換考察的是局部特征，既能考察局部時域過程的頻域特征，既能考察局部時域過程的頻域特征，又能

14、考察局部頻域過程的時域特征，因此也適合于非平穩過程。又能考察局部頻域過程的時域特征，因此也適合于非平穩過程。它能將圖像變換為一系列小波系數，這些系數可以被高效壓縮和它能將圖像變換為一系列小波系數，這些系數可以被高效壓縮和存儲，此外，小波的粗略邊緣可以更好地表現圖像，因為它消除存儲，此外，小波的粗略邊緣可以更好地表現圖像，因為它消除了了DCTDCT壓縮普遍具有的方塊效應。壓縮普遍具有的方塊效應。動態圖像壓縮標準動態圖像壓縮標準vMPEG標準標準 由由MPEG（Moving Picture Experts Group）制）制定定 MPEG-1 | MPEG-2 | (MPEG-3) | MPEG-

15、4 | MPEG-7 | MPEG-21 vITU-T標準標準 由由VCEG（Video Coding Experts Group）制）制定定 H.261 | (H.262) | H.263 | H.263v2 | H.264 vDVI標準標準vH H263263是一種低數碼率下的運動圖像編碼標準，是一種低數碼率下的運動圖像編碼標準，它在它在H H261261的基礎上進行適當的擴展，主要是用的基礎上進行適當的擴展，主要是用于支持低數碼率下的視聽信號傳輸服務的。于支持低數碼率下的視聽信號傳輸服務的。v典型的應用有：在典型的應用有：在V.34 ModemV.34 Modem的連接上采用的連接上采用

16、20kb20kbs s速率傳輸視頻信號；采用速率傳輸視頻信號；采用6 65kb5kbs s速率傳輸速率傳輸音頻信號。音頻信號。vH.263H.263吸取了吸取了MPEGMPEG的經驗對的經驗對H H261261進行改進，主進行改進，主要進行的擴展：將圖像格式由兩種增加到五種、要進行的擴展：將圖像格式由兩種增加到五種、對運動補償預測進行改進和精化以及支持雙向運對運動補償預測進行改進和精化以及支持雙向運動補償預測等。動補償預測等。標準標準時間時間名稱名稱應用應用MPEG-11993適用于適用于1.5Mbps以下數以下數字存儲媒體的運動圖像字存儲媒體的運動圖像及伴音編碼及伴音編碼CD-ROM、DAT

17、、硬盤、硬盤、IDSN、局域網、局域網MPEG-21994活動圖像及其伴音通用活動圖像及其伴音通用編碼編碼多媒體計算機、多媒體數多媒體計算機、多媒體數據庫、多媒體通信、常規據庫、多媒體通信、常規數字電視、高清電視、數字電視、高清電視、ITVMPEG-41999超低速視頻編碼超低速視頻編碼多媒體多媒體Internet、視頻會、視頻會議、交互式視頻游戲議、交互式視頻游戲MPEG-72000多媒體內容描述接口多媒體內容描述接口描述各種媒體信息描述各種媒體信息MPEG-212001-多媒體框架多媒體框架將不同的協議、標準、技術等集成在一起電子商務電子商務(1)(1)MPEG-1MPEG-1壓縮標準壓縮

18、標準vMPEG-1MPEG-1標準是由標準是由ISOISO制定。包括五部分：制定。包括五部分： MPEGMPEG視頻視頻(MPEG(MPEGVideo)Video)，以壓縮傳輸速率為，以壓縮傳輸速率為1.5Mb1.5Mbs s的視的視頻信號為目標；頻信號為目標； MPEGMPEG音頻音頻(MPEG(MPEGAudio)Audio)，以壓縮傳輸速率為，以壓縮傳輸速率為6464、128128和和l92kbl92kbs s的數字音頻信號為目標；的數字音頻信號為目標； MPEGMPEG系統系統(MPEG(MPEGSystem)System)，主要解決多路壓縮視頻、音頻，主要解決多路壓縮視頻、音頻流的同

19、步及合成問題。流的同步及合成問題。符合測試部分，定義檢驗解碼器的輸出比特流規范是否符合符合測試部分，定義檢驗解碼器的輸出比特流規范是否符合上面三個規范。上面三個規范。軟件實現部分，用軟件實現部分，用C C語言實現編解碼器。語言實現編解碼器。v處理圖像格式無嚴格規定，一般的，亮度信號采用處理圖像格式無嚴格規定，一般的，亮度信號采用352352240240象素象素3030幀幀/ /秒（秒（NTSCNTSC）或）或352352288288象素象素2525幀幀/ /秒（秒（PALPAL）情況下效率最高。）情況下效率最高。uMPEGMPEG1 1的視頻壓縮技術采用兩種基礎技術：基的視頻壓縮技術采用兩種基

20、礎技術：基于于16161616子塊的運動補償，可以減少幀序列的時子塊的運動補償，可以減少幀序列的時域冗余度；基于域冗余度；基于DCTDCT的壓縮技術，減少空域冗余的壓縮技術，減少空域冗余度度。uA:A:時間冗余量的減少時間冗余量的減少u運動補償的兩種算法：運動補償的兩種算法：運動補償預測算法和運動補運動補償預測算法和運動補償插補法。償插補法。uB:B:空間冗余量的減少空間冗余量的減少uDCTDCT變換編碼變換編碼uP P幀和幀和B B幀幀的編碼過程的編碼過程uC:MPEGC:MPEG的的分層結構和位流分層結構和位流MPEGMPEG運動補償預測單元選擇運動補償預測單元選擇16161616宏塊；在

21、雙向預測中每宏塊；在雙向預測中每個個16161616宏塊可以是幀內型、前向預測型、后向預測型和宏塊可以是幀內型、前向預測型、后向預測型和平均值型。平均值型。MPEGMPEG標準指明了如何表示運動信息，根據運動補償類型不標準指明了如何表示運動信息，根據運動補償類型不同，每個圖像的同，每個圖像的16161616宏塊有宏塊有1 12 2個運動矢量，可以采用個運動矢量，可以采用塊匹配技術。宏塊就是塊匹配技術。宏塊就是MPEGMPEG中匹配塊，一個圖像由一個亮中匹配塊，一個圖像由一個亮度平面（度平面（16161616個像素的方塊）和兩個色差平面（個像素的方塊）和兩個色差平面（8 88 8個個像素的方塊）

22、組成。像素的方塊）組成。2 2）運動補償插值法：）運動補償插值法： MPEG-1MPEG-1的一個重要特色是采用了運動補償插值編碼技的一個重要特色是采用了運動補償插值編碼技術。在時域中插值運動補償是一個多分辨率技術，它術。在時域中插值運動補償是一個多分辨率技術，它改善了隨機訪問性能，提高了運動視頻圖像的質量。改善了隨機訪問性能，提高了運動視頻圖像的質量。在時間范疇內，通過對一路低速率的子信號編碼在時間范疇內，通過對一路低速率的子信號編碼( (幀幀速率的速率的1 12 2或或l l3)3)，附加修正項插值可獲得全分，附加修正項插值可獲得全分辨率信號。而且通過插值編碼，可以獲得極高的壓縮辨率信號。

23、而且通過插值編碼，可以獲得極高的壓縮比（比（3030幀幀/s/s的全動視頻圖像）。的全動視頻圖像）。圖7-8 視頻圖像幀的類型視頻圖像幀的類視頻圖像幀的類 MPEG MPEG的分層結構和位流的分層結構和位流 MPEG MPEG視頻圖像數據流是一個分層結構，目的是把視頻圖像數據流是一個分層結構，目的是把位流中邏輯上獨立的實體分開，防止語意模糊，位流中邏輯上獨立的實體分開，防止語意模糊，并減輕編碼過程的負擔。對分層的要求是支持通并減輕編碼過程的負擔。對分層的要求是支持通用性和靈活性及有效性。用性和靈活性及有效性。 MPEG MPEG視頻位流分層結構共包括視頻位流分層結構共包括6 6層，分別為圖象層

24、，分別為圖象序列層、圖像組層、圖像層、宏塊片層、宏塊層序列層、圖像組層、圖像層、宏塊片層、宏塊層和塊層，每一層支持一個確定的函數，或是信號和塊層，每一層支持一個確定的函數，或是信號處理函數，或邏輯函數等。處理函數，或邏輯函數等。 A:MPEG-2 A:MPEG-2標準是標準是MPEG-lMPEG-l視頻標準的擴展，主要表現：視頻標準的擴展，主要表現： 支持支持2-100 Mb2-100 Mbs s速率的數字視頻傳輸。速率的數字視頻傳輸。 可用于支持高清晰度電視可用于支持高清晰度電視(HDTV)(HDTV)格式。格式。 定義一種層次可伸縮的規范，用于支持全球范圍的定義一種層次可伸縮的規范，用于支

25、持全球范圍的TVTVHDTVHDTV、視頻傳輸系統和其它需要高級編碼的應用。、視頻傳輸系統和其它需要高級編碼的應用。 向下兼容現存的向下兼容現存的MPEG-1MPEG-1和和H.261H.261標準。標準。擴展擴展MPEG-lMPEG-l的運動補償預測方法。的運動補償預測方法。定義了可伸縮的、層次化的編碼算法定義了可伸縮的、層次化的編碼算法 B B：MPEG-2MPEG-2標準主要由四部分組成：標準主要由四部分組成：MPEG-2MPEG-2視頻、視頻、MPEG-2MPEG-2音頻、音頻、MPEG-2MPEG-2系統和系統和MPEG-2MPEG-2一致性測試規范。一致性測試規范。1 1）MPEG

26、-2MPEG-2視頻標準：為傳輸電視質量級的數字視頻信視頻標準：為傳輸電視質量級的數字視頻信號而制定的，同時作為一種基于號而制定的，同時作為一種基于MPEP-1MPEP-1的擴展標準完全的擴展標準完全兼容兼容MPEG-1MPEG-1視頻標準，并且還提供了隔行掃描視頻編碼視頻標準，并且還提供了隔行掃描視頻編碼格式和一些其它高級特性，支持格式和一些其它高級特性，支持HDTVHDTV的視頻傳輸。的視頻傳輸。2 2）MPEG-2MPEG-2音頻標準：用于支持低數碼率多通道音頻信音頻標準：用于支持低數碼率多通道音頻信號的編碼，支持號的編碼，支持5 5路全帶寬音頻通道，有一個低頻增強路全帶寬音頻通道，有一個低頻增強信道，或者支持信道，或者支持7 7路解說多國語言通道。路解說多國語言通道。MPEG-2MPEG-2音頻音頻標準中的立體聲和單聲道的編碼采樣速率為標準中的立體聲和單聲道的編碼采樣速率為l6KHzl6KHz、22.05kHz22.05kHz和和24kHz24