1、n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)n掌握掌握JPEG基本系統(tǒng)的編解碼原理?；鞠到y(tǒng)的編解碼原理。n了解了解JPEG2000漸進編碼與傳輸?shù)母拍钆c思想。漸進編碼與傳輸?shù)母拍钆c思想。n理解理解MPEG-2視頻編碼中的視頻編碼中的“

2、類類”和和“級級”的含義。的含義。n理解理解I幀、幀、P幀、幀、B幀圖像的編碼特點，熟悉幀圖像的編碼特點，熟悉MPEG-2視頻碼流視頻碼流的分層結(jié)構(gòu)。的分層結(jié)構(gòu)。n掌握掌握MPEG-4標(biāo)準(zhǔn)中基于內(nèi)容編碼的工作原理。標(biāo)準(zhǔn)中基于內(nèi)容編碼的工作原理。n理解視頻對象（理解視頻對象（VO）和視頻對象平面（）和視頻對象平面（VOP）的概念。）的概念。n了解了解H.263視頻編碼的關(guān)鍵技術(shù)。視頻編碼的關(guān)鍵技術(shù)。n熟悉熟悉H.264視頻編碼標(biāo)準(zhǔn)的主要特點及性能。視頻編碼標(biāo)準(zhǔn)的主要特點及性能。n了解我國具備自主知識產(chǎn)權(quán)的了解我國具備自主知識產(chǎn)權(quán)的AVS視頻編碼技術(shù)的性能及應(yīng)用。視頻編碼技術(shù)的性能及應(yīng)用。 本章學(xué)

3、習(xí)目標(biāo)本章學(xué)習(xí)目標(biāo)n靜止圖像包括兩類：黑白（二值）靜止圖像和連續(xù)靜止圖像包括兩類：黑白（二值）靜止圖像和連續(xù)色調(diào)（彩色或灰度）靜止圖像。色調(diào)（彩色或灰度）靜止圖像。n對于靜止圖像壓縮編碼，已有多個國際標(biāo)準(zhǔn)，如國對于靜止圖像壓縮編碼，已有多個國際標(biāo)準(zhǔn)，如國際標(biāo)準(zhǔn)化組織（際標(biāo)準(zhǔn)化組織（ISO）制訂的）制訂的JBIG標(biāo)準(zhǔn)（標(biāo)準(zhǔn)（ISO 11544）、）、JPEG標(biāo)準(zhǔn)（標(biāo)準(zhǔn)（ISO 10918）、）、JPEG2000標(biāo)標(biāo)準(zhǔn)（編號為準(zhǔn)（編號為ISO 15444，等同的，等同的ITU-T編號為編號為T.800）等。本節(jié)將主要介紹等。本節(jié)將主要介紹JPEG和和JPEG2000標(biāo)準(zhǔn)。標(biāo)準(zhǔn)。6.1 靜止圖像編碼

4、標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)6.1.1 JPEG 標(biāo)準(zhǔn)概述標(biāo)準(zhǔn)概述nJPEG是是Joint Photographic Experts Group（聯(lián)合圖片專家組聯(lián)合圖片專家組）的縮寫。的縮寫。n由由ISO和和IEC兩個組織機構(gòu)兩個組織機構(gòu)聯(lián)合聯(lián)合組成的專家組，負責(zé)制定組成的專家組，負責(zé)制定靜態(tài)的靜態(tài)的數(shù)數(shù)字圖像數(shù)據(jù)壓縮編碼標(biāo)準(zhǔn)字圖像數(shù)據(jù)壓縮編碼標(biāo)準(zhǔn)nJPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n標(biāo)準(zhǔn)號標(biāo)準(zhǔn)號：ISO/IEC 10918或或ITU-T T.81n標(biāo)準(zhǔn)名標(biāo)準(zhǔn)名：Information technology Digital compression and coding of continuous-tone still

5、images (信息技術(shù)信息技術(shù) 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮和編碼連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮和編碼)nJPEG 標(biāo)準(zhǔn)適用范圍標(biāo)準(zhǔn)適用范圍n 灰度灰度圖像，圖像，彩色彩色圖像圖像 n 靜止圖像靜止圖像的壓縮，視頻序列的壓縮，視頻序列幀內(nèi)圖像幀內(nèi)圖像壓縮壓縮nJPEG可以大范圍地調(diào)節(jié)圖像可以大范圍地調(diào)節(jié)圖像碼率碼率和和質(zhì)量質(zhì)量nJPEG算法與顏色空間無關(guān)算法與顏色空間無關(guān)nRGB和和YUV顏色空間之間的轉(zhuǎn)換不包含在顏色空間之間的轉(zhuǎn)換不包含在JPEG算法中。算法中。n可壓縮來自不同顏色空間的數(shù)據(jù)，如可壓縮來自不同顏色空間的數(shù)據(jù)，如RGB, YCbCr, CMYK。nJPEG算法對每個彩色分量進行算法

6、對每個彩色分量進行單獨單獨編碼，對不同的分編碼，對不同的分量可以采用量可以采用不同的不同的量化參數(shù)和熵編碼表。量化參數(shù)和熵編碼表。n基于基于 DCT 的順序編碼算法的順序編碼算法n利用視覺系統(tǒng)特性，使用利用視覺系統(tǒng)特性，使用正交變換正交變換、量化量化和和熵熵編碼編碼相結(jié)合的方法，以去掉或減少視覺的冗余相結(jié)合的方法，以去掉或減少視覺的冗余和數(shù)據(jù)本身的冗余和數(shù)據(jù)本身的冗余nJPEG基本編碼系統(tǒng)的算法大致分成三個步驟：基本編碼系統(tǒng)的算法大致分成三個步驟：n正交變換：正交變換：使用正向離散余弦變換使用正向離散余弦變換(FDCT)把空間域把空間域上的圖像數(shù)據(jù)變換成頻率域上的變換系數(shù)上的圖像數(shù)據(jù)變換成頻率

7、域上的變換系數(shù)n量化：量化：使用加權(quán)函數(shù)對使用加權(quán)函數(shù)對DCT系數(shù)進行量化，加權(quán)函系數(shù)進行量化，加權(quán)函數(shù)對人的視覺系統(tǒng)是最佳的數(shù)對人的視覺系統(tǒng)是最佳的n熵編碼：熵編碼：使用霍夫曼編碼器對量化系數(shù)進行編碼使用霍夫曼編碼器對量化系數(shù)進行編碼6.1.2 JPEG 基本編碼系統(tǒng)基本編碼系統(tǒng)基于基于DCT的順序編碼算法基本步驟的順序編碼算法基本步驟 n將原圖像用亮度、色差表示（分量圖像采樣將原圖像用亮度、色差表示（分量圖像采樣4：1：1）n分成分成88數(shù)據(jù)塊數(shù)據(jù)塊, 數(shù)據(jù)數(shù)據(jù)0255轉(zhuǎn)換為轉(zhuǎn)換為-128127n進行正向離散余弦變換進行正向離散余弦變換(FDCT)n 量化量化(quantization)

8、n Z字形字形(zig-zag)掃描掃描n 使用使用DPCM對直流系數(shù)對直流系數(shù)(DC)進行編碼進行編碼n 使用行程編碼對交流系數(shù)使用行程編碼對交流系數(shù)(AC)進行編碼進行編碼n 熵編碼熵編碼(entropy coding)：哈夫曼或算術(shù)編碼：哈夫曼或算術(shù)編碼JPEG 壓縮效果原始圖像原始圖像(5125128)（256KB）壓縮壓縮 21:1 （12KB）壓縮壓縮 51:1 （5KB）6.1.3 基于基于DCT的漸進編碼的漸進編碼n基本思想基本思想n此模式與順序模式編碼步驟基本一致，不同之此模式與順序模式編碼步驟基本一致，不同之處在于漸進編碼模式每個圖像分量的編碼要經(jīng)處在于漸進編碼模式每個圖像

9、分量的編碼要經(jīng)過多次掃描才完成。第一次掃描只進行一次粗過多次掃描才完成。第一次掃描只進行一次粗糙的壓縮，然后根據(jù)此數(shù)據(jù)先重建一幅質(zhì)量低糙的壓縮，然后根據(jù)此數(shù)據(jù)先重建一幅質(zhì)量低的圖像，以后的掃描再作較細的掃描，使重建的圖像，以后的掃描再作較細的掃描，使重建圖像質(zhì)量不斷提高，直到滿意為止圖像質(zhì)量不斷提高，直到滿意為止n基本步驟基本步驟（1）降低原始圖像的空間分辨率。降低原始圖像的空間分辨率。 （2）對已經(jīng)降低分辨率的圖像按照順序編碼模式進行）對已經(jīng)降低分辨率的圖像按照順序編碼模式進行 壓縮并存儲或傳輸。壓縮并存儲或傳輸。 （3）對低分辨率圖像進行解碼，然后用插值法提高圖）對低分辨率圖像進行解碼，然

10、后用插值法提高圖 像的分辨率。像的分辨率。 （4）將分辨率已經(jīng)升高的圖像作為原圖像的預(yù)測值，）將分辨率已經(jīng)升高的圖像作為原圖像的預(yù)測值， 并把它與原圖像的差值進行基于并把它與原圖像的差值進行基于DCT的編碼。的編碼。 （5）重復(fù)步驟）重復(fù)步驟3、4直到圖像達到完整的分辨率。直到圖像達到完整的分辨率。6.1.3 基于基于DCT的漸進編碼的漸進編碼n分級編碼的操作模式分級編碼的操作模式是把一幅原始圖像的是把一幅原始圖像的空間分辨率分成多個空間分辨率分成多個低分辨圖像進行低分辨圖像進行“錐錐形形”編碼的方法。例編碼的方法。例如，水平方向和垂直如，水平方向和垂直方向分辨率均以方向分辨率均以 2n的的倍

11、數(shù)改變，如圖所示。倍數(shù)改變，如圖所示。6.1.4 基于基于DCT的分級編碼的分級編碼nITU-T SG8和和ISO/IEC JTC1 SC29 WG1聯(lián)合開發(fā)聯(lián)合開發(fā)的靜態(tài)圖像壓縮編碼標(biāo)準(zhǔn)的靜態(tài)圖像壓縮編碼標(biāo)準(zhǔn)(ISO/IEC 15444)，標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名為名為“JPEG 2000: Image Coding System” 。n開發(fā)工作始于開發(fā)工作始于1996年年1月，其目標(biāo)是增強對連續(xù)色月，其目標(biāo)是增強對連續(xù)色調(diào)圖像的壓縮效率、管理和傳輸，而又不使圖像調(diào)圖像的壓縮效率、管理和傳輸，而又不使圖像質(zhì)量有明顯的損失。質(zhì)量有明顯的損失。n使用使用小波變換小波變換技術(shù)提高壓縮比，用戶可控制圖像技術(shù)提高

12、壓縮比，用戶可控制圖像的分辨率，用在網(wǎng)絡(luò)上傳輸時可按照用戶要求下的分辨率，用在網(wǎng)絡(luò)上傳輸時可按照用戶要求下載各種分辨率的圖像。載各種分辨率的圖像。n可提供可提供無損壓縮無損壓縮的圖像，在文檔中可提供更多的的圖像，在文檔中可提供更多的顏色信息。顏色信息。6.1.5 JPEG2000 標(biāo)準(zhǔn)概述標(biāo)準(zhǔn)概述JPEG 2000標(biāo)準(zhǔn)的主要內(nèi)容標(biāo)準(zhǔn)的主要內(nèi)容 （1）JPEG 2000最小編、解碼系統(tǒng)，是最小編、解碼系統(tǒng)，是JPEG 2000核心系統(tǒng)；核心系統(tǒng)；（2）擴展系統(tǒng)，在核心系統(tǒng)的基礎(chǔ)上添加了一些功能；）擴展系統(tǒng)，在核心系統(tǒng)的基礎(chǔ)上添加了一些功能；（3）運動）運動JPEG 2000，針對運動圖像提出的解

13、決方案；，針對運動圖像提出的解決方案；（4）兼容性；）兼容性；（5）參考軟件；）參考軟件；（6）復(fù)合圖像文件格式，主要針對印刷和傳真應(yīng)用；）復(fù)合圖像文件格式，主要針對印刷和傳真應(yīng)用；（7）技術(shù)報告，介紹實現(xiàn)一部分所需的最少支持環(huán)境（已被廢棄）；）技術(shù)報告，介紹實現(xiàn)一部分所需的最少支持環(huán)境（已被廢棄）；（8）JPSEC，針對安全應(yīng)用（加密、水印技術(shù)）；，針對安全應(yīng)用（加密、水印技術(shù)）；（9）JPIP，針對交互應(yīng)用協(xié)議；，針對交互應(yīng)用協(xié)議；（10）JP3D，針對，針對3D圖像；圖像；（11）JPWL，針對無線應(yīng)用；，針對無線應(yīng)用；（12）基本媒體文件格式。）基本媒體文件格式。JPEG 2000的編

14、、解碼原理框圖的編、解碼原理框圖JPEG2000 壓縮效果JPEG2000 壓縮效果n支持可分級（scalable）編碼n分辨率可分級n質(zhì)量（信噪比）可分級n提供靈活的解碼n支持感興趣區(qū)(region of interest, ROI)的編碼n可指定感興趣的圖像區(qū)域，在壓縮時對這些圖像區(qū)指定特定的壓縮質(zhì)量，這給用戶帶來了極大的方便。例如，在有些情況下圖像中只有一小塊區(qū)域?qū)τ脩羰怯杏玫模瑢@些區(qū)域采用低壓縮比，而其他區(qū)域采用高壓縮比，在保證不丟失重要信息的同時能有效地壓縮數(shù)據(jù)量6.1.7 JPEG2000 的主要特點的主要特點n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)

15、化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展國際上數(shù)字視頻編碼標(biāo)準(zhǔn)主要有兩大系列。一個系列由國際標(biāo)準(zhǔn)化組織（ISO）和國際電工委員會（IEC）制定，另一個系列由國際電信聯(lián)盟電信標(biāo)準(zhǔn)部（ITU-T）制定。 ISO/IEC: JPEG,JPEG2000,

16、MPEG-1/2/4/7 ITU-T: H.261/2/3/4制定這些標(biāo)準(zhǔn)的背景有所不同，面向的主要應(yīng)用也有所區(qū)別，它們采用的技術(shù)有很多共同點，應(yīng)用領(lǐng)域有所重疊。n兩者合作制定標(biāo)準(zhǔn)（例如，MPEG-2/H.262 和 MPEG-4 AVC/H.264）H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263 H.263+H.263+ITU-T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standards19841986 1988 1990 1992 1994 1996 19982000 2002 2004MPEG-1

17、MPEG-4視頻編碼標(biāo)準(zhǔn)：歷史JPEGJPEG2000n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.3.1 I幀、P幀和B幀n6.3.2 視頻碼流的分層結(jié)構(gòu)n6.3.3 MP

18、EG-1/-2視頻編解碼原理n6.3.4 MPEG-2的功能擴展6.3.1 I幀、P幀和B幀n MPEG標(biāo)準(zhǔn)所規(guī)定的視頻編碼算法在實現(xiàn)高壓縮比的同時，又能獲得較高的重建圖像質(zhì)量，并且還要滿足能夠隨機存取的要求。所以，MPEG標(biāo)準(zhǔn)將編碼圖像分為三種類型：nI（Intra）幀nP（Predicated）幀nB（ Bidirectionally-predictive）幀1I幀nI幀，又稱幀內(nèi)編碼幀，是作為預(yù)測基準(zhǔn)的獨立幀。該幀采用類似JPEG算法的幀內(nèi)DCT編碼，壓縮比相對較低。n設(shè)置I幀的主要理由（1）當(dāng)某幀找不到匹配的參考幀時，就只好進行幀內(nèi)編碼，場景切換或圖像中的“遮擋”和“暴露”部分就是這種

19、情況的例子；（2）解碼I幀不需要參考幀，因而可以在I幀進行碼流的切換和編輯等操作，提供隨機存取的插入點；（3）長時間連續(xù)地進行預(yù)測編碼，預(yù)測誤差會不斷累積，使壓縮效率逐漸降低，圖像質(zhì)量不斷下降。為防止解碼圖像損傷的逐漸加劇，需定時進行幀刷新，即周期性地插入I幀，以便重新開始一個新的預(yù)測編碼過程。 2P幀nP幀，又稱前向預(yù)測編碼幀。它用前面最近的I幀或P幀作為參考進行前向預(yù)測，采用帶運動補償?shù)膸g預(yù)測編碼方式。由于同時利用了空間和時間上的相關(guān)性，所以P幀比I幀的壓縮效率高。P幀也可作為參考幀。 nP幀的壓縮編碼算法 n算法原理nP幀的編碼以宏塊(MB)為基本單元，一個宏塊定義為1616像素的像塊

20、nP幀使用兩種類型的參數(shù)表示n當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值n宏塊的運動矢量(motion vector, MV)3B幀nB幀，又稱雙向預(yù)測編碼幀。它既用源視頻序列中位于前面且已編碼的I幀或P幀作為參考幀，進行前向運動補償預(yù)測，又用位于后面且已編碼的I幀或P幀作為參考幀，進行后向運動補償預(yù)測。即B幀可采用幀內(nèi)編碼、前向預(yù)測編碼、后向預(yù)測編碼、或雙向預(yù)測編碼4種技術(shù)，其壓縮比最高。但B幀不能用作對其他幀進行運動補償預(yù)測的參考幀。 視頻數(shù)據(jù)經(jīng)過壓縮編碼后形成視頻基本碼流（ES）。MPEG為了更好地表示編碼比特流，用句法規(guī)定了一個分層結(jié)構(gòu)，共分6層，從高到低依次是：(1) 視頻序列

21、(sequence)層(2) 圖像組 (group of pictures，GOP)層(3) 圖像 (picture)層(4) 宏塊條(slice)層(5) 宏塊 (macroblock，MB)層(6) 像塊(block)層 6.3.2 視頻碼流的分層結(jié)構(gòu) MPEG-2與MPEG-1的視頻編碼原理方框圖基本相同，如圖6-11所示，采用運動補償幀間預(yù)測編碼、DCT編碼以及熵編碼相結(jié)合的方案。n利用運動補償幀間預(yù)測編碼消除電視圖像信號的時間冗余；n利用DCT消除信號的空間冗余；n對運動矢量和量化后的DCT系數(shù)進行熵編碼，消除符號統(tǒng)計冗余，以達到進一步壓縮數(shù)碼率的目的。6.3.3 MPEG-1/-2

22、視頻編解碼原理圖圖6-11 MPEG-2 視頻編碼原理框圖視頻編碼原理框圖圖圖6-12 MPEG-2解碼器的結(jié)構(gòu)框圖解碼器的結(jié)構(gòu)框圖1MPEG-2定義了“檔次”與“級”的概念2MPEG-2有“按幀編碼”和“按場編碼”兩種模式 3MPEG-2增加了可分級性6.3.4 MPEG-2的功能擴展 MPEG-2標(biāo)準(zhǔn)適用范圍廣，為了解決通用性和特殊性的矛盾，支持靈活的性能價格比，MPEG-2在單一語法的基礎(chǔ)上，針對不同的應(yīng)用，規(guī)定了不同的壓縮處理方法，即不同的語法子集，這樣的語法子集稱為“檔次”（Profile）。 然而，在同一語法子集中（即同一“檔次”中）需要處理的輸入圖像格式（如分辨率）可能有很大的差

23、別，于是MPEG-2又提出了“級”（Level）的概念。1. “檔次檔次”與與“級級”的概念的概念n可分級編碼使原本一體的碼流呈現(xiàn)一種分層結(jié)構(gòu)，使其中的部分碼流可單獨解碼，從而可得到不同的分辨率和所需的數(shù)碼率。n基本層編碼(base-layer coding) ：編碼、傳輸和解碼可單獨進行n增強層編碼(enhancement-layer coding)：編碼、傳輸和解碼要依賴基本層或先前的增強層才能完成n可分級編解碼的意義在于其碼流的獨立分層及可分層疊加，從而使該碼流適應(yīng)不同環(huán)境的傳輸信道和不同用戶需求的能力大大增加。2. MPEG-2的可分級編碼的可分級編碼可分級編碼模式（1）信噪比可分級）

24、信噪比可分級（Signal-to-Noise Scalability）（2）空域可分級）空域可分級（Spatial Scalability）（3）時域可分級）時域可分級（Temporal Scalability）n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖

25、像與視頻壓縮編碼標(biāo)準(zhǔn) 6.4.1 MPEG-4視頻編碼的主要特點 6.4.2 MPEG-4視頻編碼方法6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)6.4.1 MPEG-4視頻編碼的主要特點為了實現(xiàn)基于內(nèi)容的交互功能，MPEG-4引入了視頻對象（VO）和視頻對象平面（VOP）的概念。MPEG-4中的視頻對象可以是視頻場景中的人物或具體的景物，例如，新聞節(jié)目中的主持人的頭肩像（沒有背景圖像），即自然視頻對象；也可以是計算機產(chǎn)生的二維、三維圖形，即合成視頻對象。 MPEG-4視頻編碼處理的數(shù)據(jù)類型主要有：n 視頻對象（任意形狀區(qū)域的動態(tài)視頻）n 二維和三維的網(wǎng)格對象（可變形的對象）n 人臉和身體的動畫n 靜態(tài)紋

26、理（靜止圖像）n支持從低數(shù)碼率（5kbps-64kbps)到高數(shù)碼率（100Mbps）的各種應(yīng)用，為保證標(biāo)準(zhǔn)的靈活性，它提供一系列的編碼算法和工具，以供應(yīng)用開發(fā)者選用。n 標(biāo)準(zhǔn)中使用除包括壓縮本身一些技術(shù)外，還包括圖像分析與合成、計算機視覺、計算機圖形、虛擬現(xiàn)實和語音合成等多種多媒體技術(shù)。MPEG-4標(biāo)準(zhǔn)提標(biāo)準(zhǔn)提供的工具和算法供的工具和算法MPEG-4 目標(biāo)（1）基于對象的編碼，便于操作和控制對象；可以實現(xiàn)基于內(nèi)容的交互性功能，主要用于基于內(nèi)容的多媒體數(shù)據(jù)存取、游戲或多媒體家庭編輯、網(wǎng)上購物和電子商店、遠程監(jiān)控、醫(yī)療和教學(xué)等。（2）MPEG-4 在擴展性上具有很好的靈活性，可進行時域和空域的擴

27、展（兼容MPEG-2 擴展功能）；主要用于互聯(lián)網(wǎng)和無線網(wǎng)等窄帶的視頻通訊、多質(zhì)量視頻服務(wù)和多媒體數(shù)據(jù)庫預(yù)覽等服務(wù)。（3）MPEG-4的編碼具有魯棒性和糾錯功能。主要用于在移動通信的易錯通訊環(huán)境下實現(xiàn)安全的低碼率編碼和傳輸，采用再同步、數(shù)據(jù)恢復(fù)、錯誤隱藏等三種策略。MPEG-4 主要特點主要特點（1） MPEG-4中的數(shù)據(jù)結(jié)構(gòu)類（2）MPEG-4中形狀編碼（3）MPEG-4中運動估計（4）MPEG-4中紋理編碼6.4.2 MPEG-4視頻編碼方法（1）MPEG-4中的數(shù)據(jù)結(jié)構(gòu)類可以認為有四個層次的數(shù)據(jù)結(jié)構(gòu)，它們都以類的形式定義。n VS（Video Session）：是包含其它三個類的一個類，一

28、個完整的視頻序列可以由幾個VS組成。n VO（Video Object）：場景中的某個物體，它是有生命期的，由時間上連續(xù)的許多幀構(gòu)成。nVOL（Video Object Layer）：VO的三種屬性信息編碼于這個類中，這個類的引入主要用來擴展VO的時域或空域分辨率。nVOP（Video Object Plane）：可以看作是VO在某一時刻的表象，即某一幀VO。 以上四個類的關(guān)系可以用下圖表示： VM中的數(shù)據(jù)結(jié)構(gòu)類分級圖中的數(shù)據(jù)結(jié)構(gòu)類分級圖OutputCompositionVOP 0DecodingVOP 1DecodingVOP 2DecodingDEMUXBitstream解碼器流程解碼器流

29、程InputVOPDefinitionVOP 0CodingVOP 1CodingVOP 2CodingMUXBitstream編碼器流程編碼器流程MPEG-4中基于中基于VOP的視頻編碼框圖的視頻編碼框圖DCT變換量化運動紋理編碼視頻復(fù)合器逆量化IDCT變換+幀存儲器VOP輸入開關(guān)切換方式1 預(yù)測運動估計方式3 預(yù)測方式2 預(yù)測形狀編碼-+位流輸出方式方式1預(yù)測是指標(biāo)準(zhǔn)預(yù)測是指標(biāo)準(zhǔn)88 或或 1616 塊的運動估計塊的運動估計;方式方式2預(yù)測是指使用仿射變換的全局運動補償預(yù)測是指使用仿射變換的全局運動補償;方式方式3預(yù)測是指基于動態(tài)預(yù)測是指基于動態(tài)sprites的全局運動補償。的全局運動補償

30、。（2）MPEG-4中形狀編碼 灰度形狀圖預(yù)處理成二值的形狀圖運動估計、預(yù)測得到紋理圖二值形狀CAE編碼紋理編碼 （3）MPEG-4中運動估計nMPEG-4的運動估計與補償采用了“半像素搜索”（half pixel searching）技術(shù)和“重疊運動補償”（overlapped motion compensation）技術(shù)。n為了能適用于任意形狀的VOP區(qū)域，引入了所謂“重復(fù)填充”（repetitive padding）和“修改的塊（多邊形）匹配”（modified block(polygon) matching）技術(shù)。VM中任意形狀中任意形狀VOP的運動估計的運動估計(1) 對于完全在對于

31、完全在VOP外、但在邊框內(nèi)的宏塊，不作運動估計；外、但在邊框內(nèi)的宏塊，不作運動估計；(2) 對完全在對完全在VOP內(nèi)的宏塊作與內(nèi)的宏塊作與H.263類似的運動估計；類似的運動估計；(3) 對部分在對部分在VOP內(nèi)、部分在外的宏塊，用內(nèi)、部分在外的宏塊，用“修改的塊（多邊形）匹配修改的塊（多邊形）匹配” 技術(shù)進行運技術(shù)進行運動估計，匹配誤差由塊中屬于動估計，匹配誤差由塊中屬于VOP內(nèi)部的像素與參考塊中相應(yīng)位置像素的差的絕對值內(nèi)部的像素與參考塊中相應(yīng)位置像素的差的絕對值的和（的和（SAD）來度量。）來度量。（4） MPEG-4中紋理編碼中紋理編碼DCT變換基于變換基于88，仍有三種情況：，仍有三種

32、情況：(1) VOP外、邊框內(nèi)的塊：不編碼；外、邊框內(nèi)的塊：不編碼；(2) VOP內(nèi)的塊：傳統(tǒng)內(nèi)的塊：傳統(tǒng)DCT方法編碼；方法編碼；(3) 部分在部分在VOP內(nèi)、部分在內(nèi)、部分在VOP外的塊：現(xiàn)用外的塊：現(xiàn)用“重復(fù)填充重復(fù)填充”方法將改塊在方法將改塊在VOP外的部分進行填充，再用外的部分進行填充，再用DCT編碼。編碼。n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2 數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC

33、視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)ITU-T H.261n1988年制定，奠定了現(xiàn)代視頻編碼的基礎(chǔ)：n編碼結(jié)構(gòu)為：運動補償預(yù)測+DCT 編碼+熵編碼n關(guān)鍵技術(shù)包括 1616宏塊運動補償預(yù)測、88 DCT、量化、環(huán)路濾波和變字長編碼（VLC）等。n這些關(guān)鍵技術(shù)后來被其它標(biāo)準(zhǔn)采用。nH.261v2 (1993年早期) 增加了后向兼容的高清晰度圖片模式(例如遠程教學(xué)中的白板）n圖像格式：CIF or QCIF，幀率 29.97fpsn數(shù)碼率為 n64kbit/s (641920 kbit/s)，典型為 38

34、4kbit/sn特性：n低復(fù)雜、低時延n后向兼容的一個標(biāo)準(zhǔn)n被 H.263 和 H.264 超越H.261 圖像格式ITU-R BT.601CIFQCIF720576352288176144基于 MC+DCT 混合視頻編碼器反量化反量化IDCTMC預(yù)測器預(yù)測器DCT量化量化運動估計運動估計ME幀緩存器幀緩存器運動補償預(yù)測運動補償預(yù)測MC輸入輸入信號信號編碼碼流編碼碼流(送信道送信道)輸入幀的近似輸入幀的近似 (送顯示送顯示)運動矢量和塊模式數(shù)據(jù)運動矢量和塊模式數(shù)據(jù) (送信道送信道)先前編碼先前編碼的近似幀的近似幀(虛框表示虛框表示解碼器解碼器)熵編碼熵編碼H.263 ：低碼率視頻編碼標(biāo)準(zhǔn)nIT

35、U-T H.263 (V1: 1995): 取代 H.261，成為視頻會議、可視電話和 Internet 視頻流的壓縮標(biāo)準(zhǔn)。nH.263 + （1997/1998年） & H.263 + + （2000年）n圖像格式通常為 CIF、QCIF or Sub-QCIF（12896）, 也支持16CIF、4CIFn幀率：一般低于 10fpsn數(shù)碼率：任意，典型 20kbps （對于 PSTN）n在所有的數(shù)碼率上對優(yōu)于 H.261，在一半數(shù)碼率上與 H.261 具有相同的質(zhì)量n是 MPEG4 標(biāo)準(zhǔn)的壓縮 CoreH.263的編碼原理框圖的編碼原理框圖n6.1 靜止圖像編碼標(biāo)準(zhǔn)靜止圖像編碼標(biāo)準(zhǔn)n6.2

36、數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展數(shù)字視頻編碼的標(biāo)準(zhǔn)化進展n6.3 MPEG-1/MPEG-2視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn) n6.4 MPEG-4視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.5 H.263視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)n6.7 AVS視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)第第6章章 數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)數(shù)字圖像與視頻壓縮編碼標(biāo)準(zhǔn)n6.6.1 H.264/AVC歷史n6.6.2 H.264/AVC的范圍和內(nèi)容n6.6.3 H.264/AVC的檔次（Profiles）與級（Levels）n6.6.4 H.264/AVC新技術(shù)n多模式、多參考幀運動補償n1/4pixel 運

37、動矢量精度n多模式幀內(nèi)預(yù)測（I 幀空域預(yù)測）n44 整數(shù)變換n熵編碼 CAVLC & CABACn其它n6.6.5 H.264/AVC的性能6.6 H.264/AVC視頻編碼標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)6.6.1 H.264/AVC歷史nH.264/AVC 標(biāo)準(zhǔn)：n名詞眾多：nH.26L、JVT CODEC、JM2.x、JM3.x、JM4.x、Beyond H.26L、AVC（Advanced Video CODE）、H.264n2001.12 ITU/ISO 成立 Joint Video Team (JVT) n2002.12 技術(shù)截止n2003.05 ITU Rec H.264n2003.07 ISO

38、/IEC Final Draft IS (FDIS)n2003.10 ISO/IEC IS (14496-10) AVCn2003.12 夏威夷 (Hawaii) 最后會議nMPEG-4 Part 10 (Official MPEG Term)：ISO/IEC 14496-10 AVCnH.264 (Official ITU Term)H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263 H.263+H.263+ITU-T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standards19841986 1988 1

39、990 1992 1994 1996 19982000 2002 2004MPEG-1MPEG-4視頻編碼標(biāo)準(zhǔn)：歷史JPEGJPEG20006.6.2 H.264/AVC的范圍和內(nèi)容n為各種業(yè)務(wù)提供高質(zhì)量壓縮:nIP 流媒體 (501500 kbps)nSDTV 和 HDTV 廣播和視頻點播 (18+ Mbps)nDVDn可視業(yè)務(wù) (1 Mbps 低時延)n標(biāo)準(zhǔn)定義：n解碼器功能 (但沒有編碼器)n文件和流結(jié)構(gòu)n最后結(jié)果：和 MPEG-4 相比，壓縮效率提高 2 倍，計算復(fù)雜度增加 24 倍。nBaseline 在一定數(shù)量下沒有特許權(quán)使用費H.264編碼系統(tǒng)結(jié)構(gòu)VCL實現(xiàn)視頻數(shù)據(jù)的編解碼；實現(xiàn)

40、視頻數(shù)據(jù)的編解碼；NAL定義數(shù)據(jù)封裝格式，為定義數(shù)據(jù)封裝格式，為VCL提供與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口提供與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口nH.264 可進行不同的性能配置，基于 “profiles” & “l(fā)evels”：n檔次（profile）：編碼算法或工具的集合。n級（level）：對某些關(guān)鍵參數(shù)的限制（例如分辨率、碼率等）nH.264 分為 4個檔次：Baseline、Main、Extended 和 Highn基本（Baseline）：最小實現(xiàn)，逐行掃描、I-frame、P-frame 和CAVLC，但沒有 CABAC、B-frame 和 SP-Slices，從視頻會議、無線視頻通信到數(shù)字影院，大多數(shù)應(yīng)

41、用都是良好的。n主（Main）：增加了隔行掃描、B-Slices 和 CABAC等，廣播應(yīng)用n擴展（Extended）：SP/SI幀，幀數(shù)據(jù)分割，流媒體應(yīng)用n高（High）：8*8 DCT 變換nH.264/AVC 有 15 級：n分辨率、容量、比特率、緩存器、參考幀數(shù)、解碼處理速度等n圖像尺寸：QCIF 數(shù)字影院 D-Cineman匹配國際上通行的設(shè)備和發(fā)送格式。6.6.3 H.264/AVC的檔次與級H.264 Baseline Profile (L2)nI 和 P slice （沒有B slice）n熵編碼 CAVLC（Context-based Adaptive VLC，基于上下文的自

42、適應(yīng)變字長碼）n去塊效應(yīng)環(huán)路濾波器n逐行掃描n 像素運動估計和補償n增強誤碼適應(yīng)性n支持 ASO （Arbitrary slice ordering，ASO）n支持 FMO（Flexible macroblock ordering ，F(xiàn)MO）n支持冗余片（Redundant slices）n應(yīng)用：IP 視頻、視頻會議等n支持所有的 Baseline Profile 算法，除了不支持 Baseline Profile 中增強的誤碼適應(yīng)性n不包括 Arbitrary slice order (ASO)n不支持 Flexible macroblock ordering (FMO) n不支持冗余片 R

43、edundant slicesnI、P 、B slice typesnCABAC 和 CAVLC 熵編碼n隔行掃描 和逐行掃描nMB 級幀/場切換nB 和 P 幀加權(quán)預(yù)測n1/4 像素運動估計和補償n應(yīng)用: 電視廣播H.264 Main Profile nExtended Profile n所有的 Baseline profile 算法或工具nB slicen加權(quán)預(yù)測nSP/SI 切換幀n更多的誤碼可靠: 數(shù)據(jù)分割（Data partitioning）H.264 Extended Profile n仍然采用先前標(biāo)準(zhǔn)中的仍然采用先前標(biāo)準(zhǔn)中的 MCDCT 混合編碼算法，混合編碼算法，相同的部分相同

44、的部分包括：包括：n1616 宏塊宏塊n傳統(tǒng)的亮度和色度采樣格式傳統(tǒng)的亮度和色度采樣格式 4:2:0 n塊運動位移或矢量塊運動位移或矢量n運動矢量越過圖像邊界的算法運動矢量越過圖像邊界的算法n塊大小可變的運動補償塊大小可變的運動補償n塊變換（沒有采用小波或分形塊變換（沒有采用小波或分形 wavelets or fractals)n標(biāo)量量化標(biāo)量量化nI、P 和和 B 幀圖像類型幀圖像類型n變字長編碼變字長編碼 Variable-length codingH.264 與其它標(biāo)準(zhǔn)相同的技術(shù)5.6.4 H.264/AVC新技術(shù)n多模式、多參考幀運動補償 n1/4pixel 運動矢量精度n多模式幀內(nèi)預(yù)測（I 幀空域預(yù)測）n去方塊效應(yīng)環(huán)路濾波器n44 整數(shù)變換n熵編碼采用CAVLC 或 CABACnSP-slicesn網(wǎng)絡(luò)適