1、多媒體技術(shù)基礎(chǔ)Fundamentals of Multimedia第 11 章 MPEG簡介Chapter 11 Introduction to MPEG本章大綱1. MPEG概述2. MPEG-1視頻的編碼3. MPEG-1視頻的解碼2視頻壓縮編碼的標(biāo)準(zhǔn)ITU-T標(biāo)準(zhǔn)用于ISDN視頻會議的 H.261(Px64)標(biāo)準(zhǔn)用于PSTN可視電話的 H.263標(biāo)準(zhǔn)用于ATM/B-ISDN視頻會議的 H.262標(biāo)準(zhǔn)ISO/IEC 國際標(biāo)準(zhǔn)用于VCD的ISO 11172(MPEG-1 video)標(biāo)準(zhǔn)用于數(shù)字電視和DVD的ISO/IEC 13818(MPEG-2 video) 標(biāo)準(zhǔn)用于交互式多媒體應(yīng)用的視

2、聽編碼標(biāo)準(zhǔn) MPEG-4企業(yè)(公司)標(biāo)準(zhǔn): AVI, QuickTime, RealVideo3視頻壓縮編碼的國際標(biāo)準(zhǔn)ITU-TJointITU-T/MPEGMPEGH.261H.263 H.263+ H.263+H.262/MPEG-2H.26LMPEG-1MPEG-4 84 86 88 90 92 94 96 98 00 02 044概念MJPEGMotion JPEG (MJPEG) 是以 JPEG方法壓縮的一個(gè)圖像序列MPEG - Moving Picture Experts Group由 ISO/IEC制定, 包括 MPEG1, MPEG2, MPEG4，MPEG7，MPEG21非常

3、有效的幀內(nèi)和幀間壓縮編碼技術(shù)和一些優(yōu)化方法H.261/H.263/H.263+ - 可視電話/視頻會議由ITU制定，具有中低碼率、質(zhì)量和計(jì)算效率5MPEGISO/IEC MPEG (Moving Picture Expert Group)負(fù)責(zé)開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標(biāo)準(zhǔn)。這個(gè)專家組開發(fā)的標(biāo)準(zhǔn)稱為MPEG標(biāo)準(zhǔn) 6MPEG 標(biāo)準(zhǔn)MPEG標(biāo)準(zhǔn)文件的創(chuàng)建過程分成4個(gè)階段 (1) 工作文件(Working Draft，WD)：工作組(Working Group，WG)準(zhǔn)備的工作文件(2) 委員會草案(Committee Draft，CD)：從工作組WG準(zhǔn)備好的工作文件WD提升

4、上來的文件。這是ISO文檔的最初形式，它由ISO內(nèi)部正式調(diào)查研究和投票表決。(3) 國際標(biāo)準(zhǔn)草案(Draft International Standard，DIS)：投票成員國對CD的內(nèi)容和說明滿意之后由委員會草案CD提升上來的文件。(4) 國際標(biāo)準(zhǔn)(International Standard，IS)：由投票成員國、ISO的其他部門和其他委員會投票通過之后出版發(fā)布的文件。 7MPEG -1標(biāo)準(zhǔn)MPEG-1標(biāo)準(zhǔn)(ISO/IEC11172). 1992年發(fā)布。用于1.5Mbps數(shù)據(jù)傳輸率的運(yùn)動(dòng)圖像及其伴音的編碼。主要應(yīng)用于 VCD，MP3音樂等.MPEG-1在JPEG和H.261等優(yōu)秀標(biāo)準(zhǔn)的基礎(chǔ)

5、上, 對參加競爭的14個(gè)方案,通過反復(fù)協(xié)調(diào)而得到統(tǒng)一,從而成為先進(jìn)、合理、質(zhì)量高、成本低的優(yōu)秀標(biāo)準(zhǔn). MPEG-1促進(jìn)了大規(guī)模集成電路專用芯片的發(fā)展, 為多媒體技術(shù)和產(chǎn)品的繁榮立下了功勞。8MPEG-1: 一系列 “第一”第一個(gè)集成的視頻/音頻標(biāo)準(zhǔn) : ISO/IEC 11172-1 (Systems), -2 (Video), -3 (Audio)第一個(gè)與視頻格式無關(guān)的編碼標(biāo)準(zhǔn) (NTSC/PAL/SECAM)第一個(gè)由幾乎所有相關(guān)視/音頻企業(yè)聯(lián)合制定的標(biāo)準(zhǔn)9MPEG-1視頻壓縮標(biāo)準(zhǔn) MPEG-1標(biāo)準(zhǔn)號為ISO/IEC 11172，它由五部分組成：MPEG-1系統(tǒng)（ MPEG-1 System

6、s ）：規(guī)定視頻數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步合成技術(shù)MPEG-1視頻編碼標(biāo)準(zhǔn)（MPEG-1 Video）MPEG-1音頻編碼標(biāo)準(zhǔn)（MPEG-1 Audio）MPEG-1一致性測試：詳細(xì)說明如何測試比特?cái)?shù)據(jù)流和解碼器是否滿足MPEG-1前3個(gè)部分(Part1，2和3)中所規(guī)定的要求。MPEG-1軟件模擬：一個(gè)技術(shù)報(bào)告，給出了軟件執(zhí)行MPEG1前3個(gè)部分的運(yùn)行結(jié)果。10MPEG-1 的評價(jià)(應(yīng)用)Video CD ( several tens million players sold in PR of China)“The” format of audio and video for PCW

7、indows 95/NT/98 contain an MPEG-1 software decoderMPEG-1 Audio (recently, layer 3) is widely used for Web musicDigital Audio Broadcasting (DAB)數(shù)字音頻廣播 utilises MPEG-1 Audio (adopted in Europe and Canada)11MPEG -2標(biāo)準(zhǔn)MPEG-2標(biāo)準(zhǔn)(ISO/IEC13818). 1994年發(fā)布。主要針對數(shù)字電視特別是高清晰度電視(HDTV) 的視頻及伴音信號，典型傳輸速率為10Mbps，與MPEG-1兼

8、容，適用于1.5Mbps60Mbps甚至更高速率的編碼范圍。12MPEG -2標(biāo)準(zhǔn)（續(xù)）以MPEG-2作為視音頻壓縮標(biāo)準(zhǔn)的數(shù)字衛(wèi)星電視(DVB)已在歐美形成了很大市場；美國高級電視聯(lián)盟(ATV Grand Alliance)和歐洲數(shù)字視頻廣播計(jì)劃(Digital Video Broadcast Project)先后決定將MPEG -2用于高清晰度電視(HDTV)廣播中;新一代的數(shù)字視盤DVD采用MPEG-2作為其視音頻壓縮標(biāo)準(zhǔn)(注:歐、美 、日在視頻方面采用MPEG-2標(biāo)準(zhǔn),而在音頻方面則采用AC-3標(biāo)準(zhǔn))。13MPEG -4標(biāo)準(zhǔn)MPEG-4 標(biāo)準(zhǔn)(ISO/IEC l4496) . “Codi

9、ng of audio-visual objects”_視聽對象編碼 1999年5月形成國際標(biāo)準(zhǔn)(版本1), 2001-2002形成版本2，是一種基于對象的視(音)頻編碼標(biāo)準(zhǔn),目標(biāo)是支持各種多媒體應(yīng)用(主要側(cè)重于對多媒體信息內(nèi)容的訪問)主要目標(biāo)compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video!14MPEG -7標(biāo)準(zhǔn)MPEG-7標(biāo)準(zhǔn)(ISO/IEC l5938). 并非壓縮標(biāo)準(zhǔn)建筑在其他的標(biāo)準(zhǔn)之上的，例如，PCM, MPEG-1, M

10、PEG-2和MPEG-4等 2001年9月形成。它是“多媒體內(nèi)容描述接口” (Multimedia Content Description Interface)的標(biāo)準(zhǔn), 該標(biāo)準(zhǔn)將確定各種類型的多媒體信息的標(biāo)準(zhǔn)描述方法, 可應(yīng)用于數(shù)字圖書館、各種多媒體目錄服務(wù)、廣播媒體的選擇，以及多媒體編輯等領(lǐng)域。15MPEG-7通過MPEG-7格式定義的信息，使用者可以有效率地搜尋、過濾和定義想要的影音資料。目前MPEG-7標(biāo)準(zhǔn)中定義了五種內(nèi)容的信息，分別是：1.creation & production：影音資料制作的基本信息。例如電影片名、導(dǎo)演等。2. media：定義資料儲存的方式。例如是否經(jīng)過壓縮、編

11、碼方式、儲存媒介等。3. usage：定義資料使用的方式。例如版權(quán)所有人、播放時(shí)間等。4. structural aspects：對影片中出現(xiàn)的特殊物品，或是音樂中某一片段，以及顏色、旋律等的描述。5. conceptual aspects 7：定義資料中各種控件的鏈接或交互。16視頻流碼率的計(jì)算寬: pixels(160, 320, 640, 720, 1280, 1920, )長: pixels(120, 240, 480, 485, 720, 1080, )量化位數(shù): bits(1, 4, 8, 15, 16, 24, )fps: frames per second (5, 15, 20

12、, 24, 30, )壓縮率:(1, 6, 24, )長寬量化位數(shù)fps壓縮率= bits/sec17視頻數(shù)據(jù)量(壓縮前，in gigabytes)(壓縮后，每小時(shí)的數(shù)據(jù)量，in megabytes)18MPEG-1概述MPEG-1 Requirements(在大約1.5Mb/s數(shù)碼率的情況下,獲得質(zhì)量可接受的A/V信息;適合于CD-ROM,DAT磁帶 ,硬盤,可寫光盤等數(shù)字存儲 介質(zhì);可在N-ISDN、LAN等通信網(wǎng)絡(luò)上傳輸)1 random access 2 fast forward/backward search3 reverse playback 4 A/V synchronizati

13、on5 robustness to errors 6 small encoding/decoding delay7 editability 8 format flexibility9 cost tradeoff19視頻數(shù)據(jù)壓縮編碼的依據(jù)每一幀畫面內(nèi)部的信息有很強(qiáng)的相關(guān)性;相鄰畫面之間有高度的相容性;運(yùn)動(dòng)可以估測（Motion Estimation）;人眼的視覺特性有利于數(shù)據(jù)的壓縮.20視頻壓縮編碼技術(shù)的評價(jià)準(zhǔn)則碼率(bitrate)重建圖像的質(zhì)量編碼/解碼延時(shí)錯(cuò)誤修復(fù)能力算法復(fù)雜程度21MPEG-1視頻壓縮的基本方法 在空間域:采用JPEG(Joint Photographic Experts

14、 Group)壓縮算法來去掉畫面內(nèi)部的冗余信息。 在時(shí)間域:采用運(yùn)動(dòng)補(bǔ)償(motion compensation)算法來去掉畫面之間的冗余信息。 22運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(temporal) DCT(spatial)23MPEG-1視頻編/解碼總框圖預(yù)處理壓縮編碼存儲和/或傳輸解碼后處理顯示數(shù)字視頻24FramerecorderDCTQuantizeVariable-lengthcoderTransmitbufferPredictionencoderDe-quantizeInverseDCTMotionpredictorReferenceframeRatecontrollerINOUTScalef

15、actorBufferfullnessPredictionMotion vectorsDC25MPEG-1的6層結(jié)構(gòu)26MPEG 的畫面組(GOP)視頻畫面序列被分成一個(gè)一個(gè)畫面組(Grupe Of Pictures, GOP)每個(gè)GOP中至少包含一個(gè)I畫面，可沒有B畫面,甚至沒有P畫面27畫面的分類Intra-picture ( I畫面 )不需要參考其它畫面而獨(dú)立進(jìn)行壓縮編碼的畫面;Predicted-picture ( P畫面 )參考前面已編碼的 I 或 P畫面進(jìn)行預(yù)測編碼的畫面;Bidirectional-picture ( B畫面 )既參考前面的I或P畫面、又參考后面的I或P畫面進(jìn)行雙

16、向預(yù)測編碼的畫面 inter-frames: P-frame & B-frame28I frames are independently encodedP frames are based on previous I, P framesB frames are based on previous and following I and P frames29GOPMPEG-1 most commonly uses a GOP size of 15-18. i.e. 1 I-frame for every 14-17 non-I-frames 30畫面的重新排序畫面的顯示順序是: I B B P

17、B B P B B P 1 2 3 4 5 6 7 8 9 10 畫面的編碼順序是: I P B B P B B P B B 1 4 2 3 7 5 6 10 8 9因此, 每一個(gè)GOP中的畫面在編碼前和解碼后都必須重排序BBPBBPIB 1 2 3 4 5 6 7 8 9 10例BGOP(Group of Pictures)P31Slice and Macroblock32Blocks and Macro-blocksBlockDCT unitY,U, and V cut into 8x8 pixel regionsMacro-blockA macroblock consists of 6

18、blocksIn Y component, a macro-block refers to a 16x16 pixel region, or four 8x8 blocksIn U and V components, a macro-block refers to two 8x8 regions, or two blocks33Block 塊34I-frame 編碼順序35P/B frame需要運(yùn)動(dòng)補(bǔ)償Predict the current frame based on reference frames while compensating for the motion.At Macroblo

19、ck level36宏塊的大小與組成宏塊有2種情況：可預(yù)測宏塊:與參考畫面中的某個(gè)宏塊有位移關(guān)系不可預(yù)測宏塊:與參考畫面中的任何宏塊都找不到位移關(guān)系012345Y(16x16)U(8x8)V(8x8)37可預(yù)測宏塊Forward prediction:前向預(yù)測宏塊( I or P picture)(P picture)Bidirectional prediction:雙向預(yù)測宏塊( I or P picture)( I or P picture)(B picture)參考畫面參考畫面參考畫面被編碼宏塊被編碼宏塊38運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量由于畫面內(nèi)容有連貫性,因此當(dāng)前畫面的內(nèi)容可以看作是前面畫面部分內(nèi)

20、容的位移(運(yùn)動(dòng))。3940宏塊的劃分畫面各處的運(yùn)動(dòng)矢量(幅度、方向)各不相同，因此，畫面應(yīng)細(xì)分成塊（宏塊），以宏塊為單位，找出兩幀畫面中相應(yīng)宏塊之間的位移關(guān)系運(yùn)動(dòng)矢量41運(yùn)動(dòng)矢量估計(jì)算法基本原理:假設(shè)一個(gè)初始矢量 計(jì)算匹配度是否最佳匹配結(jié)束y在搜索范圍內(nèi)調(diào)整運(yùn)動(dòng)矢量n42Block-based Motion Estimation and Compensation43MPEG encoder44MPEG-1 小結(jié)特點(diǎn)：是一種通用標(biāo)準(zhǔn)，它規(guī)定了編碼視頻流的表示語法和解碼方法。該語法支持的操作有運(yùn)動(dòng)補(bǔ)償預(yù)測、離散余弦變換(DCT)、量化和變長編碼，編碼器設(shè)計(jì)具有靈活性（它沒有定義產(chǎn)生合法數(shù)據(jù)流所需的

21、詳細(xì)算法；例如，對運(yùn)動(dòng)估計(jì)算法和壓縮模式選擇未作規(guī)定）用于定義編碼位流和解碼器的一系列參數(shù)都包含在位流本身中。這就允許算法適用于不同大小和寬高比的畫面，也可以用在工作速率范圍很大的信道和設(shè)備上。45編碼器的主要操作1為 GOP中的 I畫面、P畫面和 B畫面重新排序 2為 P畫面和 B畫面中的每個(gè) MB（宏塊）估算運(yùn)動(dòng)矢量 3確定每個(gè) MB的宏塊類型（ MTYPE） 4如果選擇自適應(yīng)量化的話，設(shè)置量化因子 MQUANT。46I, P, B 三種畫面的比較壓縮后，3種畫面比特?cái)?shù)目的比較： IPB例如：I畫面： 300 kb P畫面：100-65 kb B畫面：18-7 kb關(guān)于B畫面優(yōu)點(diǎn)：預(yù)測效果好，壓縮效率高，缺點(diǎn)：復(fù)雜，需要較大的緩沖器，增加了編碼延遲。47缺點(diǎn)與不足16 x 16的宏塊作為預(yù)測單位尺寸稍大可能產(chǎn)生亞象素級的位移物體的3D運(yùn)動(dòng)(如旋轉(zhuǎn))不易預(yù)測攝象機(jī)運(yùn)動(dòng)、燈光變化、物體形狀變化、場景切換、物體遮擋等引起的畫面變化，預(yù)測有困難B畫面、P畫面使編輯操作復(fù)雜化僅適合 逐行掃描的視頻信號的處理48練習(xí)Consider a video clip encoded in MPEG-1 with a frame rate o