1、第第3 3章章 視頻編碼技術視頻編碼技術 1.1.視頻信號的數字化視頻信號的數字化2.2.視頻文件格式視頻文件格式3.3.視頻壓縮編碼原理視頻壓縮編碼原理4.4.視頻壓縮標準視頻壓縮標準學習目標u掌握視頻數字化方法u了解視頻文件格式u掌握視頻壓縮編碼原理（預測編碼、變換編碼、統計編碼原理）u理解視頻壓縮標準（ MPEG標準標準 ）3.1 視頻信號的數字化 所謂所謂視頻視頻（video frequency ），），連續的圖像變化每秒超過24幀（frame）畫面以上時，根據視覺暫留視覺暫留原理，人眼無法辨別單幅的靜態畫面，看上去是平滑連續的視覺效果，這樣連續的畫面叫做視頻。即視頻是由即視頻是由一系

2、列單獨的一系列單獨的靜止圖像靜止圖像組成，其單位用幀或格來表示；組成，其單位用幀或格來表示； 人眼在觀察景物時，光信號傳入大腦神經，需經過一段短暫人眼在觀察景物時，光信號傳入大腦神經，需經過一段短暫的時間，光的作用結束后，視覺形象并不立即消失，而能繼續保的時間，光的作用結束后，視覺形象并不立即消失，而能繼續保留其影像留其影像0.1-0.4秒左右，這種現象被稱為視覺暫留現象。秒左右，這種現象被稱為視覺暫留現象。1.1.視頻相關的基本概念視頻相關的基本概念幀：幀：一幀是掃描獲得的一幅完整圖像的信號，是視一幀是掃描獲得的一幅完整圖像的信號，是視 頻圖像的最小單位；頻圖像的最小單位；“幀幀”在動畫創作

3、當中又在動畫創作當中又稱稱 “格格”。幀率：幀率：就是每秒鐘掃描多少幀。對于就是每秒鐘掃描多少幀。對于PAL制式電視制式電視 系統，幀率為系統，幀率為25幀；而幀；而NTSC制式電視系制式電視系 統，幀率為統，幀率為30幀。幀。場：場：視頻的一個掃描過程。有視頻的一個掃描過程。有逐行掃描逐行掃描和和隔行掃隔行掃 描描，對于逐行掃描，一幀即是一個垂直掃描，對于逐行掃描，一幀即是一個垂直掃描 場；對于隔行掃描，一幀由兩場構成：場；對于隔行掃描，一幀由兩場構成：奇數場奇數場 和偶數場和偶數場，是用兩個隔行掃描場表示一幀。，是用兩個隔行掃描場表示一幀。1.1.視頻相關的基本概念視頻相關的基本概念（1）

4、逐行掃描圖圖 逐行掃描方式逐行掃描方式實線為行掃描的正程，左右；虛線 逆程，右左。1.1.視頻相關的基本概念視頻相關的基本概念（2）隔行掃描圖圖 隔行掃描方式隔行掃描方式1.1.視頻相關的基本概念視頻相關的基本概念 視頻信號有視頻信號有模擬視頻信號模擬視頻信號與與數字視頻信號數字視頻信號之分。之分。u模擬視頻模擬視頻即指由連續的模擬信號組成視頻圖像，它的存儲介即指由連續的模擬信號組成視頻圖像，它的存儲介質是磁帶或錄像帶；在編輯或轉錄過程中畫面質量會降低。質是磁帶或錄像帶；在編輯或轉錄過程中畫面質量會降低。u數字視頻數字視頻是把模擬信號變為數字信號，它描繪的是圖像中的是把模擬信號變為數字信號，它

5、描繪的是圖像中的單個像素，可以直接存儲在電腦硬盤中，因此在編輯過程中單個像素，可以直接存儲在電腦硬盤中，因此在編輯過程中可以最大限度地保證畫面質量幾乎沒有損失。可以最大限度地保證畫面質量幾乎沒有損失。1.1.視頻相關的基本概念視頻相關的基本概念 但數字視頻的數據量是非常驚人的，按照但數字視頻的數據量是非常驚人的，按照ITU-R601標標準準4 2 2格式的格式的PAL制數字化視頻信號，制數字化視頻信號，每幀數據量每幀數據量為為720576826.64Mbit，每秒數據每秒數據量為量為6.6425165Mbit。ITU-R601數字演播室標準4:2:2格式中色差信號的取樣為亮度信號的一半。 60

6、0Mbit的存儲空間只能存儲的存儲空間只能存儲90幀的視頻圖像信號，或幀的視頻圖像信號，或者說可以存儲大約者說可以存儲大約3.6 s的數字電視節目。的數字電視節目。 如果存儲更高分辨率的高清數字電視信號，那存儲時間如果存儲更高分辨率的高清數字電視信號，那存儲時間就更短了，大約只有幾秒鐘。因此對視頻的處理、傳輸、存就更短了，大約只有幾秒鐘。因此對視頻的處理、傳輸、存儲和顯示提出了更高的要求。儲和顯示提出了更高的要求。1.1.視頻相關的基本概念視頻相關的基本概念u 視頻信息和信號特點：視頻信息和信號特點：(1) 直觀性：直觀性：給人印象更深刻、生動、具體。給人印象更深刻、生動、具體。(2) 確定性

7、：確定性：“百聞不如一見百聞不如一見”。(3) 高效性：高效性：人眼是一個高度復雜的并行信息處理系人眼是一個高度復雜的并行信息處理系 統，能并行快速地觀察一幅圖像的細節，因此它獲取視統，能并行快速地觀察一幅圖像的細節，因此它獲取視頻信息的效率要比語音信息高得多。頻信息的效率要比語音信息高得多。(4) 廣泛性：廣泛性：人類接受的信息，人類接受的信息，80%來自視覺。來自視覺。1.1.視頻相關的基本概念視頻相關的基本概念數字視頻的獲取方法：數字視頻的獲取方法：2.2.視頻的采集及數字化視頻的采集及數字化從現成的數字視頻庫中截取。從現成的數字視頻庫中截取。利用計算機軟件制作視頻。利用計算機生成的動畫

8、，利用計算機軟件制作視頻。利用計算機生成的動畫，如把如把flc或或gif動畫格式轉換成動畫格式轉換成avi等視頻格式。等視頻格式。把靜態圖像或圖形文件序列組合成視頻文件序列。把靜態圖像或圖形文件序列組合成視頻文件序列。 通過視頻采集設備獲取數字視頻。通過視頻采集設備獲取數字視頻。通過視頻采集卡通過視頻采集卡把模擬視頻轉換成數字視頻，并按數字視頻文件的格把模擬視頻轉換成數字視頻，并按數字視頻文件的格式保存下來。式保存下來。 數字視頻的采集系統數字視頻的采集系統視頻源設備：錄像機、電視機、影碟機等；視頻源設備：錄像機、電視機、影碟機等；視頻采集卡：對模擬視頻信號進行視頻采集卡：對模擬視頻信號進行采

9、樣、量化采樣、量化和和編碼編碼的設備；的設備；高性能計算機：接收和記錄編碼后的數字視頻高性能計算機：接收和記錄編碼后的數字視頻數據。數據。大容量存儲設備：存儲經過編輯修改的數字視大容量存儲設備：存儲經過編輯修改的數字視頻文件。頻文件。2.2.視頻的采集及數字化視頻的采集及數字化視頻采集卡的接口視頻采集卡的接口復合端口復合端口色差分量接口色差分量接口2.2.視頻的采集及數字化視頻的采集及數字化視頻采集卡的接口視頻采集卡的接口復合端口復合端口 也稱也稱AV 接口接口，通常都是，通常都是成對的白色成對的白色音頻接口和音頻接口和黃色黃色的的視頻接口，常用接頭有視頻接口，常用接頭有BNC接頭和蓮花接頭和

10、蓮花(RCA)接頭。傳輸的接頭。傳輸的是亮度是亮度/色度色度(Y/C) 混合在一起的視頻信號。易導致亮、色串混合在一起的視頻信號。易導致亮、色串擾、清晰度降低等問題，是最差的視頻信號。擾、清晰度降低等問題，是最差的視頻信號。 2.2.視頻的采集及數字化視頻的采集及數字化 分量視頻信號(Component Video Signal)是指每個基色分量作為獨立的視頻信號。一般用亮度-色差表示，如Y和Cr、Cb，Y和I、Q，Y和U、V。使用分量視頻信號是表示顏色的最好方法。 分量信號接入口視頻采集卡的接口視頻采集卡的接口色差分量接口色差分量接口2.2.視頻的采集及數字化視頻的采集及數字化視頻采集卡的接

11、口視頻采集卡的接口 S-Video四芯插頭（座） 地(亮度)地(色度)亮度(含同步信號)色度 S端子信號，它同時傳送兩路信號：亮度信號Y和色度信號C。由于將亮度和色度分離，色度對亮度的串擾現象也消失。其圖象質量優于復合視頻信號，但低于分量視頻信號。 S端子用四芯插頭，一些計算機顯卡或非線性編輯卡也有用七芯插頭，其外形與S端子一樣，只是又包含了復合視頻信號。2.2.視頻的采集及數字化視頻的采集及數字化視頻采集卡的接口視頻采集卡的接口2.2.視頻的采集及數字化視頻的采集及數字化蓮花接頭蓮花接頭視頻采集卡的接口視頻采集卡的接口IEEE1394接口接口 IEEE1394是一種外部串行總線標準，是一種外

12、部串行總線標準，800Mbps的的高速。高速。1394接口接口具有把一個輸入信息源傳來的數據向具有把一個輸入信息源傳來的數據向多個輸出機器廣播的功能多個輸出機器廣播的功能，特別適用于家庭視聽的連接。，特別適用于家庭視聽的連接。由于該接口具有等時間的傳送功能，確保視聽由于該接口具有等時間的傳送功能，確保視聽AV設備設備重播聲音和圖像數據質量，具有好的重播效果。重播聲音和圖像數據質量，具有好的重播效果。2.2.視頻的采集及數字化視頻的采集及數字化視頻圖像的數字化視頻圖像的數字化2.2.視頻的采集及數字化視頻的采集及數字化 數字化方法數字化方法 （1）先從復合彩色圖像中分離出彩色分量，然后數字化。

13、（2）首先用一個高速A/D轉換器對彩色全信號進行數字化,然后在數字域中進行分離，以獲得所希望的YCbCr，YUV，YIQ或RGB分量數據。 數字化標準數字化標準ITU-R BT.601標準標準 彩色電視圖像數字化標準，稱為CCIR 601標準，現改為ITU -R BT.601標準。該標準規定了彩色電視圖像轉換成數字圖像時使用的采樣頻率，彩色空間之間的轉換關系等。視頻圖像的數字化視頻圖像的數字化2.2.視頻的采集及數字化視頻的采集及數字化1280813. 04187. 0500. 0128500. 03313. 01687. 0114. 0587. 0299. 0BGRCBGRCBGRYrb（1

14、 1）色彩空間轉換）色彩空間轉換視頻圖像的數字化視頻圖像的數字化2.2.視頻的采集及數字化視頻的采集及數字化 （2 2）采樣頻率）采樣頻率 亮度信號采樣頻率fs= 13.5 MHZ； 色度信號采樣頻率fc6.75MHZ 或 13.5MHZ； 每個掃描行的有效樣本數均為720； 如圖2.15(數字視頻技術及應用P23) 數字信號取值范圍：亮度信號220級，色度信號225級。 對PAL制、SECAM制，采樣頻率fs為： fs=625(行數/幀)25(幀數/秒)N=15625N=13.5 MHz, N=864 其中，N為每一掃描行上的采樣數目。 對NTSC制，采樣頻率fs為： fs=52529.97

15、N=15734N=13.5 MHz, N=858 其中，N為每一掃描行上的采樣數目。視頻圖像的數字化視頻圖像的數字化 （3 3）亮度和色度信號的采樣）亮度和色度信號的采樣 Y:Cb:CrY:Cb:Cr4:1:14:1:1 這種方式是在每4個連續的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點的樣本值，共6個樣本。 Y:Cb:CrY:Cb:Cr 4:2:24:2:2 這種方式是在每4個連續的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點和第三點的樣本值，共8個樣本。這種方式能給信號的轉換留有一定余量，效果更好一些。這是通常所用的方式。2.2.視頻的采集及數字化視頻

16、的采集及數字化 Y:Cb:CrY:Cb:Cr 4:4:44:4:4 在這種方式中，對每個采樣點，亮度Y、色差Cb、Cr各取一個樣本。這種方式對于原本就具有較高質量的信號源，可以保證其色彩質量，但信息量大。Y:U:VY:U:V4:2:04:2:0 分兩種情況： MPEG-1/H.261/H.263等標準使用的： 水平方向的2個Y樣本和垂直方向上的2個Y樣本共 用1個Cb樣本和1個Cr樣本。 MPEG-2標準使用的： MPEG-2相對于MPEG-1的Cr，Cb子采樣在水平方向 有半個像素的偏移。圖圖 ITU-T BT.601ITU-T BT.601建議的取樣點結構建議的取樣點結構圖圖 ITU-T

17、BT.601ITU-T BT.601建議的取樣點結構（續）建議的取樣點結構（續）MPEG-2圖圖 ITU-T BT.601ITU-T BT.601建議的取樣點結構（續）建議的取樣點結構（續）MPEG-1/H.261/H.263e MPEG-1相對于相對于MPEG-2的的Cr，Cb子采樣在水平子采樣在水平方向有方向有半個像素半個像素的偏移的偏移。參量NTSC制（525行，60場） PAL制（625行，50場）編碼信號Y/R-Y/B-Y全行采樣點數亮度y858864色度R-Y/B-Y429432采樣結構正交，按行/場/幀重復，每行中的R-Y/B-Y取樣與奇數（1，3，5，）點Y取樣同位采樣頻率/M

18、Hz亮度Y13.5色度R-Y/B-Y6.75編碼方式亮度信號和色差信號均為8 bit PCM每行有效采樣點數亮度Y720色度R-Y/B-Y360有效圖像尺寸亮度Y720480720576色度R-Y/B-Y360480360576表表 ITU-T BT.601建議的建議的4 2 2標準標準 （4 4）分辨率）分辨率 CCITT規定了稱為公用中分辨率格式CIF(CommonIntermediate Format)和1/4公用中分辨率格式(Quarter-CIF，QCIF)格式。 QCIF：176x144CIF: 352x288SD(標清): 720 x480; 640 x480, 704x480,

19、 720 x576HD(高清): 1280 x720, 1920 x1080視頻圖像的數字化視頻圖像的數字化2.2.視頻的采集及數字化視頻的采集及數字化 CCITT: International Telephone and Telegraph Consultative Committee，國際電報電話咨詢委員會 （1 1）本地影像視頻格式）本地影像視頻格式 AVIAVI格式，格式，英文全稱為Audio Video Interleaved，即音頻視頻交錯格式。所謂“音頻視頻交錯”，就是可以將視頻和音頻交織在一起進行同步播放。這種視頻格式的優點是圖像質量好,可以跨多個平臺使用，現在幾乎所有的非線性

20、編輯系統都支持AVI格式。其缺點是體積過于龐大。壓縮標準不統一是其主要問題。 DV-AVIDV-AVI格式，格式，DV的英文全稱是Digital Video Format，是由索尼、松下等多家廠商聯合提出的一種家用數字視頻格式。它可以通過電腦的IEEE 1394端口傳輸視頻數據到電腦，也可以將電腦中編輯好的的視頻數據回錄到數碼攝像機中。這種視頻格式的文件擴展名一般是.avi，所以也叫DV-AVI格式。3.2 3.2 數字視頻文件格式數字視頻文件格式 MPEGMPEG格式，格式，英文全稱為Moving Picture Expert Group，即運動圖像專家組格式。MPEG文件格式是運動圖像壓縮

21、算法的國際標準， MPEG不是一種簡單的文件格式，而是不是一種簡單的文件格式，而是編碼方案。編碼方案。它采用了有損壓縮方法減少運動圖像中的冗余信息，其最大壓縮比可達到200:1。目前MPEG視頻格式常見的壓縮標準是MPEG-1、MPEG-2、MPEG-4。家里常看的家里常看的VCD、SVCD、DVD就是這種格式。就是這種格式。 DivXDivX格式，格式，是由MPEG-4衍生出的另一種視頻編碼(壓縮)標準，也即DVDrip格式，它采用了DivX壓縮技術對DVD盤片的視頻圖像進行高質量壓縮，同時用MP3或AC3對音頻進行壓縮，然后再將視頻與音頻合成并加上相應的外掛字幕文件而形成的視頻格式。其畫質

22、直逼DVD并且體積只有DVD的數分之一。3.2 3.2 數字視頻文件格式數字視頻文件格式（1 1）本地影像視頻格式）本地影像視頻格式MOV格式，美國Apple公司開發的一種視頻格式，默認的播放器是蘋果的QuickTime Player。具有較高的壓縮比率和較完美的視頻清晰度等特點，但是其最大的特點還是跨平臺性，即不僅能支持Mac OS，同樣也能支持Windows系列。 Avid Media composer非線性編輯軟件支持該格式。 （1 1）本地影像視頻格式）本地影像視頻格式（）網絡影像視頻格式（）網絡影像視頻格式 廣泛應用于視頻點播、網絡演示、遠程教育、網絡視頻廣廣泛應用于視頻點播、網絡演

23、示、遠程教育、網絡視頻廣告等等互聯網信息服務領域。告等等互聯網信息服務領域。 ASF格式，英文全稱為Advanced Streaming Format，是微軟推出的可以直接使用Windows自帶的Windows Media Player對其進行播放。它使用了MPEG-4的壓縮算法，所以壓縮率和圖像的質量都很不錯。 WMV格式，英文全稱為Windows Media Video，也是微軟推出的一種采用獨立編碼方式并且可以直接在網上實時觀看視頻節目的文件壓縮格式。WMV格式的主要優點包括：本地或網絡回放、可擴充的媒體類型、多語言支持、環境獨立性、豐富的流間關系以及擴展性等。 3.2 3.2 數字視頻

24、文件格式數字視頻文件格式 RM格式，Real Networks公司所制定的音頻視頻壓縮規范稱為Real Media，用戶可以使用Real Player或Real OnePlayer進行實況轉播，可以根據不同的網絡傳輸速率制定出不同的壓縮比率，從而實現在低速率的網絡上進行影像數據實時傳送和播放，實現在線播放。另外，RM作為目前主流網絡視頻格式，可以通過其Real Server服務器將其它格式的視頻轉換成RM視頻并由Real Server服務器負責對外發布和播放。3.2 3.2 數字視頻文件格式數字視頻文件格式（）網絡影像視頻格式（）網絡影像視頻格式 RMVB格式，是一種由RM視頻格式升級延伸出的

25、新視頻格式。RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式，對靜止和動作場面少的畫面場景采用較低的編碼速率，這樣可以留出更多的帶寬空間，而這些帶寬會在出現快速運動的畫面場景時被利用，保證了靜止畫面質量的前提下，大幅地提高了運動圖像的畫面質量，從而圖像質量和文件大小之間就達到了微妙的平衡。 （）網絡影像視頻格式（）網絡影像視頻格式3.2 3.2 數字視頻文件格式數字視頻文件格式名名 稱稱功功 能能轉轉 換換 格格 式式操作系統操作系統WinMPGWinMPG Video Video ConvertConvert多功能視多功能視頻格式轉頻格式轉換換可以將可以將AVIAVI格式轉換成格式轉

26、換成MPEG-1/MPEG-MPEG-1/MPEG-2/DVD/VCD/SVCD/DivX2/DVD/VCD/SVCD/DivX等視頻格式，而且等視頻格式，而且還可以將還可以將ASFASF和和WMVWMV等視頻格式轉換成等視頻格式轉換成AVIAVI及及MPEG-4MPEG-4格式格式WindowsXPWindowsXP/NT/2000/NT/2000/9X9XZealot Zealot AII Video AII Video ConverterConverter多功能視多功能視頻格式轉頻格式轉換換將將AVIAVI轉換成轉換成nAVI/MPEG-1/MPEG-nAVI/MPEG-1/MPEG-2

27、/DVD/VCD/SVCD/WMV/ ASF2/DVD/VCD/SVCD/WMV/ ASF視頻文件和將視頻文件和將MPEGMPEG轉換成轉換成AVI/DivXAVI/DivX/WMV/ASF/WMV/ASF格式格式WindowsXPWindowsXP/NT/2000/NT/2000/9X9XAVS Video AVS Video ConverterConverter多功能視多功能視頻格式轉頻格式轉換換將需要轉換的將需要轉換的AVI/MPG/MPEG-1/MPEG-AVI/MPG/MPEG-1/MPEG-2/VOB2/VOB（DVDDVD）/DAT/DAT（VCDVCD）/WMV/ASF/WMV

28、/ASF等格等格式轉換成式轉換成AVIAVI、MPEGMPEG、WMVWMV、RMRM和和VCDVCD格式格式WindowsXPWindowsXP/NT/2000/NT/2000/9X9X網絡多媒網絡多媒體夢工場體夢工場20042004RMRM格式轉格式轉換換將將VCDVCD（.dat.dat）、）、DVDDVD（.vob.vob）、）、.MPG.MPG和和.WAV.WAV等視頻格式轉換成等視頻格式轉換成.RM.RM格式格式WindowsXPWindowsXP/NT/2000/NT/2000/9X9X表表 常用的視頻格式轉換軟件常用的視頻格式轉換軟件3.2 3.2 數字視頻文件格式數字視頻文件

29、格式未完，見續表未完，見續表名名 稱稱功功 能能轉轉 換換 格格 式式操作系統操作系統RM RM ConverterConverterRMRM格式格式轉換轉換將將AVIAVI與與MPEGMPEG格式視頻文件直接轉換成格式視頻文件直接轉換成RMRM格格式式WindowsXWindowsXP/NT/200P/NT/2000/9X0/9XAVItoAVIto DivXDivXDivXDivX格格式轉換式轉換將將AVI/MPEG/MPG/MOV/QTAVI/MPEG/MPG/MOV/QT等格式的視頻文件等格式的視頻文件轉換成轉換成DivXDivX格式格式WindowsXWindowsXP/NT/200

30、P/NT/2000/9X0/9X豪杰視頻豪杰視頻通通DVDDVD格式格式轉換轉換可以將可以將DVDDVD向向VCDVCD進行視頻轉換，將進行視頻轉換，將DVDDVD視頻視頻轉換成轉換成MPEG-4/AVI/RMMPEG-4/AVI/RM等視頻格式。將等視頻格式。將DVDDVD視頻轉換成視頻轉換成GIFGIF動畫文件及進行其他的視頻動畫文件及進行其他的視頻格式（如格式（如.MPG.MPG、.MPEG.MPEG、.DAT.DAT和和.AVI.AVI等）向等）向RMRM視頻格式及視頻格式及GIFGIF動畫格式的轉換動畫格式的轉換表表 常用的視頻格式轉換軟件常用的視頻格式轉換軟件 （續表）（續表）3.

31、2 3.2 數字視頻文件格式數字視頻文件格式3.3 3.3 視頻壓縮編碼視頻壓縮編碼 1.1.視頻壓縮原理視頻壓縮原理 視頻數據之所以能被壓縮，是因為在視頻數據中存在著大量的冗余信息。 視頻數據主要存在下列冗余：（1）空間冗余）空間冗余，同一幀圖像中相鄰的像素具有很強的相關性。（2）時間冗余）時間冗余，圖像序列中相鄰幀的對應像素具有很強的相關性。（3）結構冗余）結構冗余，在視頻圖像的紋理區，像素的亮、色度信息存在著明顯的分布模式，如果知道了分布模式，就可以通過某種算法來生成圖像，即存在結構冗余。空間冗余空間冗余時間冗余時間冗余1.1.視頻壓縮原理視頻壓縮原理（4）視覺冗余）視覺冗余，研究發現人

32、眼的視覺特性是非均勻和非線性非均勻和非線性的。例如，人眼對視頻圖像色度的敏感性遠低于對亮度的敏感性，對低頻信息的敏感度高于對高頻信息的敏感度等等。在很多場合，人眼是視頻信息的最終接收者，因此，可以對人眼不敏感的信息少編碼甚至不編碼以壓縮數據量。（5）知識冗余）知識冗余，指視頻圖像中所包含的某些信息與人們的一些先驗知識有關。例如在頭肩圖像中， 頭、眼、鼻和嘴的相對位置等信息就 是人類的共性知識。 3.3 視頻壓縮編碼視頻壓縮編碼 視頻壓縮編碼的類型：視頻壓縮編碼的類型：預測編碼：差分脈沖預測編碼：差分脈沖PCM等等變換編碼：正交變換、離散余弦變換變換編碼：正交變換、離散余弦變換統計編碼：霍夫曼編

33、碼、游程編碼、算術編碼統計編碼：霍夫曼編碼、游程編碼、算術編碼子帶編碼子帶編碼小波變換編碼小波變換編碼分形編碼分形編碼知識（模型）基編碼知識（模型）基編碼3.3 3.3 視頻壓縮編碼視頻壓縮編碼 2.2.視頻壓縮編碼視頻壓縮編碼3.3.1 預測編碼1. 預測編碼的基本內容預測編碼的基本內容 預測編碼是基于圖像數據的時間和空間冗余特性，用相鄰的已知像素（或圖像塊）來預測當前像素（或圖像塊）的取值，然后再對預測誤差進行量化和編碼。 這些相鄰像素（或圖像塊）可以是同行掃描的，也可以是前幾行或前幾幀的，相應的預測編碼分別稱為一維、二維和三維預測，其中一維和二維預測是幀內預測，三維預測是幀間預測，即在時

34、間軸上用前一幀的像素（或圖像塊）對后一幀的像素（或圖像塊）進行預測。 幀間預測編碼主要利用活動圖像序列相鄰幀間的相關性，即圖像數據的時間冗余來達到壓縮的目的，它可以獲得比幀內預測編碼高得多的壓縮比。2. 預測編碼的類型 預測編碼分線性預測和非線性預測兩類，線性預測編碼又稱為差分脈沖編碼調制，即DPCM（Differential Pulse Code Modulation）。 DPCM系統又稱預測量化系統。 q差分脈沖調制預測原理圖q差分脈沖調制預測發送端預測器帶有存儲器，把tn時刻以前的采樣值x1, x2, x3, xn-1存儲起來并據此對xn進行預測，得到預測值dn為xn與 的差值，dn為d

35、n經量化器量化的值xn是接收端的輸出信號誤差qn為 qn=xn- xn= xn-( +dn)=(xn- )- dn= dn- dn實際上就是發送端的量化器對誤差量化的誤差對 dn的量化越粗糙，壓縮比越高，失真越大q差分脈沖調制預測應用示例例如，取一序列為例如，取一序列為1010，1212，1414，1616，1818，2020。（例如亮度變化緩慢的圖像的亮度值）由于其（例如亮度變化緩慢的圖像的亮度值）由于其中所有數字都不相同，但是是一個等差的數列，中所有數字都不相同，但是是一個等差的數列，所以行程編碼和哈夫曼對其不產生壓縮效果。所以行程編碼和哈夫曼對其不產生壓縮效果。先用先用DPCMDPCM方

36、法，其預測器的預測參數為方法，其預測器的預測參數為 =X=Xn-1n-1，則其誤差值得到一個新的序列，則其誤差值得到一個新的序列1010，2 2，2 2，2 2，2 2，2 2。然后再使用行程編碼方法對這個。然后再使用行程編碼方法對這個新序列進行壓縮，壓縮結果為新序列進行壓縮，壓縮結果為10(5,2)10(5,2)。q差分脈沖調制預測適用于輸入數據為適用于輸入數據為平穩平穩的隨機過程的隨機過程預測器設計是預測編碼系統的核心，預測器的復雜程度預測器設計是預測編碼系統的核心，預測器的復雜程度與線性預測中使用以前的樣本數有關，樣本數越多，預與線性預測中使用以前的樣本數有關，樣本數越多，預測器越復雜測

37、器越復雜對預測誤差的量化是造成圖像質量下降的主要原因，表對預測誤差的量化是造成圖像質量下降的主要原因，表現為：現為：l斜率過載：圖像輪廓變模糊斜率過載：圖像輪廓變模糊l顆粒噪聲：圖像在平坦區出現顆粒狀的細斑顆粒噪聲：圖像在平坦區出現顆粒狀的細斑l邊緣忙亂：在變化不快的邊緣出現閃爍不定現象邊緣忙亂：在變化不快的邊緣出現閃爍不定現象l偽輪廓：在圖像亮度值緩慢變化區域出現偽輪廓偽輪廓：在圖像亮度值緩慢變化區域出現偽輪廓3. 雙向預測 前向預測：就是用K-1幀來預測K幀圖像。 后向預測：用K幀預測前面的K-1幀圖像。 雙向預測：用前、后兩幀來預測中間幀圖像。圖圖 雙向預測示意圖雙向預測示意圖圖圖 I

38、I、P P和和B B圖像的依賴關系圖像的依賴關系I 幀：幀內圖(Intra Picture) ,只做幀內編碼P幀：預測圖(Predicted Picture),前向預測幀B幀：雙向圖(Bidirectional Picture),雙向預測幀 （1）I幀幀 I 幀采用類似JPEG的編碼方式實現。它不以任何其他幀做參考幀，僅僅進行幀內的空域冗余壓縮。 （2）P幀幀 P幀是由一個過去的I幀或P幀采用運動補償的幀間預測進行更有效的編碼方式。圖像P由殘差圖像SAD和運動矢量MV組成。DCT+量化+RLE圖圖5-12 5-12 運動自適應幀內插運動自適應幀內插 （3）B幀幀 B幀是用過去的圖像(I幀或P幀

39、)和后來的圖像幀(I幀或P幀)，采用運動補償的雙向預測編碼方式。DCT+量化+RLE4. 像素塊預測 MPEG編碼時，先將一幀圖像分割成若干橫條，每一橫條稱為一片，在625行的PAL制中，每幀圖像切成18片，在525行的NTSC制中，每幀圖像切成15片。 每一片再縱向切割成22塊，這些塊稱為宏塊或大塊，它是MPEG標準的圖像處理基本單元。 每個宏塊中的彩色圖像，可以用一個亮度信號Y和兩個色差信號Cb和Cr來表示，由于人眼對亮度信號敏感高于色度信號，因而對每個宏塊的亮度信號再平均分成4個像塊。 每個像塊在水平方向分成8個像素，垂直方向也分成8個像素，則每個像塊可分成64個像素，而兩個色差信號Cb

40、、Cr宏塊不再分成像塊，而是直接分成64個像素，如圖5-8所示。圖圖5-8 MPEG5-8 MPEG圖像的格式圖像的格式 在圖像編碼領域目前使用的運動估值算法有塊匹配法、像素遞歸法、相位相關法以及針對由攝像機運動引起圖像全局運動的全局運動參數估值等。 其中塊匹配法是最常用的一種方法，在活動視頻編碼的國際標準H.261、MPEG-1、MPEG-2中，實際都采用塊匹配法做運動估值。 變換編碼的基本原理就是將原來在空間域或時間域內描述的信號，變換到正交矢量空間（頻域或變換域）中去，用變換系數來表示原始圖像，并對變換系數進行編碼。3.3.2 變換編碼 盡管變換本身并不帶來數據壓縮，但由于變換后信號的能

41、量大部分集中于少數幾個變換系數上，刪去對信號貢獻較小（方差小）的系數，就可以達到有效壓縮的目的，并且不會引起明顯的失真。正交變換正交變換K-L變換變換離散余弦離散余弦DCT變換變換 K-L變換只是理論上的最佳方法，由于本身沒有通用的變換矩陣，計算量大，應用起來不現實。 在實際編碼工作中，人們更常采用離散余弦變換（DCT）。它也是正交變換，非常接近K-L變換，效果僅次于K-L變換。 對大多數圖像信源來說，DCT變換是在現行變換編碼方法中最接近K-L變換的方法。 圖圖5-16 5-16 變換編碼系統框圖變換編碼系統框圖 實現變換編碼可以分4個步驟完成：第1步是選擇方塊的大小，較好的方塊尺寸是44（

42、H.264）、88（H.261，JPEG，MPEG）或1616；第2步是選擇變換類型，DCT變換是目前應用最廣泛的一種類型；第3步是選擇變換系數，并對其進行高效的量化，以便傳輸或存儲；第4步是對量化系數進行比特分配即編碼，通常使用Huffman編碼或游程編碼。1二維88 DCT變換圖圖5-17 DCT5-17 DCT后系數后系數圖圖5-18 Z5-18 Z字形掃描字形掃描圖圖5-20 85-20 88 8亮度抽樣信號的亮度抽樣信號的DCTDCT壓縮編碼實例壓縮編碼實例圖圖5-20 85-20 88 8亮度抽樣信號的亮度抽樣信號的DCTDCT壓縮編碼實例壓縮編碼實例Z字形掃描和0游程編碼 按順序記錄數據，直到最后一個非0數據，然后加上塊結束碼EOB。 解碼端收到EOB后自動補0，直至補夠64個系數。圖圖5-21 5-21 轉換掃描示意圖轉換掃描示意圖 轉換掃描：MPEG-2中采用，適用于隔行掃描。3.3.3 統計編碼 根據信息碼字出現的概率分布特性尋找概率與碼字長度間的最優匹配，據此對信息進行壓縮，這就是統計編碼方法。 常用的統計編碼有霍夫曼（Huffman）編碼、游程編碼和算術編碼三種。哈夫