數字視頻技術唐浩漾thaoyang@第二部分數字視頻基礎

第二講

數字視頻描述

第三講數字視頻采集第四講數字視頻模型第二章數字視頻描述視頻捕捉和顯示模擬視頻數字視頻顏色感知和表示第二章數字視頻描述2.1顏色感知和表示

視頻信號是一個二維圖像序列，它是運動的三維場景在攝像機圖像平面上的投影。我們得到的畫面中任一點的顏色是與所觀察場景中特定的三維點處發出或反射的光相關聯的。彩色的表示

光和彩色的屬性2.1顏色感知和表示一、光和彩色的屬性1、光的基礎知識光是電磁波的一部分，人眼可以感覺的光其波長在380～780納米（nm）范圍內。光的彩色感知決定于其光譜成分(即它的波長組成)。2.1顏色感知和表示光源類型：發射光源和反射光源發射光源是能發射電磁波的光源包括太陽、燈泡、電視監視器等。對顏色的感知依賴于發射光的頻率。遵循相加規則：幾個混和的發射光源的彩色感知取決于所有光源光譜的總和。R+G+B=White反射光源是能反射入射光的光源其中包括彩色染料和顏料等。對顏色的感知依賴于入射光的光譜成分和反射光的頻率。反射光源遵循相減規則：幾種混和的反射光源的彩色感知取決于剩余的、未被吸收的波長。R+G+B=Black人類的感覺視覺、聽覺、嗅覺、味覺和觸覺“第六感覺”

內部因素：人眼——人類視覺系統外部因素：可見光72.1顏色感知和表示2、HVS(人類視覺系統)對彩色的感知

2.1顏色感知和表示光有兩個屬性：亮度和色度。亮度：指光的明亮程度，與可見波段的總能量成正比。色度：指光的顏色和深淺，依賴于光的波長成分。

色調：指彩色的顏色色度飽和度：指彩色的純度HVS(人類視覺系統)人類獲取外界圖像、視頻信息的工具。涉及光學、色度學、視覺生理學、視覺心理學、解剖學、神經科學和認知科學等科學領域。視覺光輻射刺激人眼所引起的復雜的生理和心理變化。人類最重要最完美的感知手段。92.1顏色感知和表示

HVS(人類視覺系統)

視網膜有兩種類型感光細胞錐狀細胞:在亮光下起作用，感知顏色的色調。

含有三種類型的錐狀細胞。桿狀細胞:在暗一些的光強下工作，只能感知亮度信息。

照相機與人眼睛的比較照相機眼睛透鏡角膜快門虹膜，瞳孔底片、CCD視網膜傳輸電纜視神經鞏膜虹膜角膜瞳孔透鏡結膜玻璃體脈絡膜視神經視網膜中區視網膜2.1顏色感知和表示三類錐狀細胞其峰值分別位于紅色(570nm附近)、綠色(535nm附近)和藍色(445nm附近)波長，它們的組合可以使人類感知任何彩色，這就是彩色視覺的三感光細胞原理。圖2.1人眼視網膜中三類錐狀細胞的光吸收通帶函數2.1顏色感知和表示其中人類視網膜中三類錐狀細胞的頻率響應與亮度效率函數之間的關系如下圖所示。我們可以看到綠色波長對亮度感覺的貢獻最大，其次是紅色波長，而藍色波長最小。2.1顏色感知和表示3、彩色混合的三基色原理三基色原理：任何一種顏色可以通過三基色

按不同比例混合得到。

照明光源的基色系包括紅色、綠色和藍色，稱為RGB基色。

反射光源的基色系包括青色、品色和黃色，稱為CMY基色。

RGB和CMY基色系是互補的，也就是說混合一個色系中的兩種彩色會產生另外一個色系中的一種彩色。2.1顏色感知和表示

RGB基色系CMY基色系色調表示（色輪）2.1顏色感知和表示二、彩色的表示

1、顏色空間模型基于三基色的顏色模型（紅色、綠色和藍色，顯示系統）（青色、品色和黃色，打印機）基于亮度與色度的顏色模型

（亮度、色調、飽和度）

（亮度、色度，PAL制式的彩色電視）

（亮度、色度，NTSC制式的彩色電視）

（數字彩色電視）RGBCMYHSIYIQYCbCrYUV2.1顏色感知和表示

（紅色、綠色和藍色，顯示系統）顯示器中的電子槍可分別產生出紅綠藍三種波長的光，通過適當比例的組合用以激發顯示屏幕上的熒光粉，從而能合成顯示所需要的任意顏色。

RGB2.1顏色感知和表示R

G

B2.1顏色感知和表示

（青色、品色和黃色，用于打印和印刷）彩色打印機可以通過以適當比例混合具有所選基色的三種顏料來產生不同的彩色。多數打印機采用CMY基色，為了更鮮艷和寬范圍的彩色再現，一些彩色打印機在CMY基色中增加了黑色(K)，從而采用4種基色，這就是所謂的CMYK基色，它能更真實地再現黑色。

CMY2.1顏色感知和表示C

M

Y

K2.1顏色感知和表示

（亮度、色調、飽和度）

HIS彩色空間為多媒體計算機彩色圖像實時處理和特技提供了有效方法，HIS三個彩色分量分別存放在三個存儲器中，在處理彩色圖像時相互是獨立的，分別提供解釋彩色圖像非常有用的信息。但是盡管HIS能清楚地分離光的不同屬性，HIS的各分量與激勵值是非線性關系并且很難計算。HSI2.1顏色感知和表示

（亮度、色度，PAL制式的彩色電視）

在現代彩色電視系統中，通常采用光電管攝像機或電耦合器件（CCD）攝像機，它把攝得的彩色圖像信號，經過色棱鏡分成R0G0B0三個分量的信號，分別經過放大和γ校正得到RGB，再經過矩陣變換電路得到亮度信號Y、色度信號R-Y、B-Y,最后發送端將Y、R-Y及B-Y三個信號進行編碼，用同一信道發送出去，這就是常用的YUV彩色空間。采用YUV彩色空間的好處如下：YUV2.1顏色感知和表示1、亮度信號Y解決了彩色電視機與黑白電視機的兼容問題。2、試驗證明，人眼對彩色圖像細節的分辨率比對黑白圖像要低得多，因此對色度U、V

信號可以采用“大面積著色原理”，即用亮度信號Y傳送細節，用色度信號U、V信號進行大面積涂色。因此彩色圖像的清晰度由亮度信號的帶寬保證，而把色度信號的帶寬變窄。2.1顏色感知和表示

（亮度、色度，用于視頻傳輸和壓縮）YUVY

U

V2.1顏色感知和表示

（亮度、色度，NTSC制式的彩色電視）

美國、日本等國的彩色電視采用NTSC制式選用了YIQ彩色空間，Y表示亮度信號，I和Q表示色差信號。其中I和Q分量是U和V分量旋轉后的結果，這樣使I對應橙色到青色范圍的顏色，Q對應綠色到紫色的范圍。采用YIQ彩色空間的好處是：人眼對綠色到紫色范圍內的變化與橙色到青色范圍內的變化相比不敏感，即I分量人眼最敏感，Q分量人眼最不敏感。因此，在傳送分辨力弱的Q信號時，可用較窄的頻帶；而傳送分辨力較強的I信號時，可用較寬的頻帶。YIQ2.1顏色感知和表示原圖像Y分量圖像

I分量圖像Q分量圖像2.1顏色感知和表示

（數字彩色電視）

ITU-RBT.60l數字視頻標準定義了一個YCbCr數字彩色坐標空間，Y、Cb

、Cr分量是模擬Y、U和V分量的伸縮和移位形式。YCbCr2.1顏色感知和表示RGB顏色空間&YUV顏色空間對照

2.1顏色感知和表示2、彩色空間的相互轉換

①

RGB與YUV和YIQ之間的轉換

彩色攝像機最初得到的是經過γ校正的RGB信號，為了和黑白電視機兼容及壓縮編碼，因此，在傳送過程中要將RGB轉換為亮度和色度信號，即YUV或YIQ信號。它們之間的轉換關系如下：2.1顏色感知和表示=YIQ0.30.590.110.6-0.28-0.320.21-0.520.31RGB=YUV

0.30.590.11-0.15-0.290.440.61-0.520.31RGB2.1顏色感知和表示②RGB與YCbCr之間的轉換數字視頻定義的YCbCr數字彩色信號與模擬RGB信號之間的轉換關系如下：=YCbCr0.2570.5040.098-0.148-0.2910.4390.439-0.368-0.071RGB16128128+=RGB1.1640.0001.5961.164-0.392-0.8131.1642.0170.000Y-16Cb-128Cr-128第二章數字視頻描述2.2視頻捕捉和顯示視頻攝像機視頻顯示視頻捕捉2.2視頻捕捉和顯示一、視頻捕捉采集自然圖像時需要光源E(x,y,z,λ)場景中每點有一個反射光函數r(x,y,z,λ)成像設備采樣入射光和反射光c(x,y,z,λ)=E(x,y,z,λ)xr(x,y,z,λ)2.2視頻捕捉和顯示二、視頻攝像機

目前所有的模擬攝像機都是一幀一幀地捕捉視頻，幀與幀之間有一定的時間間隔，攝像機鏡頭把場景中的圖像聚焦到攝像機的光敏表面，然后由它將光信號轉換成電信號。當前攝像機有兩類基本類型：1、基于光電管的攝像機，例如光導攝像管、氧化鉛攝像管或正析攝像管。2、基于固態傳感器的攝像機，例如電荷耦合器件(CCD)。

2.2視頻捕捉和顯示圖2.4專業彩色視頻攝像機示意圖2.2視頻捕捉和顯示三、視頻顯示視頻顯示最普通的設備是陰極射線管(CRT)。在CRT監視器中，電子槍一行一行地發射電子束以激勵屏幕上的熒光粉，其發射電子束的強度正比于在相應位置上視頻信號的強度。為了顯示彩色圖像，三個電子槍發射三個電子束，在每個位置以期望的強度組合激勵紅色、綠色和藍色熒光粉。目前流行的顯示設備是液晶顯示器(LCD)。2.2視頻捕捉和顯示圖2.5彩色顯象管產生顏色的原理第二章數字視頻描述2.3模擬視頻視頻光柵特性模擬彩色電視系統

逐行掃描和隔行掃描

模擬視頻信號格式2.3模擬視頻一、逐行掃描和隔行掃描現在的模擬電視系統使用光柵掃描進行視頻攝取和顯示，在這種光柵掃描機制中，又包括逐行和隔行掃描。

2.3模擬視頻視頻掃描中要將每一幀的二維圖像變成一維的像素串數據流，或者將一維像素串數據流變換為原圖像的過程，在電視技術中稱為掃描。

1、逐行掃描按次序對各行進行掃描，即一行緊跟一行的掃描方式稱為逐行掃描，電腦顯示器一般都采用逐行掃描。每行掃描實際上是稍微傾斜的，且底行比同一幀的頂行大約晚一幀的時間間隔。然而，為了分析的目的，通常假設一幀中所有的行是同時被采樣的，并且每行是完全水平的。2.3模擬視頻2、隔行掃描

將一幀圖像分為兩場進行掃描，第一場掃奇數行，第二場掃偶數行，并把掃奇數行的場稱為奇數場，掃偶數行的場稱為偶數場，這種方式稱為隔行掃描，普通電視系統一般均采用隔行掃描。在隔行掃描中，一幀中兩個相鄰的行在時間上是以場間隔分開的。采用隔行掃描的目的是在給定時間內，給定總行數的條件下，用犧牲垂直分辨率來提高時間分辨率。

2.3模擬視頻典型的隔行掃描光柵信號的波形2.3模擬視頻典型的光柵信號的頻譜2.3模擬視頻二、視頻光柵特性光柵是用兩個基本參數描述的：1、幀率（幀/秒

或

fps或

Hz）——

幀率是指時間方向上的采樣率，是決定視頻質量的重要參數之一。電視業采用幀率為25～30Hz的隔行掃描，

有效的時間刷新速率是50～60Hz。運動圖片業（即電影）采用的幀率是24Hz。在計算機業，72Hz已經成為事實上的標準。2.3模擬視頻2、行數（行/幀或行/高）——

行數是指垂直方向上的采樣率，它也是影響視頻質量的關鍵因素。在模擬電視中，采用的行數大約為

500～600。計算機顯示器則采用更高的行數

(例如SVGA顯示器有1024行)。2.3模擬視頻3、從這兩個參數導出的其它重要參數①行率（行/秒）——＝x②圖像幅型比（IAR）

——視頻幀的寬對高度的比率標準清晰度TV（SDTV）和計算機的

IAR＝4:3

寬銀幕電影IAR＝2.2:1HDTV的IAR＝16:9更高IAR可以產生更具戲劇性的視覺感受。

2.3模擬視頻三、模擬彩色電視系統

目前，世界范圍內有三個不同的電視系統：

NTSC系統用于北美和包括日本在內的部

分亞洲國家和地區。

PAL系統用于大多數西歐國家和包括中國

以及中東的亞洲國家。

SECAM系統用于前蘇聯、東歐、法國以及

一些中東國家。2.3模擬視頻表2.1三個模擬彩色電視系統的參數2.3模擬視頻模擬彩色電視系統：視頻產生、傳送和接收

2.3模擬視頻1、彩色空間三種彩色電視系統都采用隔行掃描來攝取和顯示視頻圖像，但三個電視系統的彩色空間卻不同：PAL系統采用YUV彩色空間；NTSC

系統采用

YIQ彩色空間；SECAM

系統采用YDbDr

彩色空間。2.3模擬視頻①PAL系統采用YUV彩色空間根據RGB基色與YUV基色之間的關系，能由RGB的值確定亮度分量Y的值，兩個色度值U和V分別正比于色差信號B-Y和R-Y。所謂色差信號是指由基色信號和亮度信號之差組成的信號，即（B-Y）和（R-Y）。2.3模擬視頻這里，，是歸一化的伽馬校正后的值，因此（，，）=（1，1，1）。2.3模擬視頻②NTSC系統采用YIQ彩色空間③SECAM系統采用YDbDr

彩色空間2.3模擬視頻為什么不直接使用RGB?

模擬彩色電視系統并不直接傳送三個RGB基色信號，而是將RGB基色信號變換成YC1C2（一個亮度信號和兩個色度信號）分量后再進行傳輸。①RGB各分量之間存在相關性，單獨傳遞會有冗

余，不能有效地利用帶寬。②將RGB變換成YC1C2分量后，YC1C2各分量

之間不存在相關性，且亮度信號Y解決了彩色

電視機與黑白電視機的兼容問題，傳送C1和

C2分量可用較窄的頻帶。2.3模擬視頻2、亮度、色度和音頻的復用為了使彩色電視信號與黑白電視系統兼容，現有的三個模擬電視系統都采用復合視頻格式，其中三個彩色分量以及音頻分量被復用為一個信號。構成復合信號要求色度信號具有比亮度分量小得多的帶寬。2.3模擬視頻NTSC系統中復合信號的總頻譜組成2.3模擬視頻亮度、色度以及音頻信號的復用過程：首先，將I和Q兩個色度信號應用正交幅度調

制（QAM）組合成一個色度信號；其次，選定顏色副載波頻率，將亮度信號和

色度信號復合到一起；最后，音頻信號用的音頻副載波進行頻率調

制(FM),并把它加到復合視頻信號中，

形成最終的多路復用信號。2.3模擬視頻四、模擬視頻信號格式1、分量視頻信號對三個彩色分量分別進行存儲/傳輸可采用RGB、YUV、YIQ或YCbCr

彩色分量一般只用于專業的視頻設備2、復合視頻信號（也稱為全電視信號）將RGB轉換為YUV或YIQ彩色空間將YUV或YIQ三個彩色分量復用為一個信號用于大多數模擬視頻系統（現有模擬電視系統均采用復合視頻格式）2.3模擬視頻3、分離視頻信號（S-video）

對Y和C（正交幅度調制I和Q分量）分量

分別進行存儲/傳輸用于許多高級消費類視頻攝像機和顯示設備第二章數字視頻描述2.4數字視頻數字視頻標準數字視頻文件格式數字視頻基礎2.4數字視頻一、數字視頻基礎1、數字化方法數字視頻可以通過采樣光柵掃描（對模擬視頻信號的數字化）或直接用數字攝像機獲得。所有數字攝像機都使用CCD傳感器，數字攝像

機把成像景物采樣成離散的幀，每一幀由水

平和垂直都離散化的CCD陣列的輸出值組成。通常數字視頻系統采用彩色信號的分量表示

方法，對模擬彩色電視圖像的數字化常采用

“分量數字化”法，即對彩色空間的每一個

分量進行數字化。2.4數字視頻2、數字視頻參數數字視頻是由幀率，行數和每行的樣點數定義的。通常用來表示數字視頻，其中x表示列標號，y表示行標號，t表示幀數。由此可得數字視頻的碼率為

R=xxx單位是比特/秒（bps），或千比特/秒（kbps）或兆比特/秒（Mbps）。其中表示一個像素值的比特數2.4數字視頻二、數字視頻標準對于不同的產品和應用之間交換數字視頻，就需要統一的數字視頻格式標準。在TV行業有數字化演播室標準在計算機行業有顯示分辨率標準在通信行業有網絡協議標準2.4數字視頻1、全數字演播室標準

——ITU-601數字視頻標準

前國際無線電咨詢委員會（CCIR）于1982年2月通過了全數字演播室標準——CCIR-601建議書，即現在的ITU-601標準(ITU：國際電信聯盟)，這是用于電視演播室等級的標準。

2.4數字視頻①ITU-601信號的空間分辨率

ITU-601數字視頻標準指定了幅型比為4:3和16:9的兩種數字視頻格式。

SDTV的幅型比為4:3

HDTV的幅型比為16:9NTSC、PAL和SECAM系統都采用13.5MHz的采樣率對于NTSC

系統，每行的像素數為858，

其視頻格式為525/60信號對于PAL/SECAM系統，每行的像素數為864，

其視頻格式為625/50信號2.4數字視頻

（a）525/60：60field/s（b）625/50：50field/s

NTSC系統PAL/SECAM系統圖2.10ITU—601視頻格式2.4數字視頻②彩色坐標和色度的亞采樣

ITU-60l數字視頻標準定義了一個YCbCr數字彩色坐標空間。其中Y

是亮度分量，伸縮后范圍是（16～235）；

Cb、Cr是色度分量，分別表示色差B-Y和R-Y

伸縮后的形式。=YCbCr0.2570.5040.098-0.148-0.2910.4390.439-0.368-0.071RGB16128128+=RGB1.1640.0001.5961.164-0.392-0.8131.1642.0170.000Y-16Cb-128Cr-1282.4數字視頻視頻信號的空間采樣率通常是指亮度分量Y，對于色度分量Cb和Cr一般采用亞采樣方式。ITU-60l定義了四種色度亞采樣格式：

Y像素Cb和Cr像素圖2.11ITU-601色度亞采樣格式注意：在任何一個格式中兩個相鄰的行屬于兩個不同的場4：4：4每2x2個Y像素對應4個Cb和4個Cr像素（無亞采樣）4：2：2每2x2個Y像素對應2個Cb和2個Cr像素（只水平2：1亞采樣）4：1：1每2x2個Y像素對應1個Cb和1個Cr像素（只水平4：1亞采樣）4：2：0每2x2個Y像素對應1個Cb和1個Cr像素（水平和垂直都4：1亞采樣）2.4數字視頻③其它數字視頻格式和應用

ITU-601的數據碼率是216Mpbs，這個速率對大多數應用太高，所以CCIT專家組建議了一種新的數字視頻格式，被稱為通用中間格式（CIF）。實際上，在壓縮或傳輸之前，通常將視頻信號轉換為這一種中間格式。除此之外，還定義有QCIF，SIF，SMPTE等幾種數字視頻格式。2.4數字視頻CIF：通用媒體格式，ITU-T規定的視頻格

式。在水平和垂直維上的分辨率都大約是ITU-6014:2:0信號的一半

(352x288)，采用逐行掃描。它是為視頻會議應用而開發的。2.4數字視頻QCIF：ITU-T規定的視頻格式。在水平和垂

直維上的分辨率是CIF的一半(176

x144),采用逐行掃描。主要用于可視電話及類似的應用場

合。2.4數字視頻SIF：源媒體格式，ISO-MPEG規定的視頻格

式。有效區尺寸是ITU-601信號的四分

之一，大致與CIF相當。這種格式定位在

中等質量的視頻應用，如視頻游戲和CD

電影之類。采用隔行掃描。SMPTE：也稱HDTV格式，SMPTE規定的視頻格

式。顯著特點是幅型比較寬，為16:9，

在水平和垂直維上都具有兩到三倍的圖

像分辨率，且采用逐行掃描。2.4數字視頻表2.2不同應用的數字視頻格式2.4數字視頻2、計算機視頻顯示分辨率的標準VGA：640像素/行×480行TARGA：512像素/行×480行S-VGA：1280像素/行×1024行

1024像素/行×768行圖像刷新速率為72幀/秒

2.4數字視頻3、通信網絡協議的標準表2.3某些網絡協議及其比特率范圍網絡比特率普通電話0.3～56kbps寬帶電話基本單元（DS-0）56kbpsISDN（綜合業務數字網）64～144kbps（px64）個人計算機局域網30kbpsT-11.5Mbps乙太網10MbpsB-ISDN100～200Mbps2.4數字視頻三、數字視頻文件格式1、MPEG數字視頻文件格式

MPEG不是簡單的文件格式，而是一種運動圖像壓縮算法的國際標準，MPEG標準包括MPEG視頻、MPEG音頻和MPEG系統(視頻、音頻同步)三個部分。MP3音頻文件就是MPEG音頻的一個典型應用，而VideoCD(VCD)、SuperVCD(SVCD)、DVD(DigitalVersatileDisk)則是全面采用MPEG技術所產生出來的數字視頻文件格式。MPEG的平均壓縮比為50∶1，最高可達200∶1。2.4數字視頻①MPEG-1

文件格式的擴展名包括*.mpg、*.mlv、

*.mpe、*.mpeg及VCD光盤中的*.dat文件等。廣泛應用在V