1、視頻通訊基礎知識培訓馬朔第1頁，共88頁。視頻通訊的定義視頻通訊(視頻會議)：依托數據網絡，通過音頻、視頻、數據交互，為有效的溝通、協作和決策提供了一個重要的手段。使在人們無法聚集到同一個地點時，會議也可以照常舉行。第2頁，共88頁。視頻通訊知識組成第3頁，共88頁。第一部分視頻通訊基礎協議H.320協議H.323協議SIP協議摘要第4頁，共88頁。ITU-T關于N-ISDN網絡中會議終端設備和業務的框架協議保證服務質量的多媒體通信和業務。適用于ISDN,DDN,E1，衛星等電路交換網絡專網專用,呼叫不靈活視頻通訊協議 H.320協議VideoH.261H.263H.264DataT.120H

2、.239AudioG.711G.722G.728MultiplexingH.221ControlsignalingH.242H.243H.230NetworkInterfacesV.xxX.xxI.xxLineProtocolsI.361I.363I.400H.320第5頁，共88頁。視頻通訊協議 H.320設備結構第6頁，共88頁。H.323是ITU的一個標準建議族，最新版本為V6版本基于分組交換網絡的多媒體通信終端系統針對沒有QoS保障的IP網絡環境中的視聽業務而制定目前主流的視頻會議基礎協議視頻通訊協議 H.323協議第7頁，共88頁。視頻通訊協議 H.323協議組成第8頁，共88頁。低

3、碼率的音視頻編碼標準G.723、G.729、H.263等媒體打包和控制協議H.225.0 H.225.0標準描述了無QoS保證的LAN上媒體流的打包分組與同步傳輸機制。H.225.0對傳輸的控制流進行格式化，以便輸出到網絡接口，同時從網絡接口輸入報文中檢索出接收到控制流。 定義在傳送層之上網絡層采用IP協議傳送層采用TCP/UDP通信控制和呼叫信令采用TCP實時傳輸/實時傳輸控制協議建立UDP之上視頻通訊協議 H.323標準的分層結構第9頁，共88頁。視頻通訊協議 H.323系統結構GKMCUGWTerminalTerminalendpointPSTN第10頁，共88頁。視頻通訊協議 H.32

4、3系統網元終端：基于IP的網絡上是一個客戶端點。它需要支持下面3項功能：支持信令和控制；支持實時通信；支持編碼，即傳前壓縮，收后進行解壓縮網關：提供在包交換網絡和電路交換網絡（SCN，Switch Circuit Network）之間的一個連接。網守：完成地址翻譯、接納控制、帶寬控制、域管理4個必須功能。網守還支持呼叫控制信令、呼叫鑒權、帶寬管理和呼叫管理，以及用戶管理等可選的功能。多點控制單元（MCU）：多點控制單元支持3個以上的端用戶進行會話。典型的MCU包括一個多點控制器（MC）和若干個（也可以沒有）多點處理器（MP）。MC提供控制功能，如終端之間的協商。MP完成會話中的媒體流的處理，如

5、話音的混合、話音視頻的交換。第11頁，共88頁。視頻設備網元 視頻終端的基本結構Video CodecH.261,H.263Audio CodecG.711,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0H.225.0層LAN接口視頻 I/O 設備音頻 I/O 設備用戶數據應用T.120系統控制用戶接口第12頁，共88頁。視頻設備網元 網關H.323通信節點設備與其他終端設備的轉換功能傳輸格式和通信規程的轉換分組交換端與電路交換端之間的接口，語音圖像編解碼器的轉換，呼叫建

6、立和拆除接口FXS/FXOE1VI/T1VIE&MVideo/ Audio CodecSystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0LAN接口PSTN/ISDN分組交換網絡網關第13頁，共88頁。視頻設備網元 網閘網閘（Gatekeeper）完成呼叫控制功能，改善服務質量地址翻譯接納控制以防止壅塞限定終端所使用的帶寬、控制通化模式地址解析接入控制帶寬控制GK 域管理第14頁，共88頁。視頻設備網元 MCUMCU多點控制單元支持3個以上接點設備的會議MCU提供會議管理、終端能力的交換、音視頻混合與切換多點處理器（M

7、P)完成音視頻混合與切換功能的部分多點控制器（MC）處理終端間H.245控制信息MCMP(Audio)MP(Video)MP(Data)CallVideoDataAudioMCU第15頁，共88頁。視頻設備網元 MCU傳統工作模式MCU對終端進行有限數量的視頻編解碼通常不在分屏顯示上的終端不進行解碼音頻采用全編全解通常具有演講者模式和相同分屏模式同等硬件平臺下可實現的接入點數更多第16頁，共88頁。視頻設備網元 MCU全編全解模式MCU對全部的終端進行編解碼音頻采用全編全解除具有演講者模式和相同分屏模式外可以實現靈活的個人分屏同等硬件平臺下可實現的接入點數少網絡適應性和設備兼容性最好第17頁，

8、共88頁。視頻設備網元 MCU轉發模式最傳統的MCU工作模式對視頻碼流不做任何處理，僅做為轉發硬件消耗最小，可以實現海量MCU 通過SVC技術可以實現混速、分屏等原本需要DSP完成的功能使低成本云網成為可能第18頁，共88頁。視頻通訊協議 H.225.0 Q.931消息Setup Call Proceeding AlertingConnectRelease CompleteInformation第19頁，共88頁。交互RTP流Call ProceedingSetupAlerting終端 A終端 BConnect建立H.245會話Release Complete視頻通訊協議 基本H.323呼叫過

9、程第20頁，共88頁。視頻通訊協議 H.245功能H.245的主要作用是多媒體通信控制通信雙方的能力協商建立用于傳輸多媒體信息流的RTP通道主要信令消息TCS（Terminal Capability Set，能力交換）MSD（Master-Slave Determination，主從確定）OLC （Open Logical Channel，打開邏輯通道）第21頁，共88頁。Terminal Capability Set ACK終端 A終端 BTerminal Capability Set ACKTerminal Capability SetMaster-Slave DeterminationM

10、aster-Slave Determination ACKOpen Logical ChannelTerminal Capability SetMaster-Slave DeterminationMaster-Slave Determination ACKOpen Logical ChannelOpen Logical Channel ACKOpen Logical Channel ACK交互RTP流視頻通訊協議 H.245交互過程第22頁，共88頁。視頻通訊協 網閘注冊過程第23頁，共88頁。 DRQ終端 AGK終端 BACFARQ ARQ ACFSetupRelease CompleteC

11、onnectAlerting交互RTP流建立H.245會話Call Proceeding DCF DRQ DCF視頻通訊協議 網閘交互過程第24頁，共88頁。 ARQ LRQ LCF ACF Call Proceeding ARQ Alerting Setup ACF Connect 建立H.245會話 交互RTP流 Release Complete DCF DRQ DRQ DCF終端 A終端 BGK AGK B視頻通訊協議 網閘域間工作流程第25頁，共88頁。視頻通訊協議 直接路由第26頁，共88頁。視頻通訊協議 GK路由 第27頁，共88頁。RTP（Real-Time Transport

12、Protocol，實時傳輸協議）是一個傳輸層的、基于UDP的協議RTP協議被用來為音視頻等實時數據提供端到端的網絡傳輸，傳輸的模型可以是單點傳送或是多點傳送RTP協議是為支持實時業務而設計的，保證業務的接收和發送在很短時間內完成視頻通訊協議 RTP協議基本概念第28頁，共88頁。V：版本P：填充標志X：擴展CC：貢獻者計數M：標記PT：凈荷類型VPXCCMPTsequence numbertimestampsynchronization source（SSRC）identifiercontributing source （CSRC）identifierdata01234567890123456

13、7890123456789012視頻通訊協議 RTP分組格式第29頁，共88頁。視頻通訊協議 RTP協議頭的時間戳和序列號序列號和時間戳在通信雙方進行通信的過程中實現下述功能：確保業務數據包的正確順序是否有數據包被拋棄或丟失對業務流進行同步第30頁，共88頁。視頻通訊協議 RTP消息示例第31頁，共88頁。視頻通訊協議 RTP數據流示例第32頁，共88頁。視頻通訊協議 RTCP協議的基本概念RTCP（RTP Control Protocol，實時傳輸控制協議）RTCP作用是監控服務質量，同時為端點之間提供“交互服務質量信息”的機制RTCP和RTP一起提供流量控制和擁塞控制服務在RTP會話期間，

14、各參與者周期性地傳送RTCP包RTCP包中含有已發送的數據包的數量、丟失的數據包的數量等統計信息，端點可以利用這些信息動態地改變傳輸速率，甚至改變有效載荷類型第33頁，共88頁。Session Initiation Protocol -會話發起協議 是IETF制定的多媒體通信協議，它是一個基于文本的應用層控制協議，獨立于底層協議，用于建立、修改和終止IP網上的雙方或多方的多媒體會話SIP協議最早由是由MMUSIC IETF工作組在1995年研究的，由IETF組織在1999年提議成為的一個標準SIP主要借鑒了Web網的HTTP和SMTP兩個協議SIP協議支持代理、重定向、登記定位用戶等功能，支持

15、用戶移動（Personal Mobility），支持多媒體業務和各種特色業務視頻通訊協議 SIP協議第34頁，共88頁。視頻通訊協議 H.323協議SIP協議網元對比SIP ：客戶/服務器協議 H.323：多媒體通訊協議 協議消息（請求、響應） - Q931 呼叫消息 邀請建立或終結會話 呼叫請求、響應、摘機等 SDP描述 - H.245信令 交換媒體類型和媒體參數 媒體協商、控制、管理 UAC用戶代理客戶機 - H.323智能終端 UAS用戶代理服務器 - H.323網關/網守受理呼叫 路由和代理呼叫 Proxy代理服務器 - H.323網關 RedirectServer重定向服務器 - H

16、.323網守 RegistServer登記服務器 - H.323用戶網守 LocationServer定位服務器 - H.323網守/頂級網守 對應關系：第35頁，共88頁。視頻通訊協議 H.323協議SIP協議比較SIP是由IETF提出的IP電話信令協議，解決IP網中的信令控制。ITU-T制定的支持IP網絡多媒體通信的H.323協議族相對應，兩者的比較如下：相同點：1、均為多媒體通信的應用層控制（信令）協議，目前一般用于IP電話2、能實現的信令控制功能基本相同3、都利用RTP作為媒體傳輸的協議異同點：SIP由IETF提出，借鑒了其他Internet標準和協議的設計思想，SIP協議簡單，采用文

17、本方式，具有較好的功能擴充性和網絡可擴展性，并易于實現。 lH.323由ITU-T提出，采用的是傳統的實現電話信令的模式，便于與傳統的電話網互通； H.323協議發展得比較成熟，但相對復雜得多： PSTN互通， H.323吸取很多Q931信令的設定內容，使得與傳統的PSTN網、以及H.320網等具備良好的互通能力； 編碼方式，H.323采用ASN.1 PER算法；使得H323協議棧在互通性、擴展性、以及實現方面難度很大； 媒體協商， H.323有完善的主從、能力交互、媒體切換等規范，并具備強大的多媒體會議拓展、主席控制、帶寬管理等功能；第36頁，共88頁。視頻通訊協議 H.323SIP 網關工

18、作模式第37頁，共88頁。第二部分 編碼協議視頻編碼音頻編碼摘要第38頁，共88頁。 視頻壓縮：使用視頻壓縮算法技術將視頻中數據的冗余信息去除，降低表示原始視頻所需的數據量，以便視頻數據的傳輸時間冗余信息空間冗余信息感知冗余信息統計冗余信息視頻編碼基礎 視頻壓縮 第39頁，共88頁。視頻編碼基礎 第一幀畫面第40頁，共88頁。視頻編碼基礎 第二幀畫面第41頁，共88頁。視頻編碼基礎 差值畫面第42頁，共88頁。視頻編碼基礎 像素運動軌跡第43頁，共88頁。視頻編碼基礎 基于塊的運動估計與補償第44頁，共88頁。視頻編碼基礎 16x16塊第45頁，共88頁。視頻編碼基礎 8x8塊第46頁，共88

19、頁。視頻編碼基礎 4x4塊第47頁，共88頁。I幀是一種自帶全部信息的獨立幀，無需參考其它圖像便可獨立進行解碼視頻序列中的第一個幀始終都是I幀如果所傳輸的比特流遭到破壞，則需要將I幀用作新查看器的起始點或重新同步點I幀可以用來實現快進、快退以及其它隨機訪問功能I幀的會占用更多的數據位視頻編碼基礎 I幀第48頁，共88頁。P幀（幀間預測編碼幀）需要參考前面的I幀和/或P幀的不同部分才能進行編碼P幀可以是其后面P幀的參考幀，也可以是其前后的B幀的參考幀P幀對前面的P和I參考幀有依賴性，存在解碼錯誤的擴散P幀的壓縮比較高視頻編碼基礎 P幀第49頁，共88頁。B幀（雙向預測編碼幀以前幀和后作為參考幀B

20、幀需要根據相鄰的前幀、本幀以及后幀數據參考壓縮本幀B幀壓縮率最高,可達到200:1由于參考前后兩幀,畫面精度最高由于依賴后幀,所以不適合實時傳輸使用視頻編碼基礎 B幀第50頁，共88頁。視頻編碼基礎 視頻編碼發展歷史 ITU:ISO/IEC:H.261H.262H.263H.263+H.264MPEG1MPEG2MPEG4 (Part2)MPEG7MPEG21MPEG4(Part10)第51頁，共88頁。H.261是第一個實用的數字視頻編碼標準MPEG-1，MPEG-2H.262，H.263，H.264都延續了H.261的設計架構使用了混合編碼框架，包括了基于運動補償的幀間預測，基于離散余弦變

21、換的空域變換編碼，量化，zig-zag掃描和熵編碼設計的目的是能夠在帶寬為64kbps的倍數的綜合業務數字網上傳輸質量可接受的視頻信號碼率能夠支持40kbps到2Mbps之間工作，能夠對CIF和QCIF進行編碼視頻編碼協議 H.261第52頁，共88頁。H.263是由ITU-T制定的視頻會議用的低碼率視頻編碼標準H.263的性能在所有碼率下都優于H.2611998年發布了H.263+2000年發布了H.263+H.263+最高分辨率可直到16CIF視頻編碼協議 H.263第53頁，共88頁。H.264是由ITU-T視頻編碼專家組（VCEG）和ISOIEC動態圖像專家組聯合組成的聯合視頻組提出的

22、高度壓縮標準H.264可支持更高的像素精度、支持更高的色度抽樣系統支持更靈活的自定義功能相同的圖像質量下，碼率可以減少50%除視頻會議以外，廣泛應用與監控、廣電等領域具有Baseline Profile、Main Profile、Extension Profile、High Profile視頻編碼協議 H.264第54頁，共88頁。 H.264標準的不同profile代表了針對不同應用的算法集及技術限定。 Baseline針對低復雜度應用，High Profile針對高效能運算Baseline Profile：提供I/P幀，僅支持逐行掃描Extended Profile：提供I/P/B/SP/

23、SI幀，僅支持逐行掃描Main Profile提供I/P/B幀，支持逐行掃描和隔行掃描。High Profile在Main Profile基礎上新增8x8 幀內預測, 、自定義量化, 無損視頻編碼, 更多的yuv格式視頻編碼協議 H.264不同Profile對比第55頁，共88頁。H.264 SVC（H.264可分層編碼）作為H.264標準的一個擴展最初由JVT在2004年開始制定在編碼時利用對時間上（幀率）、空間上（分辨率）、視頻質 量（分辨率）進行分層，可產生不同幀速率、分辨率或質量等級的解碼視頻視頻編碼協議 H.264 SVC第56頁，共88頁。相對與傳統的AVC編碼增強了數據包之間的關

24、聯性具有更好的網絡適應性使海量MCU成為可能視頻編碼協議 H.264 SVCTemporal & Spatial Scalability第57頁，共88頁。視頻編碼協議 SVC工作效率Efficiency第58頁，共88頁。聲音是攜帶信息的極其重要的媒體（20）聲音是通過空氣傳播的一種連續的波，叫聲波，也具有反射、折射和衍射現象。聲音信號是由許多頻率不同的分量信號組成的復合信號。復合信號的頻率范圍稱為帶寬。帶寬為20Hz20kHz的信號稱為音頻（audio）信號，可以被人的耳朵感知。聲音是時基類媒體。音頻編碼協議 聲音的本質第59頁，共88頁。音調、音強、音色為聲音的三要素。音強（響度）取決于

25、聲音的幅度（分貝）。音調取決于聲音的頻率。音色是由混入基音的泛音所決定的。音頻編碼協議 聲音三要素第60頁，共88頁。聲音的質量與聲音的帶寬有關，一般來說頻率范圍越寬，聲音質量也就越高。聲音類型帶 寬電話語音200Hz3.4kHz調幅廣播50Hz7kHz調頻廣播20Hz15kHzCD20Hz20kHz音頻編碼協議 聲音的質量第61頁，共88頁。聲音信號是典型的連續信號，不僅在時間上是連續的，而且在幅度上也是連續的。聲音進入計算機的第一步就是數字化，數字化實際上就是采樣和量化。音頻編碼協議 聲音信號的數字化第62頁，共88頁。采樣（sampling）：將聲音信號在時間上離散化，即每隔相等的一段時

26、間抽取一個信號樣本。音頻編碼協議 聲音信號的數字化第63頁，共88頁。量化（quantization）：將連續的信號幅度離散化。如果幅度的劃分是等間隔的，稱為線性量化，否則為非線性量化。 電壓范圍 量化(dec) 編碼(bin) 0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001 -0.1 0.1 0 000 -0.3 -0.1 -1 111 -0.5 -0.3 -2 110 -0.7 -0.5 -3 101 -0.9 -0.7 -4 100音頻編碼協議 聲音信號的數字化第64頁，共88頁。音頻編碼協議 聲音信號的數字化采樣頻率 奈奎斯特理論指出：采樣頻率不應低

27、于聲音信號最高頻率的兩倍，這樣就能把以數字表達的聲音還原成原來的聲音，稱為無損數字化。 fs = 2fmax 話音信號最高頻率約為3.4kHz，所以采樣頻率取為8kHz。第65頁，共88頁。音頻編碼協議 常用音頻協議指標協議類型最大音頻采樣范圍音頻采樣率壓縮帶寬G.7113.4kHz8KHZ64kG.7227kHz16KHZ64kbps, 56kbps,48kbpsG.722.1C/SIREN 1414 kHz24kHZ32kbps/48kbps/64kbpsG.71922 kHz48kHZ32kbps/48kbps/64kbps第66頁，共88頁。音頻編碼協議 回音產生原因音頻系統的輸出回到

28、音頻系統的輸入，講話人能夠從音箱中聽見自己講話的回聲聲波從音箱出來又回到話筒中產生延時，聲音在空氣中傳播速度較慢，不同大小的會議室音箱到話筒的距離也不相同，因此產生的延時長短也不相同第67頁，共88頁。音頻編碼協議 回音消除原理終端保留輸出聲音樣本話筒會把本地會場聲音與音箱聲音同時采集混合信號經過回聲消除器時，回聲消除器開始啟動回音消除其將混合信號和保留的聲音樣本進行對比如果音頻信號頻率有相同部分，那么就會切掉同保留記錄信號一樣的信號，再發送到遠程第68頁，共88頁。DTMF雙音多頻:DTMF（Dual Tone Multi Frequency），一個高頻信號和一個低頻信號疊加組成一個組合信號

29、，代表一個數字第69頁，共88頁。第三部分 視頻通訊輸出設備顯示設備音頻設備摘要第70頁，共88頁。讓觀察者觀察按時間重復的亮度脈沖，如果閃爍頻率比較低，人眼就有一亮一暗的感覺。如果閃爍頻率足夠高，人眼看到的則是一個恒定的亮點。閃爍感剛好消失的重復頻率叫做臨界閃爍頻率，經測定為46HZ。電影播放過程中，每秒投射24幅畫面，每幅畫面投射過程中用機械擋光閥遮擋一次，這樣就得到了48HZ的閃爍頻率。要保持畫面中物體運動的連續性，要求每秒鐘攝取的畫面數約為25幀左右。視頻顯示設備 視覺的時間域響應特性第71頁，共88頁。視頻顯示設備 YUV、YIQ作用人眼對彩色細節的分辨能力遠比對亮度細節的分辨能力低

30、，通常把RGB空間表示的彩色圖像變換到YUV或者YIQ顏色空間。每一種彩色空間都產生一種亮度分量信號和兩種色度分量信號，而且亮度信號(Y)和色度信號(U、V)是相互獨立的，每一種變換使用的參數都是為了適應某種類型的顯示設備。彩色電視信號中采用YIQ或者YUV空間一是為了兼容黑白電視，二是為了實現壓縮。第72頁，共88頁。視頻顯示設備 PAL制倒相正交平衡調幅制PAL制式電視信號的特性： 625行(掃描線)/幀，25幀/秒(40 ms/幀) (2) 每場中有25行作為場回掃，所以每幀中只有575行是有效行。(3) 高寬比(aspect ratio)：4:3 (4) 隔行掃描，2場/幀，312.5

31、行/場(5) 顏色模型：YUV(6) 西歐、中國和朝鮮等國家采用這種制式第73頁，共88頁。視頻顯示設備 NTSC制NTSC彩色電視制的主要特性是：(1) 525行/幀, 30幀/秒(2) 高寬比：電視畫面的長寬比為4:3 (3) 隔行掃描，一幀分成2場(field)，262.5線/場 (4) 在每場的開始部分保留20掃描線作為控制信息，因此只有485條線的可視數據。 (5) 每行63.5微秒，水平回掃時間10微秒(包含5微秒的水平同步脈沖)，所以顯示時間是53.5微秒(6) 顏色模型：YIQ(7)美國、加拿大等大部分西半球國家，及日本、韓國、菲律賓和中國的臺灣采用這種制式。第74頁，共88頁。圖像基礎知識 標清分辨率CIF ： Common Intermediate FormatQCIF ： Quarter CIFSQCIF：Sub-Quarter CIF第75頁，共88頁。圖像基礎知識 SMPTE 296M-2001第76頁，共88頁。圖像基礎知識 SMPTE 274M-2003第77頁，共88頁。過掃描就是畫面的一部份顯示在屏幕以外CRT電視通過電子束掃描的水平像素和垂直像素的點距加大來實現圖像放大避免模擬信號本身不精確，受到干擾后邊緣失真國家規定顯示面積不低于信號面積的95%圖像基礎知識