1、第一章 多媒體技術概述一、 媒體1.含義：媒體( Media )就是指信息的載體，其本質是信息傳播的技術和手段。2.按照媒體的發展，媒體可以分為傳統媒體和新媒體： 傳統媒體：廣播、電視、報刊雜志新媒體：基于互聯網、PC和移動終端技術的數字媒體技術，包括網站、博客、微博、 微信、手機 App 等。3.國際電信聯盟(In ternatio nal Telecommu ni cati on Un io n，ITU)對媒體進行了詳細的分 類：1)感覺媒體(Perception media):指直接作用于人的感覺器官、從而為人的感知系 統所接受的信息形態或媒體形式。舉例：文字、聲音、圖形、圖像、動畫、視

2、頻2)表示媒體(Presentation media):指感覺媒體在電子設備、計算機、網絡等系統 內部的存在形式，即編碼形態的媒體。舉例：計算機系統中的 ASCII 碼、國家標準漢字字符集的區位碼、字符的點陣碼、 音頻、圖像與視頻編碼。3)表現媒體( Representation media ) ：指將編碼形式的媒體顯示成感覺媒體的設備 或技術，實際上就是指多媒體系統的輸入、輸出設備。舉例：顯示器、投影儀、打印機、繪圖儀、有源或無源音箱、鍵盤、鼠標、攝像 機、麥克風。4)存儲媒體(Store media):指用于存放表示媒體(即編碼形態的媒體)的設備或 技術。舉例：內存、寄存器、磁盤、磁帶、光

3、盤、 USB 盤。5)傳輸媒體(Transmissionmedia):指用于傳送表示媒體的設備或技術。 舉例：雙絞線、電纜、光纖、空氣、電磁波。二、 多媒體1.含義：多媒體就是指能夠同時處理兩種以上感覺媒體的計算機系統，其目標是為用戶 提供更豐富的應用體驗。2.多媒體技術的特征：1)媒體類型或媒體技術的多樣性。一個可以被稱為多媒體的應用系統，必須至少集 成了兩種不同類型的媒體及其相關技術。該特征是多媒體系統的本質特征，也是 其魅力所在。2)媒體內容的同步性( synchronization )。在多媒體應用系統中，多種媒體是融合在 一起的，它們是以一種協同的方式工作的。3)交互性( Inter

4、active )。與交互性密切相關的另外兩個概念是人機交互( HumanComputer In teraction , HCI)和人機界面(Huma n-Computer In terface, HCI)。前 者是研究、設計、評價和實現交互式計算系統的科學。人機界面則是人與計算機 之間傳遞、交換信息的媒介和對話接口，是計算機系統的重要組成部分。3.多媒體應用：1)大眾傳媒領域大眾傳媒( m ass medi a )是指傳播速度快、覆蓋范圍廣、影響效果大的媒體， 主要包括報紙、廣播、電視、電影、互聯網等。2)消費電子領域消費電子(consumer electronics)產品是指用于個人和家庭的

5、與廣播、電視有關的各類音頻和視頻產品，主要包括：電視機、影碟機(VCD、SVCD、DVD)、錄像機、攝錄機、收音機、收錄機、組合音響、激光唱機(CD)、視頻游戲設備、智能電視機頂盒等。3)現代教育技術領域 現代教育技術是指建立在信息與網絡技術基礎之上的教育教學手段構成的系統。4)多媒體通信領域 數字通信是用數字信號作為載體來傳輸消息，或用數字信號對載波進行數字 調制后再傳輸的通信方式。它可傳輸電報、數字數據等數字信號，也可傳輸經過 數字化處理的語聲和圖像等模擬信號。數字通信系統通常由用戶設備、編碼與解碼、調制和解調、加密和解密、傳 輸和交換設備等組成。多媒體通信是指在一次呼叫過程中能同時提供多

6、種媒體信息如聲音、圖像、 圖形、數據、文本等的新型通信方式，所以，它是通信技術和多媒體技術相結合 的產物。視頻會議是最典型的多媒體通信系統，它由視頻會議終端、會議服務器、多點控制單元（MCU）等子系統構成。多媒體技術在視頻會議終端中占有重要地位， 主要包括音視頻數據的采集、編碼、解碼、傳輸與呈現等處理。5）表演與會展6） Web 應用Web 應用是指基于瀏覽器 / 服務器模型的應用系統，在客戶端表現為瀏覽器 頁面，是一種以HTTP協議為核心的網絡應用。數量最多的Web應用是各類網站，如門戶網站（搜狐、 163、新浪等）、搜索網站（百度等）和各種專業網站（音樂、 視頻、軟件、行業等等）。7）物聯

7、網領域物聯網是通過各種信息傳感設備及系統（如傳感器網絡、射頻識別（RadioFrequency Identification, RFID）、紅外感應器、條碼與二維碼、全球定位系統、激 光掃描器等）和其它基于物物通信模式的短距離無線傳感網絡，按約定的協議， 把物體接入互聯網所形成的一個巨大的智能網絡。8）軍事領域首先，多媒體技術在戰場信息采集和傳輸中具有重要的作用，例如通過圖像、 視頻和音頻信息的采集獲取戰場和相關地域的直觀戰況和態勢，能夠為指揮決策提供有力支持。其次，多媒體技術在軍事指揮系統中也扮演重要角色。目前最現代化的軍事 指揮系統被稱為C4ISR系統（ C4表示Command、 Cont

8、rol、 Communication 、 Computer， I 表示 Information ， S 代表 Surveillance， R 表示 Reconnaissance） ，以美國的國家軍事指揮中心為典型代表。第三，軍事訓練中應用了大量多媒體技術。為了提高軍事訓練效果、節省訓 練成本，各國軍事訓練系統都不同程度地采用了基于多媒體技術的各種模擬、仿 真訓練方法。9）游戲與軟件 游戲軟件通常是指各種游戲規則與聲音圖像視頻相結合的軟件產品。目前， 在網絡上我們經常看到的大型3D網絡游戲和網頁游戲等都是通過用3DMAX、 MAYA、 FLASH 等多媒體軟件和 JAVA、 C+、 VB、 HT

9、ML5 等程序語言相結合而開發出來的，所以叫游戲軟件。4.多媒體技術的體系結構軸恥：川 對耐伽 購現實 腳:紳 事數悴檢微一橫作SH|廿頡州澤訓悴 現潁瞬惟例鑒 瓏檢n務對 網塔賤口編聞張口1）硬件平臺層現代多媒體計算平臺，從硬件配置上看，主要包括如下幾個方面:a）光盤驅動器：包括可重寫光盤驅動器（CDR）、WORM光盤驅動器和CD-ROM 驅動器。b）音頻卡：在音頻卡上連接的音頻輸入輸出設備包括話筒、音頻播放設備、MIDI合成器、耳機、揚聲器等。數字音頻處理的支持是多媒體計算機的重要方面，音頻卡具有 A/D和D/A音頻信號的轉換功能，可以合成音樂、混合多 種聲源，還可以外接 MIDI電子音樂

10、設備。c）圖形加速卡：圖文并茂的多媒體表現需要分辨率高，而且同屏顯示色彩豐富的顯示卡的支持，同時還要求具有Win dows的顯示驅動程序，并在Windows下的像素運算速度要快。所以現在帶有圖形用戶接口GUI加速器的局部總線顯示適配器使得 Windows的顯示速度大大加快。d）視頻卡：可細分為視頻捕捉卡、視頻處理卡、視頻播放卡以及TV編碼器等專用卡，其功能是連接攝像機、VCR影碟機、TV等設備，以便獲取、處理和表現各種動畫和數字化視頻媒體。e）掃描卡：它是用來連接各種圖形掃描儀的，是常用的靜態照片、文字、工程 圖輸入設備。f）打印機接口：用來連接各種打印機，包括普通打印機、激光打印機、彩色打

11、印機等，打印機現在已經是最常用的多媒體輸出設備之一了。g）交互控制接口：它是用來連接觸摸屏、鼠標、光筆等人機交互設備的，這些設備將大大方便用戶對 MPC的使用。h）網絡接口：是實現多媒體通信的重要MPC擴充部件。計算機和通信技術相結 合的時代已經來臨，這就需要專門的多媒體外部設備將數據量龐大的多媒體信息傳送出去或接收進來，通過網絡接口相接的設備包括視頻電話機、傳真機、LAN和ISDN等。2)操作系統層 計算機操作系統是管理計算機軟硬件資源，控制其他程序運行，并為用戶提 供操作界面的系統軟件的集合。操作系統中配置的重要多媒體組件如下：a)編解碼器( codec， coder 和 decoder

12、合成詞語)：是系統中完成媒體數 據壓縮、解壓縮、格式轉換(轉碼)等操作的軟件，在多媒體操作系統 中居核心地位。b)媒體服務器(media server)：種通過網絡或平臺向用戶提供各種多媒 體業務所需的媒體資源功能的系統軟件，通常表現為操作系統中的媒體 服務(media service) 組件。c)多媒體編程接口：應用編程接口是指一組數量可觀、結構復雜的子程序、 函數、變量、常量、類、數據結構，是應用系統設計與實現的軟件資源。Windows操作系統中常見的多媒體編程接口有DirectX、 DirectShow、 Media Foundation 、 SilverLight 等。 Andriod

13、 操作 系統下，開發人員可以使用MediaAPIs,實現移動設備上的MP3、MP4、高清視頻播放等等。3)應用系統層 整個多媒體技術架構的最上層是各類多媒體開發工具和應用系統。最典型的 應用系統是各類多媒體著作或編輯工具,如Photoshop、 Authorware 、 Illustrator、 PowerPoint、 Premier、 3D Max 等等。5.多媒體應用系統設計面臨的挑戰1)數據量大2)實時性要求高3)同步性要求嚴格4)數據來源繁多6.多媒體技術的核心問題暫無第二章 數字音頻基礎聲音1.含義：聲音是物體振動形成的機械波，稱為聲波。聲波通過介質（例如空氣、水等）傳播到聽覺系統里

14、產生聽覺反應。聲音本質上是介質的周期振動。2.基本屬性：頻率和振幅頻率：指振動的快慢，通常用每秒鐘的振動次數表示（赫茲） 。人耳可以聽到的聲音頻 率范圍在 20 到 2 萬赫茲之間。高于這個范圍的波動稱為超聲波（ Ultrasonic ），而低于 這一范圍的稱為次聲波（Subsonic）。我們把人類聽覺系統所能聽到的聲音稱為音頻（ Audio ）。振幅：指聲波在某個位置上的瞬時強弱。3.三要素：音高、音質（音色） 、音強從模擬到數字1.模擬音頻信號：用連續變化的電壓或電流表示的音頻信號。2.數字音頻信號：通過采樣和量化技術獲得的離散性（數字化）音頻數據。3.采樣：指以一定的頻率（或周期）捕獲模

15、擬音頻信號，從而得到一系列離散化音頻樣 本的過程。采樣頻率：單位時間內捕獲的樣本個數，是采樣周期的倒數。米樣定理：將頻帶為F的模擬音頻信號f（t ）米樣為離散化樣本序列f（tO+ ）、f（t0+2 f（t0+n 后，如果 t （即米樣頻率）大于 2F,即米樣頻率大于模擬信 號頻帶 F 的兩倍， 則可從離散樣本序列恢復原來的信號f（t）。并號匯樣頡軒(kHzJ高DVD (FID-DVD t2救年電肌TAP344.1呼組CD唱盤422.C5調噩廣桶51 1.025菽寧電話6a常見的采樣頻率及其應用場合f4.量化：指用若干比特表示一個樣本的過程。量化深度(bit depth)：表示一個樣本所使用的比

16、特數。采樣是時間上的離散化，而量化則是空間上的離散化。5.編碼：以某種格式最終生成數字音頻數據流的過程，所得到的數字音頻數據將會被存儲、傳輸或者進行各種處理。模擬音頻數字化的三個步驟是采樣、量化、編碼。三、 聲卡1.結構：2.功能模塊1)DSP Digital SignalProcessor 數字信號處理負責采樣、量化、編碼和解碼、數模轉換2） Synthesizer:合成器負責將數字音頻波形數據或MIDI消息合成為聲音。3） ROMor/and RAM:波表 /軟波表ROM存放有實際音樂設備的聲音樣本，用于合成，稱之為波表RAM能夠被新的樣本數據更新，稱之為軟波表。4） Mixture :混

17、聲器負責過濾以降低噪音、混合不同的聲音信號、單/雙通道轉換、音量調節四、數字音頻編碼1.含義：指將模擬音頻轉換成數字音頻并以某種格式存儲的技術或過程。2.種類：1） PCM（PulseCode Modulation脈沖編碼調制）編碼：即通過脈沖編碼調制方法生成數字音頻數據的技術或格式。a）系統原理Ando 卵AiitFiilias4Wave tisnnPCM codetnpul.FillerC IHICT橫松&頻PCM 硝就椅潔號輸入血系統由三個部分構成：防失真濾波器：它是一個低通濾波器，用來濾除音頻信號以外的信號。波形編碼器：主要完成采樣任務。量化器：負責對樣本進行量化，即對每一個樣本賦予一

18、個對應的二進制數據， 從而得到 PCM樣本序列，作為系統的輸出。其實，量化器輸出 的PCM樣本序列還會進一步被編制成格式化的二進制碼流，包括幀和 通道的構成，這個處理可以視為狹義的編碼過程。b）量化分類均勻量化（線性量化）：指采用相等的量化間隔（量化階躍）進行的量 化。量化間隔：指將整個量化空間分割成若干離散的有限狀態后，相鄰的兩 個離散狀態值之間的差值。非均勻量化（非線性量化）：指量化間隔在量化空間中不是一個常數的 量化。般情況下，量化間隔的大小分布服從一種非線性函數，對小的輸入信分類:律壓擴（卩丄aw）:所定義的函數關系如下:(/WE即-1 w xW 1。sgn（x）:x的極性，也就是信號

19、的正負。卩:一個常量參數，由最大量化間隔和最小量化間隔之比決定, 般在100500之間取值。卩 值越大，整個對數曲線越往上拱，反之弄址帝加（Zx:輸入信號的幅值，其大小歸一化為-1和+1之間的一個小數,號采用較小的量化間隔，大的輸入信號則采用較大的量化間隔。a)原理就越靠近45度的線性量化曲線。在具體實現時，卩一般取255，并把對數曲線變成8條折線以簡化計算。? A 律壓擴(A-Law):所定義的函數關系如下：(A)=sgn(x) -0U 1/1耳(X)= sgn書號心 卜| IX：為輸入信號的幅度，歸一化成為-1 x yi) / 如果實際樣本值大于預測值xi =1; / 編碼輸出等于 1El

20、sexi =0;/ 否則，編碼輸出等于 0b） 優缺點優點 數據量得到顯著壓縮。 DM 編碼總是用一個比特來表示一個樣本，即對 應一個樣本的編碼不是 1 就是 0 。所以， DM 編碼被稱為一位系統。缺點? 斜率過載如果輸入信號變化太快，那么預測信號將不能保持對輸入信號的跟蹤，因為當前預測值只能在前一次預測值的基礎上加1個（或減1個）,也就是說，由于量化階躍固定不變，導致預測值 跟不上信號的變化。這種現象稱為增量調制器的“斜率過載”（ slope overload ） ，即模擬信號的斜率太大，超過了量化階躍允許 的變化幅度。一般來說，當輸入信號的變化速度超過輸出信號的最 大變化速度時，就會出現

21、斜率過載。? 粒狀噪聲當輸入信號變化比較平緩時，增量調制器的編碼輸出為交錯出現的0和1,即數字信號并不平緩，而是以量化階躍的大小起伏變化，這就相當于引入了噪聲信號。 DM 編碼器的這種噪聲是系統固有的， 不可能徹底消除。3） ADPCM（Adaptive Difference Pulse Code Modulation, 自適應差分脈沖編碼調制 ）：利 用樣本與樣本之間的高度相關性和量化階自適應來壓縮數據的一種波形編碼技術a） 原理第一,使用過去的樣本值估算下一個輸入樣本的預測值,使實際樣本值和預測值之間的差值總是最小,并對差值進行編碼。 第二,利用自適應的思想在時間維度上改變量化階躍的大小,

22、對小的差值使 用小的量化階躍（），對大的差值則使用大的量化階躍進行編碼。4） SBADPCM（SubBand-ADPCM,子帶自適應差分脈沖編調制）：是一種融合了子帶與自適應差分脈沖編調制技術的新型編碼方法。SBC（Sub BandCod in g,子帶編碼）：子帶編碼使用一組帶通濾波器（Ban d-PassFilter，BPF）把輸入音頻信號的頻帶分成若干個連續的子頻段，子頻段又稱為子帶。對每個子帶中的音頻信號采用獨立的編碼方案編碼。在傳輸編碼信號時，系統會采用復用技術，將所有子帶的編碼整合起來傳輸。在接收端解碼時，首先進行解復用，即把各個子帶信號分解出來，然后對每個子帶的數據獨立解碼。當然

23、，最后還原音頻信號時，系統會把所有子帶的解碼信號融合起來，從而還原成原來的音頻信號。這里的融合，實際上就是相加，即某一時刻的還原信號樣本等于同一時刻所有子帶樣本之和。3.數字音頻編碼國際標準序號標準名稱編碼算法基本屬性1G.711PCM （含線性、卩律以及A律PCM編碼算法）采樣頻率為8kHz,每樣本8 bits，數據率為64kbps2G.721ADPCM采樣頻率為8kHz,每樣本4 bits，數據率為32kbps3G.722SBADPCM米樣頻率為8kHz,每樣本咼子帶2bits，低子帶6位，數據率為64kbps4G.723ADPCM采樣頻率為 8kHz,每樣本3或5 bits,數據率為24

24、或40kbps5G.723.1LPC提供 5.3kbps、6.3kbps兩種速率的配置第三章音頻數據處理程序設計一、波形音頻文件1.含義：波形音頻文件（WAVE文件）是存儲數字音頻樣本（samples）序列的格式文件， 這些樣本直接記錄了音頻的波形，故稱波形音頻文件。2.格式標準：RIFF（ Resource Interchange File Format），個 WAVE 文件的最開頭四個字 節便是“ RIFF”。3.組成：WAVE 文件是由若干個 Chunk （可以翻譯為塊）組成的。按照在文件中的出現位置，它們分別是RIFF WAVE Chunk、Format Chunk、Fact Chun

25、k （可選）和 DataChu nk。RIFF WAVE Chunk ID - RIFF RiltType = +WAVEfForm til ChunkID = finiILKC Chunkf optkiriAl) ID =旳旳Dm 険 CtwnkID da畑1) RIFFWAVEChu nk字段塔稱所占字節教鼻體內容IID4 Hytes“RIFF*Si/e4 Bytes由數據決走Eype4 BytesWAVE11size是整個wav文件大小減去ID和Size所占用的字節數，即FileLen - 8 = Size=trucl ftIFf IlFADFR1 一char szRiillDH;曠 D

26、WORD dwRtffiize;trhar/.2)Format Chunk字侵若希躋上宇節數具獻內畧ID4 RytxfnirSiz?4 hiyleii然桂方“亂廿，僚迥最J&疔陽腳信札? R 徧碼方扎，一吧卻（hOOGI：hinndii2 Hytcs聲遇掘目，It單/!. 2;址聲逍SamplFcrSfc4 H札樣*fl半AByiesPcr5ix4 BytesBlocLAlign2 Byks龍搦肚科養單值（壽子沆樣需黃的子節$0HihFci Sample2 B4esf母個采聊霍婪的閒釵&忤2 fl-T -附狗淸思（可選，運誼創恥眾卻斷育無）_siruct WAVR FORMATrtWORD w

27、FormaiTag:WORD Channels;7 WORD dwSa mpl esPerSec;DWORD dw/SvgByiCiiPcrSet;WORD wftlockAlin:WORD Ei-itsPcrSampk;struct FMT rtLCK Kchar szFmiID4;/T；m,/* WORD dwFmiSize;WMT FORMAT wayForniai,3) FactChu nk字段名痂所占字節雜具體內営1D4 BytesTacFSie4 Bytes觀值為4data4 Byres用戶定楚Fact Chunk是可選字段，一般當 wav 文件由某些軟件轉化而成，則包含該Chun

28、k。struct FACT BLOCKchar旺F兀HD4;卑月上T DWORD dwFactSic;4) Data Chunk分成以下4種形式：4F+ 1樣本2樣本3懺益4羊聲道 Bbit 耋 H女逋。CA）聲適0 (A)4連Q （左）占逍0 g樣杓邨跟IRbit 量 ft玄逋仆（A）走道K右）帝逍0 (4)聲迪1（6）怦本1聊本2IE6hit童化韋道U左）（低位豐節）序逋（圭）高位字節）Xo（ tj（UChannel 0Sample 1雙聲道.每樣本16 Bits情形(doublechannels, 16 Bits per sample):Channel 1- Channel 1Chann

29、el 0Channel 0Sample 1Sample 2Sample 2struct DATA JiLOCK(char szDataID4;/,dtXT：a, DWORD dvvDataSizc;二、音頻播放程序1.利用PlaySound函數播放音頻文件1)基本介紹：PlaySound是Windows系統提供的基本音頻播放函數，在C/C+中使用。PlaySound函數不僅能夠播放波形音頻文件，而且可以播放系統事件對應的音 頻。2)原型：BOOL PlaySoundf LPCTSTR pszSound HMODULE hmod. DWORD fdwSvund)；pszSound：字符串變量，指

30、向播放的波形音頻文件，可以為NULL，這時任何當前播放的音頻將停止hmod :可執行文件的句柄，該可執行文件包含了需要加載的資源。一般情況 下，hmod被設置為 NULL。fdwSound :播放標識，有 15種取值：? SDN_ASYNC異步播放，即調用PlaySound函數后聲音開始播放，而調用立即返回，無需等待播放完畢。? SDN_SYNC同步播放，即調用要在播放完畢后才能返回。? SND_RESOURCE此時hmod設置為一個可執行文件的句柄。? SND_ALIAS此時pszSound不能是文件名，而必須是注冊的事件別名。3)核心代碼：switch (wmld)case ID_DISP

31、_SOUND/ 控件 IDPlaySound(Langry_bird.wav,NULL,SND_ASYNC)/ 播放音頻break;case ID_STOP_SOUND:PlaySound(NULL,NULL,SND_ASYNC 停止播放break;i rResolverMedia SourceMedia SessionTopologyStream |Decoder1 * 1Decoder2.基于 MF Media Session的音頻播放1)基本框架：Application2)基礎過程：調用 MFStartup 函數進行 Media Foundation platform 的初始化； 調用

32、MFCreateMediaSession 函數創建一個 Media Session 對象實例； 利用Source Resolver創建媒體源。創建Topology，并將媒體源節點與 SAR節點連接起來。實際上，應用程序 在這里只需要創建一個 Partial Topology (部分拓撲)，然后將媒體源與輸出節 點SAR連接，這時，Partial Topology能夠自動在兩者之間插入必要的解碼器，這體現出Media Foundation的智能性；調用 IMFMediaSession:SetTopology 將 Topology 設置到 Media Session;使用 IMFMediaEven

33、tGenerator 接口從 Media Session 取得事件；調用IMFMediaSessio n:Start啟動播放。之后，可以調用IMFMediaSessio n:Pause、IMFMediaSession:Stop 暫停、停止播放。退出應用程序時，需調用 IMFMediaSession:Close關閉 Media Session 該方 法是異步的，因此，當調用完畢，Media Session發送 MESessionClosed事件，并能夠安全處理后面的操作。3.音頻轉碼程序1)功能：將 MP3、WMA以及AVI、WMV中的音頻數據轉換成 WAV文件輸出的 功能。2)函數聲明：inc

34、lude sidaf.W,include *tiy_htemplate vend Safe kc I easel T *ppT) iWppT( *ppT)-Release();*ppT = NULL;HRbSULT VVri(eWavcFiie(MhSourueKeader+. HANDLE, LONG；HRESlt I Configure Audit) Sirwi t M F Surtt： Reader*, IM IKkdiu ryjH；4); HRKSliLT WrheWavcHeadertHANDLE, IMFMedmiype*, UWORD*); DWORD CalcukicKkixAudioDataSirc(TMFMcdiaTypc DWORD, DWORD);HRESL LT WrrieWaveDatHANDLE, lMFSourceRcader*, DWORD, DWORDS ilRESULT FixUpCliLiiikSiycsfllANDLE. DWORD. DWORD);HRRSULT WrireToFiKHAMDLR,也汩=DWORDS勺 uid OnFi le