1、多媒體技術與應用 中國水利水電出版社9/18/20221操作系統與實驗教程 第3章第1講第一章 多媒體技術基礎9/18/20222操作系統與實驗教程 第3章第1講1.1多媒體技術概要媒體是信息的載體，如報紙、電視、雜志、電影、廣播等。它以聲音、圖像、文字、視頻信號等方式向人們提供各種信息。在計算機技術領域中，媒體(medium)指的是信息傳遞和存儲的最基本的技術和手段。 1.1.1 多媒體的概念多媒體的定義是：綜合表現音頻、視頻、圖形、圖像、動畫和文本的信息組合。 多媒體技術是將文本、音頻、圖像、圖像、動畫和視頻等多種媒體信息通過計算機進行數字化采集、編碼、存儲、傳輸、處理和再現等，使多種媒體

2、信息建立邏輯連接，并集成為一個具有交互性的系統。 感覺媒體(Perception Media)感覺媒體是指能夠直接作用于人的感覺器官（聽覺、視覺、觸覺和嗅覺）,并使人產生直接感覺的媒體。 表示媒體(Representation Media) 表示媒體是指為了傳播感覺媒體而人為研究和創建的媒體。顯示媒體(Presentation Media)顯示媒體指用于電信號和感覺媒體之間轉換的媒體。存儲媒體(Storage Media)存儲媒體是指存放媒體的介質。如磁帶、磁盤、光盤等。傳輸媒體(Transmission Media)傳輸媒體是指傳輸媒體的介質。是將表示媒體從一地傳輸到另一地的物理實體。 感覺

3、媒體存放處理加工輸入輸出顯示媒體存儲媒體表示媒體顯示媒體圖1-1 五種媒體的轉換1.1.2 多媒體技術的特征多樣性：綜合處理多種媒體信息集成性：多種媒體信息及與系統集成交互性：機器與人之間的交互溝通能力實時性: 對媒體信息的實時處理數字化：媒體信息的數字化1.1.3 多媒體系統的關鍵技術信息處理技術和信息壓縮技術多媒體計算機系統技術多媒體存儲技術多媒體計算機專用芯片技術多媒體數據庫管理和檢索技術多媒體網絡通信技術 超文本和超媒體技術 1.1.4多媒體系統的應用娛樂和教育視頻制作和信息咨詢電子商務和網絡虛擬現實 1.1.5多媒體技術的展望1、多媒體技術的發展史2、多媒體技術的發展趨勢多媒體技術將

4、與相鄰技術結合以提供更加完善的人機交互環境。利用已較成熟的圖像理解、語音識別，全文檢索等技術，研究多媒體基于內容的處理模式。多媒體通信網絡環境及其設備的研究。 多媒體標準仍是研究的重點 虛擬現實技術的研究將繼續深入 1. 2多媒體數據的采集與處理 文本是多媒體中不可缺少的基本元素。文本以文字或特定的符號來表達信息。計算機對字符的識別與轉換是通過ASCII碼（美國標準信息交換碼）進行的。 文字的采集可以通過鍵盤輸入、語音輸入、手寫輸入和文字識別（OCR）軟件掃描輸入等。 1.2.1 文本的采集與處理 文本文件的格式DOC： DOC是Microsoft Word字處理軟件所使用的文件格式。TXT：

5、TXT文本是純ASCII碼文本文件，純文本文件是無格式的，即文件里沒有任何有關字體、大小、顏色、位置等格式化信息。Windows系統的“記事本”就是支持TXT文本的編輯和存儲工具。所有的文字編輯軟件和多媒體集成工具軟件均可直接調用TXT文本格式文件。 WPS：WPS是WPS Office中文字處理軟件的格式，其中包含特有的換行和排版信息，稱為格式化文本，只能在特定WPS編輯軟件中使用。 1.2.2 圖形、圖像的采集和處理 矢量圖與位圖矢量圖通過一組指令集來描述圖形。這些指令描述了一幅圖的所有直線、圓、圓弧、矩形、曲線等圖元的位置、維數、大小和形狀。 位圖的基本元素是像素。是用攝像機或掃描儀等輸

6、入設備捕捉實際場景畫面產生的數字圖像。圖像的顯示過程是按照位圖中所安排的像素順序進行的，與圖像內容無關。 圖形與圖像的采集和處理 圖形的獲取方法是用一組指令來繪制畫面。由于圖形只保存算法和特征點，因此占用的存儲空間很小。但顯示時需經過重新計算，因而顯示速度相對慢些。圖像是由許多點陣（像素）而構成的點位圖。黑白線條圖常用1位值表示，灰度圖常用4位（16種灰度等級）或8位（256種灰度等級）表示該點的亮度，而彩色圖像則用更多的位數（8，16，24，32位）來描述像素點的顏色層次。對圖像的處理有幾個重要的技術指標：屏幕分辨率：屏幕分辨率是顯示器屏幕上的最大顯示區域，即水平與垂直方向的像素個數。圖像分

7、辨率：圖像分辨率是數字化圖像的大小，即該圖像的水平與垂直方向的像素個數。常用圖形、圖像制作軟件 CorelDRAW FreehandPhotoshop PhotoImpact HyperSnap-DX 圖形與圖像的文件格式.BMP 是Microsoft公司為其Windows環境設置的標準圖像格式。.JPG/JPEG 是24位的圖像文件格式，采用JPEG國際標準對圖像進行壓縮。.EPS 是用PostScript語言描述的矢量圖形文件。.WMF 是Windows圖元文件格式，.PNG 是90年代中期開始開發的能存儲32位信息的位圖文件格式。.PSD 是Photoshop中使用的一種標準圖形文件格式

8、。.TGA 是True Vision公司為其顯卡開發的一種圖像文件格式。1. 2. 3 動畫的采集和處理 動畫的采集和處理動畫是對事物運動、變化過程的模擬。動畫的制作需要借助專門的工具軟件，有二維的，也有三維的。在這類工具軟件中，制作者需要借助對事物變化運動、變化過程分析的結果，構建事物運動的環境與類型。 動畫的制作的基本步驟是：輸入過程：合成階段：中間畫面的生成：常用動畫制作軟件繪制和編輯動畫軟件。這類具有豐富的圖形繪制和上色功能，并具備自動動畫生成功能，是原創動畫的重要工具。具有代表性的軟件有：Animator Pro平面動畫制作軟件。3D Studio MAX三維動畫設計軟件。COOL

9、3D三維文字動畫軟件。Poser人體三維動畫制作軟件。動畫處理軟件。這類軟件對動畫素材進行后期合成、加工、剪輯和整理，添加特殊效果，對動畫具有強大的加工處理能力。典型的軟件有：Animator Studio-動畫處理軟件。Premiere-電影影像、動畫處理軟件。GIF Construction Set-網頁動畫處理軟件。After Effects電影影像、動畫后期合成軟件。Authorware一多媒體平臺軟件。動畫文件格式.FLC Flash源文件存放格式。.SWF Flash動畫文件格式 .GIF GIF格式是常見的二維動畫格式。主要用于圖像文件的網絡傳輸，文件數據量小。 .AVI 嚴格說

10、來，AVI格式并不是一種動畫格式，而是一種視頻格式，它不但包含畫面信息，亦包含聲音效果。 1.2.4 聲音的采集和處理聲音的采集和處理 音頻（Audio）指的是人耳可以聽到、頻率大約在20Hz20kHz范圍的聲音。習慣上把300 Hz以下的聲音稱為低音，300 Hz1kHz稱為中音，4kHz以上稱為高音。人對聲音頻率的感覺表現為音調的高低，且當聲音的頻率按指數規律上升時，音調的感覺線性升高。幾種常見的聲音頻寬如圖1-2所示。數字電話調幅廣播AM調頻廣播FM數字激光CD10 20 50 200 3400 7000 15000 20000 f（Hz）圖1-2不同質量聲音的頻帶對比示意圖聲音具有音調

11、、音強、音色三要素。音調與頻率有關，音強與幅度有關，音色由混入基音的泛音所決定。音頻數字化是通過采樣和量化兩個過程把模擬量表示的音頻信號轉換成由二進制數1和0組成的數字音頻文件。如圖1-3所示。采樣量化模擬音頻信號數字音頻信號圖1-3模擬音頻到數字音頻信號的轉換采樣的目的是在時間軸上對信號數字化。量化的目的是在幅度軸上對信號數字化。采樣頻率：采樣頻率是每秒鐘采取聲音信號振幅數值的次數，單位是Hz。采樣頻率越高，數字化后的聲音越接近原始聲音，但需要的存儲空間也越大。量化精度：表示采樣數值所使用的二進制位數。二進制位數越多，表示的數值范圍越大，量化后振幅的精度越高。量化位數一般取864位。數字化后

12、聲音文件的大小:數據量（字節/秒）（采樣頻率量化位數聲道數）/8 常用聲音編輯軟件聲音數字化轉換軟件，把聲音轉換成數字化音頻文件。代表性的軟件有：Esay CD-DA Extractor把光盤音軌轉換成wav格式的數字畫音頻文件。Exact Audio Copy把多種格式的光盤音軌轉換成wav 格式的數字化音頻文件。eal Jukebox在Internet互聯網上錄制、編輯、播放數字音頻信號。聲音編輯處理軟件。可對數字化聲音進行剪輯、編輯、合成和處理，還可以對聲音進行聲道模式變換、頻率范圍調整、生成各種特殊效果、采樣頻率變換、文件格式轉換等。典型的軟件有：Goldwave帶有數字錄音、編輯、合

13、成等功能的聲音處理軟件。Cool Edit Pro編輯功能眾多、系統龐大的聲音處理軟件。Acid WAV聲音編輯與合成器。聲音壓縮軟件。通過某種壓縮算法，把普通的數字化聲音進行壓縮，在音質變化不大的前提下，大幅度減少數據量，以利于網絡傳輸和保存。常見的軟件有：L3Enc將wav格式的普通音頻文件轉換成mp3格式的文件。Xingmp3 Encoder把wav格式的音頻文件轉換成mp3格式的文件。WinDAC32把光盤音軌直接轉換并壓縮成mp3格式的文件。 MIDI音頻MIDI（Musical Instrument Digital Interface）是樂器數字接口的英文縮寫,是一個電子音樂設備和

14、計算機的通訊標準。任何電子樂器，只要有處理MIDI指令的微處理器，并有合適的硬件接口，都可以成為一個MIDI設備。聲音的文件格式.WAV 波形聲音文件格式。直接來源于對聲音模擬波形的采樣，沒有經過壓縮，數據量大，但音質最好。 .MID MIDI文件記錄的不是聲音本身，而是將每個音符記錄為一個數字，比較節省空間，可以滿足長時間音樂的需要。 .MP3 MP3是以MPEG Layer 3標準壓縮編碼的一種音頻文件格式。壓縮率高達121且具有較好的音質。.CDA 光盤數字音頻文件，也就是我們俗稱的CD音樂,是一種高質量的聲音文件。 .VOC 是Creative公司聲霸卡波形音頻文件格式，是一種數字聲音

15、文件。 .RA 是RealNetworks公司開發的主要適用于網絡實時數字音頻流技術的文件格式。它的面向目標是實時的網上傳播，音質較差。.ASF/ASX/WMA/WAX 是微軟公司開發的新一代網上流式數字音頻壓縮技術。這種壓縮技術的特點是同時兼顧了保真度和網絡傳輸需求。 1.2.5 視頻的采集和處理 視頻的采集和處理 視頻動態圖像是由多幅連續的單幀圖像序列構成的。當每一幀圖像為實時獲取的自然景物或活動對象時，稱之為動態影像視頻，簡稱動態視頻或視頻（Video）。視頻同動畫媒體相比，視頻是對現實世界的真實記錄。借助計算機對多媒體的控制能力，可以實現視頻的播放、暫停、快速播放、反序播放、單幀播放等

16、功能。 視頻卡是視頻信號采集中的重要設備，是PC機上用于處理視頻信息的設備卡。其主要功能是將模擬視頻信號轉換成數字化視頻信號或將數字信號轉換成模擬信號。視頻卡根據功能不同可分為多種類型。視頻采集卡：用于將攝像機、錄像機等設備播放的模擬視頻信號經過數字化采集到計算機中。壓縮/解壓縮卡：用于將靜止和動態的圖像按照JPEG/MPEG標準進行壓縮或還原。視頻輸出卡：用于將計算機中加工處理的視頻信息轉換編碼，并輸出到電視機等設備上。電視接收卡：用于將電視機中的節目通過該設備卡的轉換處理，在計算機的顯示器上播放。常用的視頻制作軟件Premiere 是Adobe公司推出的產品，它是非常優秀的視頻編輯軟件，能

17、對視頻、聲音、動畫、圖片、文本進行編輯加工，并最終生成電影文件。 Video Studio 是著名的多媒體軟件公司友利資訊股份有限公司推出的一款面向普通家庭用戶，簡單易學的數碼聲像編輯軟件。Power VCR 該軟件繼承了CyberLink系列軟件的一貫風格，界面華麗，操作簡潔。除了可以編輯MPEG文件，還能實時采集通過顯卡或視頻卡影象，并實時壓縮成MPEG文件。 超級解霸 豪杰超級解霸是一款非常好的VCD播放器，它也提供了音頻解霸、音頻壓縮、CD壓縮這三款制作和播放MP3的工具。利用這些工具，可以方便地把VCD、錄音和CD轉成MP3。HyperCam 是一個影像截取工具軟件。它不僅截取方便，

18、而且能將截獲的影像自動轉換為AVI動畫文件格式。視頻文件的格式.AVI Microsoft公司開發的一種伴音與視頻交又記錄的視頻文件格式。 .MOV Apple公司為在Macintosh微機上應用視頻而推出的文件格式。.VOB DVD視頻文件存儲格式。 .DAT VCD視頻文件存儲格式。.MPE 采用MPEG方法進行壓縮的全運動視頻圖像文件格式。.AVS Intel和IBM公司共同研制的DVI系統動態圖像文件格式。AVS文件只能在DVI系統硬件的支撐下才能讀寫。但它能提供較多的靈活性，能夠支持多個數據流同時操作。 1. 3多媒體素材的基本知識人眼可以分辨的是可見光，可見光是由各種不同波長的彩色

19、光譜組合而成，波長范圍在350nm750nm之間。1.3.1 色彩的基本知識圖1-6 可見光譜 三基色和混色三基色是指紅、綠、藍三種基本顏色。色彩斑斕的視覺世界就是由這三種基本顏色來構造。紅、綠、藍三色光可以混合成自然界的全部色彩，而這三色光本身相互獨立，所以人們常常將紅、綠、藍稱為色光三原色。 紅光綠光藍光白光紅光綠光黃色光紅光藍光品色光綠光藍光青色光紅光青光白光綠光品色光白光藍光黃色光白光圖1-6 三基色和混色RGB色彩空間表示RGB色彩空間通常用三維模型表示，如圖1-7所示。每種顏色用RGB三個參數的三維坐標來描述，一幅彩色圖像的每一個像素值用一個RGB分量表示色彩，每個分量占8個二進制

20、位。如黑色(0,0,0)，白色(255,255,255)；紅色(255,0,0)等。RGB分量取不同的值，可混合出各種顏色。 圖1-7 RGB顏色空間的表示藍(0,0,255)青(0,255,255)黑(0,0,0)綠(0,255,0)品紅(255,0,255)白(255,255,255)紅(255,0,0)黃(255,255,0)色彩的三要素人的視覺系統對彩色色度的感覺和亮度的敏感性是不同的。從人的視覺特性看，色彩可用色調、飽和度和亮度三個要素來描述。亮度：它是指彩色光作用于人眼時引起人眼視覺的明亮程度。色調：色調表示彩色的外觀，用于區別顏色種類。色飽和度：色飽和度表示顏色的深淺程度。1.3

21、.2 描述圖像的主要指標分辨率：分辨率可分為顯示分辨率和圖像分辨率兩種。顯示分辨率：圖像分辨率：顏色深度：也稱為像素深度，是指存儲每個像素所用的二進制位數。真彩色、偽彩色和直接色：真彩色偽彩色直接色顏色模式：灰度模式：該模式只有灰度色（圖像的亮度），沒有彩色。RGB模式：該模式是用紅（R）、綠（G）、藍（B）三基色來描述顏色。HSB模式：該模式是利用顏色的三要素來表示顏色的，它與人眼觀察顏色的方式最接近，是一種定義顏色的直觀方式。CMYK模式：該模式是一種基于四色印刷的印刷模式。Lab模式：該模式是由3個通道組成，亮度L；a通道，b通道1.3.3 動畫與視頻動畫： 只要將若干幅稍有變化的靜止圖像順序地快速播放，而且每兩幅圖像出現的時間小于人眼視覺惰性時間(每秒鐘傳送24幅圖像)，人眼就會產