第二章媒體及媒體技術2.1媒體的種類和特點；

2.2聽覺媒體技術；

2.3視覺媒體技術；

2.4觸覺媒體技術。12.1媒體的種類和特點22.1.1常見的媒體元素文本文本的定義用字符代碼和字符格式表示數據。文本的分類；非格式化文本格式化文本文件——多媒體應用中可顯示給用戶的媒體形式。32.1.1常見的媒體元素圖形圖形的概念一般指用計算機繪制的畫面。圖形文件的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數的指令集合。圖形文件的特點只記錄生成圖的算法和圖上的某些特征點，也稱矢量圖。line（x1,y1,x2,y2,color）circle（x,y,r,color）

42.1.1常見的媒體元素圖形

圖形的特征圖形是對圖象進行抽象的結果（人工或自動）；圖形的矢量化使得有可能對圖中的各個部分分別進行控制（放大、縮小、旋轉、變形、扭曲、移位等）圖形的產生需要計算時間52.1.1常見的媒體元素圖像圖像的概念用數字點陣方式表示的場景畫面。靜止的圖像是一個矩陣，由一些排成行列的點組成，這些點稱之為像素點（pixel），這種圖像稱為位圖（bitmap）。62.1.1常見的媒體元素圖像

圖像的主要技術參數分辨率屏幕分辨率計算機顯示器屏幕顯示圖像的最大顯示區

圖像分辨率

數字化圖像的大小

像素分辨率像素的寬高比，一般為1∶17圖像的分類矢量圖與點位圖

點位圖是將一副圖像在空間上離散化，即將圖像分成許許多多的像素，每個象素用若干個二進制位來指定該像素的顏色或灰度值。

點位圖的優點是：

（1）顯示速度快。

（2）點位圖轉化方便。

點位圖的缺點是：

（1）數據量比較大。

（2）容易失真。8圖像的分類矢量圖點位圖9圖像的分類灰度圖標準單色圖標準灰度圖1位…..8位10圖像的分類彩色圖256色標準圖像24位標準圖像112.1.1常見的媒體元素圖像圖形與圖象的關系圖形是矢量概念，圖元；圖象是位圖概念，象素；圖形變換無失真；圖象變換有失真；圖形以圖元為單位修改屬性、編輯；圖象只能對象素或圖塊處理；圖形是對圖象的抽象，但在屏幕上兩者無異122.1.1常見的媒體元素視頻

視頻的概念由連續的畫面組成。這些畫面以一定的速率連續地投射在屏幕上，使觀察者具有圖像連續運動的感覺。132.1.1常見的媒體元素視頻

視頻的數字化指在一段時間內以一定的速度對視頻信號進行捕獲并加以采樣后形成數字化數據的處理過程。視頻的制式PAL制（625/50）

每秒25幀，水平掃描線為625條，水平分辨率240~400個像素，隔行掃描。62年誕生于德國，應用于中國大陸、新加坡、歐洲地區等（Pal-B、D、G、H、I、N、NC）。模擬信號數值化142.1.1常見的媒體元素視頻

視頻的制式NTSC制（525/60）每秒30幀，水平掃描線為525條，水平分辨率240~400個像素，隔行掃描

。53年誕生于美國，應用于美國、日本、臺灣等（NTSC-M、NC、Japan等）。SECAM制（625/50）每秒25幀，水平掃描線為625條。由法國人提出，應用于俄羅斯、法國、非洲地區等。152.1.1常見的媒體元素視頻

視頻的技術參數顏色空間R、G、B（紅、綠、藍）Y、U、V（Ｙ為亮度，U、V為色差）H、S、I（色調、飽和度、強度）可以通過坐標變換而相互轉換幀速每秒鐘顯示的幀數目，計量單位為幀率（fps）視頻根據制式的不同：30幀/秒（NTSC）、25幀/秒（PAL）162.1.1常見的媒體元素視頻

視頻的技術參數數據量幀速×每幅圖像的數據量（不計壓縮）圖像質量與數據源質量有關（>：表示“好于”）RGB視頻>YUV視頻>Y/C視頻(S視頻)>復合視頻與視頻數據壓縮的倍數有關注1：UV兩個色差信號可合成為一個色度信號C，進而形成Y/C記錄方式，這種方式得到的視頻稱為S視頻。注2：把亮度Y與色度C進一步混合在一起，便形成復合視頻。172.1.1常見的媒體元素動畫動畫的概念

運動的圖形，實質是一幅幅靜態圖形的連續播放。計算機設計動畫方法造型動畫：每一幀中圖元表演幀動畫：位圖組成的聯系畫面腳本182.1.1常見的媒體元素動畫幀動畫192.1.1常見的媒體元素音頻

分類波形聲音(后綴.WAV，.VOC)包含了所有的聲音形式，它可以把任何聲音都進行采樣量化，并恰當地恢復出來。

20用聲音錄制軟件記錄的英文單詞“Hello”的語音實際

波形212.1.1常見的媒體元素音頻

分類語音人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。音樂（.MID，.CMF）符號化了的聲音，樂譜可轉變為符號媒體形式。只能記錄規定的有限種樂器的組合222.1.1常見的媒體元素音頻數字聲音波形質量的主要技術參數采樣頻率單位時間采集的信號份數，份數越多，質量越好11.025KHZ、22.05KHZ、44.1KHZ采樣精度每次采樣信息量8位、16位通道數聲音產生的波形數單聲道、立體聲道、5.1聲道數據量計算：(采樣頻率×采樣精度×通道數×時間)/8

字節232.1.2媒體的種類視覺視覺（靜止）圖像圖形文字符號語言文字抽象化抽象化（動態）圖像圖形動態影像視頻真實感三維動畫二維動畫三維動畫其它表示為視覺的媒體242.1.2媒體與多媒體聽覺觸覺其他感覺抽象化聽覺聲音聲響（自然界）語音（人類語言）音樂其它（嗅覺、味覺等）觸覺振動運動傳感/發生器252.1.3媒體的性質和特點各種媒體具有不同特點和性質媒體是有格式的不同媒體表達信息的特點和程度各不相同媒體之間可以相互轉換媒體之間的關系也具有豐富的信息媒體具有空間性質表現空間(出現、顯示的位置分布)媒體按相互的空間關系進行組織（本身的三維結構）視覺空間、聽覺空間和觸覺空間這3者既相互獨立又需要相互結合262.1.3媒體的性質和特點媒體的時間性質表現需要時間（時間點屬性）媒體在時間坐標軸上的相互關系（結構）媒體的語義媒體的語義是有層次的抽象的程度不同，語義的重點也就不同應用依賴于語義的理解媒體結合的影響媒體結合是多層次的媒體結合有利于信息接受和理解隱喻交互的概念模型，虛擬現實空間

272.2聽覺媒體技術

282.2.1聲音心理學1.聲音的量綱物理量綱：頻率，幅度，相位；心理量綱：響度，音調；

292.2.1聲音心理學1.聲音的量綱

物理量綱和心理量綱不等同，也確有關系。響度:強度>頻率；20HZ~20kHZ

音調:頻率>聲強。心理變量首要的物理變量次要的物理變量響度聲強聲波頻率音調聲波頻率聲強音色聲波復合－音量頻率和強度－密度頻率和強度－諧和（流暢或粗糙）諧波結構音樂技巧噪聲強度頻率組合，各種時間參量騷擾聲強度頻率組合，無意義302.2.1聲音心理學1.聲音的量綱

物理量綱和心理量綱的關系：

非線性；不孤立；不是一成不變的。312.2.1聲音心理學2.聽覺特性等響曲線定義:等響曲線描述的是響度一定時，頻率和強度之間的關系。曲線確定辦法：設定一標準音；調整強度和頻率，使得其響度相等。結論：同一響度的聲音，在頻率和強度上可以有很大差別。322.2.1聲音心理學2.聽覺特性掩蔽定義:一種聲音的出現可能使得另一種聲音難以聽清。聲音的掩蔽效應可用于聲音的壓縮：33一般來說，弱純音離強純音越近就越容易被掩蔽。聲強為60dB、頻率為1kHz純音的掩蔽效應1kHz1.1kHz2kHz342.2.1聲音心理學

2.聽覺特性臨界頻帶定義：在頻率的某一臨界區里，各種聲音的強度是相互作用的，合成聲音的響度由這些頻率共同決定。當噪聲掩蔽純音時，起作用的是以純音頻率為中心頻率的一定頻帶寬度內的噪聲頻率。對聲音響度的處理可有的放矢。35任何頻率的細小聲音都會因掩蔽效應而被臨界頻帶內音量較高的聲音所覆蓋在20Hz到16kHz的音頻范圍內有24個臨界頻帶362.2.1聲音心理學

2.聽覺特性相位定義：聲音的起點和方向。用途回聲的消除；會議系統的聲音設計。反相抵消同相加強372.2.1聲音心理學

2.聽覺特性自然聲音的時變現象聲音的音調分成三個區域：起始區、穩定狀態區、延遲區。區域特點：結論：聲音的起始部分難以識別。382.2.1聲音心理學2.聽覺特性聽覺空間聲源位置的確定：低頻靠時差，高頻靠強度。通過聲音的精確再現，就可構造出聽覺空間。人耳3種機制：定位、減少干擾和使掩蔽達到最小。392.2.1聲音心理學2.聽覺特性聽覺的頻譜特性定義：聲音是時間函數，通過傅里葉變換可做出其頻譜圖。人耳對頻譜成分的波峰和波谷是非常敏感的。音色：由混入基音的泛音所決定的。每個基音都有其固有頻率和不同音強的泛音，因此使得每個聲音具有特殊的音色效果。最低頻率402.2.1聲音心理學

2.聽覺特性聲音的心理模擬定義：通過人工真實的方法，可以對聽覺空間的聲音進行心理的模擬。以流水聲為例：聲音高低——流體的粘度冷暖音色——流體的溫度412.2.2音頻的數字化和符號化1．音頻的數字化與再現

為什么要數字化？數字音頻的特點：保真度好，動態范圍大。數字音頻的產生：由外界聲音經過采樣、量化和編碼后得到的。422.2.2音頻的數字化和符號化1．音頻的數字化與再現

采樣頻率的確定：奈奎斯特采樣定理：只有采樣頻率高于信號中最高頻率的兩倍，才可以從采樣中完全恢復原始信號的波形。采用44.1KHz作為高質量聲音的采樣頻率。為什么？PAL制式：294×50×3=44.1K43

聲音的采樣以及量化圖2.2.2音頻的數字化和符號化442.2.2音頻的數字化和符號化與數字音頻相關的重要特性：采樣頻率采樣頻率與聲音的質量關系最為緊密。標準的采樣頻率有三個：44.1KHz，22.05kHz，和11.025kHz。采樣位數存放一個采樣點所需的比特數。一般的采樣位數為8位或16位，即把聲音采集為256等份或65536等分。452.2.2音頻的數字化和符號化聲道數有單聲道、雙聲道和多聲道。如多種語言音頻混存時，需要多聲道數據量

(采樣頻率×每點采樣位數×聲道數)數據量＝

8(字節/秒)462.2.2音頻的數字化和符號化WAV文件又稱波形文件，來源于對聲音模擬波形的采樣，并以不同的量化位數把這些采樣點的值輪換成二進制數，然后存入磁盤，這就產生了波形文件。WAV文件用于保存Windows平臺的音頻信息資源，被Windows平臺及其應用程序所廣泛支持。

Wave格式支持多種壓縮算法，支持多種音頻位數、采樣頻率和聲道，是PC機上最為流行的聲音文件格式，但其文件尺寸較大，多用于存儲簡短的聲音片斷。472.2.2音頻的數字化和符號化MPEG音頻文件——.MP1/.MP2/.MP3指的是MPEG標準中的音頻部分，即MPEG音頻層(MPEGAudioLayer)。MPEG音頻文件的壓縮是一種有損壓縮，根據壓縮質量和編碼復雜程度的不同可分為三層(MPEGAudioLayer1/2/3)，分別對應MP1、MP2和MP3這三種聲音文件；

MPEG音頻編碼具有很高的壓縮率，MP1和MP2的壓縮率分別為4∶1和6∶1～8∶1，而MP3的壓縮率則高達10∶1～12∶1，也就是說一分鐘CD音質的音樂，未經壓縮需要10MB存儲空間，而經過MP3壓縮編碼后只有1MB左右，同時其音質基本保持不失真。482.2.2音頻的數字化和符號化

2．聲音的符號化

波形聲音可以把音樂、語音都進行數據化并且表示出來，但是并沒有把它看成音樂和語音。對于聲音的符號化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。492.2.2音頻的數字化和符號化（1）音樂的符號化－MIDIMIDI(MusicInstrumentDigitalInterface)是指樂器數字接口。

MIDI消息，是指樂譜的數字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的硬件接口，就構成了一個MIDI設備。當一組MIDI消息通過音樂合成芯片處理時，合成器能解釋這些符號并且產生音樂。

50MIDI實質上是由MIDI控制器（或MIDI文件）產生的指示電子音樂合成器要做什么、怎么做（如演奏某個音符、加大音量、生成音響效果）的一套標準指令。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是動作指令。51MIDI的通道概念單個物理MIDI通道分為16個邏輯通道，每個邏輯通道可指定一種樂器。MIDI鍵盤可設置在這16個通道中的任何一個，MIDI合成器可以被設置在指定的通道上接受。

522.2.2音頻的數字化和符號化（2）語音的符號化對語音的符號化實際上就是對語音的識別，將語音轉變為字符，反之也可以將文字合成語音。

532.2.3音頻媒體的三維化處理1．三維虛擬聲空間目的：作用：空間信息，逼真的虛擬空間定義：三維虛擬聲空間（ThreeDimensionalVirtualAcoustic，3DVA），是指用一定的聲音設備人為地產生出來的具有空間位置信息的聲音空間。 三維聽覺明顯依賴于人對聽覺空間中聲源的定位能力542.2.3音頻媒體的三維化處理

2．3DVA的基本理論人類感知聲源位置的最基本的理論是雙工理論：兩耳間聲音的到達時間差（因距離原因而致）ITD（InterauralTimeDifferences）；兩耳間聲音的強度差（因信號衰減而致）IID（InterauralIntensityDifferences）。大腦根據IID和ITD分別對高頻與低頻聲音定位552.3視覺媒體技術

562.3.1視覺心理學

1．視覺的心理特征

同聲音心理學相似，與視覺相對應的光學物理性質和心理知覺也是截然不同的。雖然光的物理特性與心理知覺有關，但它們的關系并不是線性的。對光的色調和亮度的感覺不僅和它的頻率和強度有關，而且還和它出現的背景有關，和同時出現的周圍光有關。572.3.1視覺心理學視覺心理變量主要的物理變量亮度光強色調（彩色）波長濃度（彩色的濃度）光譜成分對比光強、波長、周圍光582.3.1視覺心理學

2.視覺特性

亮度亮度是人眼對光強度的感受。一個物體的亮度不僅跟目標的物理強度有關，而且與周圍的背景有關。對圖像的處理最重要的是亮度的差別。“看”并非如你想象得那么簡單。“看”是一個建構過程，在此過程中，大腦以并行的方式對景物的很多不同“特征”進行響應，并以以往的經驗為指導，把這些特征組合成一個有意義的整體。592.3.1視覺心理學與聲音相似，視覺上也有等亮曲線，反映了視覺在亮度上與波長的關系。在同一亮度感覺下，不同波長的光具有不同的光強。視覺也有掩蔽現象，在很亮的高光周圍時難以看清的，道理和聲音是類似的。602.3.1視覺心理學彩色表示顏色需要考慮三種心理屬性：色調、亮度和飽和度。色調就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。亮度是光作用于人眼所引起的明亮程度的感覺，與光強有關。飽和度是代表顏色的深淺程度。色調和飽和度統稱為色度。

61視覺系統對顏色的感知眼睛本質上是一個照相機。人的視網膜(humanretina)通過神經元來感知外部世界的顏色，每個神經元或者是一個對顏色敏感的錐體(cone)，或者是一個對顏色不敏感的桿狀體(rod)。62人的視網膜有對紅、綠、藍顏色敏感程度不同的三種錐體細胞，另外還有一種在光功率極端低的條件下才起作用的桿狀體細胞，因此顏色只存在于眼睛和大腦中。顏色是視覺系統對可見光的感知結果。紅、綠和藍三種錐體細胞對不同頻率的光的感知程度不同，對不同亮度的感知程度也不同，因此不同組成成分的可見光就呈現出不同的顏色。632.3.1視覺心理學

在輻射功率相同的條件下，不同波長的光不僅給人不同的顏色感覺，而且也給人不同的亮度感覺。

人眼對亮度信息敏感，而對顏色的敏感程度相對較弱。

純正的顏色的明暗差別

64視覺系統對顏色的感知視覺系統對顏色和亮度的響應特性曲線（各個波長的光的強度相等）65RGB顏色模型CMYK

顏色模型顏色模型用于顯示設備用于打印設備66RGB模型稱為相加混色模型，用于光照、視頻和顯示器。例如，顯示器通過紅、綠和藍熒光粉發射光線產生彩色。RGB顏色模型67CMYK顏色模型CMYK模型稱為相減混色模型。之所以稱為相減色，乃是因為它減少了為視覺系統識別顏色所需要的反射光。68相加色與相減色的關系69光亮度與反差的關系：圖中點線所示為光強度的分布，若上述現象實現點線的光強度分布，則人所能感到的光亮度為用實線表示。這就好像一個帶子，所以被稱為馬赫帶(Machband)。

70視覺系統對顏色的感知許多具有不同光譜分布的光產生的視覺效果（顏色）是一樣的。即光譜與顏色的對應是多對一的。光譜分布不同而看上去相同的兩種顏色稱為條件等色（匹配等色）。71匹配任意可見光所需的三原色光比例曲線可見光譜722.3.1視覺心理學視覺的時間特性

建立視覺圖像需要時間，而一旦建立起來之后，即使把圖像對象拿走，這種反應也要維持一段時間。732.3.1視覺心理學注視點和視野范圍

整體性主觀輪廓74注視點主要集中在：

1、圖像中黑白交界的部分，尤其是拐角處。2、閉合圖形內側移動。3、時隱時現運動變化的部分或者圖像中特別不規則的地方。

視野開闊，1、左右視角約為180度，2、上下約為60度。3、視力好的部位僅限于2到3度752.3.2模擬視頻原理光柵掃描原理將二維圖像轉成為一維電信號是由光柵掃描的方法實現的。762.3.2模擬視頻原理

分辨率表現的是電視系統中重現場景細節的能力。

水平分辨率垂直分辨率垂直分辨率vs

掃描線數目772.3.2模擬視頻原理幀頻：每一秒鐘所掃描的幀數。PAL(625/50),NTSC(535/60)幀頻是？寬高比---掃描行的長度:掃描行所跨過的距離

目前電視中的寬高比為4：3，新型電視的寬高比為16：9，有些電影系統的寬高比為2：1。782.3.3視覺媒體數字化

1．位圖圖像與數字視頻

圖像的數字化

（象素點）采樣--量化

數字視頻序列

時間排序按照顏色或灰度進行792.3.3視覺媒體數字化

2．圖形

不需要逐點量化保存，是以一組指令的形式存在產生這些點的過程及方法802.3.3視覺媒體數字化

3．符號與文字

文本，即字符串；

數據組，如數據庫中的一個元組，均可表達特定的信息。需要借助輔助知識才能使用例如“ICANSPEAKENGLISH”812.3.4視覺媒體的三維立體顯示

1．立體顯示原理

三維顯示（本文）：所顯示的圖像確確實實是立體的。

視差（parallax）是投影到人眼視網膜上圖像上兩點間的水平距離，正是這個距離產生了視覺上的立體感。822.3.4視覺媒體的三維立體顯示

視差

右眼圖像

左眼圖像

視差距離

左右眼圖像之間有縫隙832.3.4視覺媒體的三維立體顯示

2．視差零視差正視差負視差發散視差它們產生的立體感覺是不同的。842.3.4視覺媒體的三維立體顯示

零視差：視差為零，沒有立體感正視差：視差大于0，可看到深度。正視差大于0且小于等于兩眼間距（平均64mm）。852.3.4視覺媒體的三維立體顯示

負視差：兩眼目光交叉。發散視差：視差值比兩眼間距還大。盡量避免86立體圖像的產生旋轉法雙機攝影法產生左右眼圖像投影變換法模仿人眼視差建模–-投影變換—生成做右眼圖像87xyz(X,Y)P(x,y,z)A(0,0,-d)單投影中心L(-e/2,0,-d)P(x,y,z)R(e/2,0,-d)左眼右眼(XL,YL)(XR,YR)雙投影中心？？？X/x=d/(d+z)X=x/(z/d+1)(XL+e/2)/(x+e/2)=d/(d+z)XL=(xd+ze/2)/(d+z)模仿人眼視差建模882.3.4視覺媒體的三維立體顯示

3．立體圖像的顯示

讓一只眼睛看一個顯示器.例如，頭盔顯示器。

在顯示器上快速地顯示兩眼不同的圖像。

例如，3d眼鏡89裸眼3D利用電子光柵，左右眼各自看到對應的畫面。903D顯示的問題：視覺疲勞

912.4觸覺媒體技術

922.4.1觸覺媒體概述

皮膚和身體的觸覺：溫度濕度壓力振動、運動、旋轉等

觸覺媒體就是環境媒體。環境的特征與參數932.4.2簡單指點設備與技術1．指點的任務指點