MMTYANGZHOUDAXUE物理科學(xué)與技術(shù)學(xué)院第二講數(shù)字聲音及MIDI簡(jiǎn)介

聲音是攜帶信息的極其重要的媒體(20%)，是多媒體技術(shù)研究中的一個(gè)重要內(nèi)容。聲音的種類繁多，如人的話音、樂(lè)器聲、動(dòng)物發(fā)出的聲音、機(jī)器產(chǎn)生的聲音以及自然界的聲音等。這些聲音有許多共同的特性，也有它們各自的特性。在用計(jì)算機(jī)處理這些聲音時(shí)，既要考慮它們的共性，又要利用它們的各自的特性。我們將研究聲音的基礎(chǔ)知識(shí)，掌握聲音數(shù)字化的兩個(gè)最基本的概念；了解基本的音頻信號(hào)編碼技術(shù)。第1節(jié)聲音聲音是通過(guò)空氣傳播的一種連續(xù)的波，叫聲波。反射(reflection)、折射(refraction)和衍射(diffraction)聲音信號(hào)是由許多頻率不同的分量信號(hào)組成的復(fù)合信號(hào)。復(fù)合信號(hào)的頻率范圍稱為帶寬。聲音的本質(zhì)帶寬為20Hz－20kHz的信號(hào)稱為音頻（audio）信號(hào)，可以被人的耳朵感知。話音信號(hào)帶寬在80Hz～3400Hz。頻率決定音調(diào)。

響度（音量）表示的是聲音能量的強(qiáng)弱程度，主要取決于聲波振幅的大小。用聲壓(達(dá)因／平方厘米，牛頓／平方米)或聲強(qiáng)(瓦特／平方厘米)來(lái)計(jì)量。聲壓的單位為帕(Pa)。人耳對(duì)lkHz、10-16W/cm2的純音剛能聽(tīng)到。聲強(qiáng)級(jí)表示響度的相對(duì)量，它定義為某響度與10-16W/cm2比值的對(duì)數(shù)值乘以10，單位為dB。正常人聽(tīng)覺(jué)的強(qiáng)度范圍為0dB—120dB。聲音與聽(tīng)覺(jué)樂(lè)音以小提琴為例，當(dāng)它的A弦振動(dòng)時(shí)，并不僅僅是整根弦在振動(dòng)，這根弦的二分之一、三分之一、四分之一、五分之一……處都在振動(dòng)著。于是，整根弦的振動(dòng)產(chǎn)生了最主要的頻率，我們稱之為基音，而弦長(zhǎng)的二分之一、三分之一、四分之一等處的振動(dòng)則產(chǎn)生了一些次要的頻率，我們稱之為泛音。如果一個(gè)物體振動(dòng)所發(fā)出的泛音為基音的整數(shù)倍，這個(gè)音就會(huì)具有清晰可辨的音高，我們稱之為樂(lè)音，如鋼琴，小提琴等發(fā)出的都是樂(lè)音；如果泛音是基音的非整數(shù)倍，這個(gè)音就不具備清晰可辨的音高，我們稱之為噪音，如汽車(chē)發(fā)動(dòng)機(jī)、計(jì)算機(jī)風(fēng)扇等發(fā)出的都是噪音。

基音和混入基音的泛音決定音色。聲音的三要素音調(diào)、音強(qiáng)、音色為聲音的三要素。音強(qiáng)（響度）取決于聲音的幅度。音調(diào)取決于聲音的頻率。音色是由混入基音的泛音所決定的。聲音的聽(tīng)覺(jué)特性聲音的方向性人的耳朵對(duì)聲音強(qiáng)度和頻率的反應(yīng)成對(duì)數(shù)形式聲音的掩蔽特性（時(shí)域掩蔽、頻域掩蔽）聲音質(zhì)量的度量聲音的質(zhì)量與聲音的帶寬有關(guān)，一般來(lái)說(shuō)頻率范圍越寬，聲音質(zhì)量也就越高。聲音類型帶寬電話語(yǔ)音200Hz－3.4kHz調(diào)幅廣播(AM)50Hz－7kHz調(diào)頻廣播(FM)20Hz－15kHzCD10Hz－20kHz信噪比（SNR）度量指試聽(tīng)者要把語(yǔ)音編碼器的輸出按質(zhì)量分為：優(yōu)（5分）、良（4分）、中（3分）、差（2分）、劣（1分）或分類為：察覺(jué)不到（5分），稍稍察覺(jué)到但無(wú)不適感（4分），能察覺(jué)且有不適感（3分），有不適感但還能忍受（2分），很不適且無(wú)法忍受（1分）主觀平均判分法（MOS，MeanOpinionScore

）第2節(jié)聲音信號(hào)數(shù)字化聲音信號(hào)是典型的連續(xù)信號(hào)，不僅在時(shí)間上是連續(xù)的，而且在幅度上也是連續(xù)的。聲音進(jìn)入計(jì)算機(jī)的第一步就是數(shù)字化，數(shù)字化過(guò)程中最重要的步驟就是采樣和量化。采樣（sampling）：將聲音信號(hào)在時(shí)間上離散化，即每隔相等的一段時(shí)間抽取一個(gè)信號(hào)樣本。量化（quantization）：將連續(xù)的信號(hào)幅度離散化。如果幅度的劃分是等間隔的，稱為線性量化，否則為非線性量化。一般緊跟編碼過(guò)程。

電壓范圍量化步長(zhǎng)量化結(jié)果

編碼逆量化結(jié)果5~723 01163~522 01041~321 0012-1~1200000-3~-12-1 111-2-5~-32-2 110-4-7~-52-3 101-6-9~-72-4 100-8多媒體數(shù)據(jù)的量化一般通過(guò)除以量化步長(zhǎng)量化為整數(shù)。逆量化就是乘以量化步長(zhǎng)。量化步長(zhǎng)越長(zhǎng)，壓縮字節(jié)越多，但是誤差越大。量化步長(zhǎng)越短，壓縮字節(jié)越少，但是誤差越小。量化除了有使幅度離散的作用外，同時(shí)：（1）壓縮字節(jié)（2）產(chǎn)生量化誤差（量化誤差：逆量化的結(jié)果和原始信號(hào)幅值之差，也稱為量化噪聲。

）采樣頻率奈奎斯特理論指出：采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來(lái)的聲音，稱為無(wú)損數(shù)字化。

fs

>=

2fmax例如話音信號(hào)最高頻率約為3.4kHz，所以采樣頻率取為8kHz。采樣精度每個(gè)聲音樣本的數(shù)字化位數(shù)。反映聲音波形幅度的采樣精度。也直接決定數(shù)據(jù)率的大小。質(zhì)量采樣頻率（kHz）樣本精度（bit）單道聲/立體聲數(shù)據(jù)率（kb/s）電話88單道聲64AM11.0258單道聲88.2FM22.05016立體聲705.6CD44.116立體聲1411.2人－機(jī)通信，計(jì)算機(jī)接收音頻信號(hào)。獲取、語(yǔ)音識(shí)別與理解。機(jī)－人通信，計(jì)算機(jī)輸出音頻。音頻合成；聲音重構(gòu)、模擬。產(chǎn)生真實(shí)感聲音。人－機(jī)－人通信，人通過(guò)網(wǎng)絡(luò)進(jìn)行語(yǔ)音通信，需要的處理包括：語(yǔ)音采集、編碼解碼、傳輸、檢索，識(shí)別。音頻信號(hào)處理的內(nèi)容第3節(jié)音頻處理技術(shù)關(guān)于音頻信號(hào)的幾個(gè)問(wèn)題奈奎斯特（Nyquist）理論與混迭效應(yīng)量化信號(hào)的時(shí)域與頻率特征人耳對(duì)音頻信號(hào)的理解信號(hào)的表示和編碼信號(hào)的重構(gòu)音頻信號(hào)處理的流程原始聲音信號(hào)聲電信號(hào)轉(zhuǎn)換低通濾波模擬數(shù)字轉(zhuǎn)換數(shù)字信號(hào)處理傳輸存儲(chǔ)聲音合成功率放大數(shù)字模擬轉(zhuǎn)換電聲信號(hào)轉(zhuǎn)換音頻信號(hào)處理的重要硬件就是音頻卡。音頻卡結(jié)構(gòu)第4節(jié)WAVE音效和MIDI音樂(lè)Wave音效合成與MIDI音樂(lè)合成是聲卡最主要的功能。WAVE音效合成是由聲卡的AD模數(shù)轉(zhuǎn)換器和DA數(shù)模轉(zhuǎn)換器來(lái)完成的。模擬音頻信號(hào)經(jīng)AD轉(zhuǎn)換后為數(shù)字音頻后，以文件形式將數(shù)據(jù)直接存放在磁盤(pán)等介質(zhì)上，成為聲音文件。這類文件我們稱之為waveform文件，通常以.wav為擴(kuò)展名，因此也稱為wav文件。缺點(diǎn)：wav文件需要占用很大的貯存空間。為了節(jié)省存貯空間，人們使用各種算法對(duì)wav文件進(jìn)行壓縮，時(shí)下極為流行的MP3就是一種高壓縮比低失真的壓縮算法。WAVE文件格式

偏移地址字節(jié)數(shù)數(shù)據(jù)類型內(nèi)

容

文件頭42字節(jié)00H4char"RIFF"標(biāo)志04H4longint文件長(zhǎng)度-8字節(jié)08H4char"WAVE"標(biāo)志0CH4char"fmt"標(biāo)志10H4

過(guò)渡字節(jié)（不定）14H2int格式類別（01H為PCM形式的聲音數(shù)據(jù))16H2int通道數(shù)，單聲道為1，雙聲道為218H2int采樣率（每秒樣本數(shù)），表示每個(gè)通道的播放速度，1CH4longint波形音頻數(shù)據(jù)傳送速率，其值為通道數(shù)×每秒數(shù)據(jù)位數(shù)×每樣本的數(shù)據(jù)位數(shù)／8。播放軟件利用此值可以估計(jì)緩沖區(qū)的大小。20H2int數(shù)據(jù)塊的調(diào)整數(shù)（按字節(jié)算的），其值為通道數(shù)×每樣本的數(shù)據(jù)位值／8。播放軟件需要一次處理多個(gè)該值大小的字節(jié)數(shù)據(jù)，以便將其值用于緩沖區(qū)的調(diào)整。22H2

每樣本的數(shù)據(jù)位數(shù)，表示每個(gè)聲道中各個(gè)樣本的數(shù)據(jù)位數(shù)。如果有多個(gè)聲道，對(duì)每個(gè)聲道而言，樣本大小都一樣。24H4char數(shù)據(jù)標(biāo)記符＂data＂28H4longint語(yǔ)音數(shù)據(jù)的長(zhǎng)度8位單聲道0聲道0聲道0聲道0聲道8位立體聲0（左）聲道1（右）聲道0（左）聲道1（右）聲道16位單聲道0聲道低字節(jié)0聲道高字節(jié)0聲道低字節(jié)0聲道高字節(jié)16位立體聲0聲道低字節(jié)0聲道高字節(jié)1聲道低字節(jié)1聲道高字節(jié)PCM數(shù)據(jù)（WAV文件音頻數(shù)據(jù)）的存放方式

PCM波形樣本的數(shù)據(jù)格式樣本大小數(shù)據(jù)格式最大值最小值8位PCMunsignedint255016位PCMint32767-32767（MIDI）

MusicalinstrumentdigitalinterfaceMIDI，即樂(lè)器數(shù)字化接口，是一種用于計(jì)算機(jī)與電子樂(lè)器之間進(jìn)行數(shù)據(jù)交換的通信標(biāo)準(zhǔn)。MIDI文件（以.mid為文件擴(kuò)展名）記錄了用于合成MIDI音樂(lè)的各種控制指令，包括發(fā)聲樂(lè)器、所用通道、音量大小等。由于MIDI文件本身不包含任何數(shù)字音頻信號(hào)，因而所占的貯存空間比wav文件要小得多。從80年代初問(wèn)世至今，MIDI經(jīng)歷了長(zhǎng)時(shí)間的發(fā)展，現(xiàn)已成為電腦音樂(lè)的代名詞。MIDI的發(fā)展與電子音樂(lè)合成密不可分。電子音樂(lè)合成使用電子元器件（計(jì)算機(jī)）生成音樂(lè)的技術(shù)稱為電子音樂(lè)合成。電子音樂(lè)合成方法分為兩類：FM頻率調(diào)制合成音樂(lè)樣本合成頻率調(diào)制（FM）合成法數(shù)字式頻率調(diào)制合成法，簡(jiǎn)稱為FM合成法。FM電子合成器先由震蕩器產(chǎn)生一個(gè)載波作為基音，然后再產(chǎn)生若干個(gè)調(diào)制波帶著許多泛音加在載波之上，可以對(duì)這個(gè)組合加以任意調(diào)整，然后加上典型的聲音包絡(luò)線（ADSR），再通過(guò)數(shù)控濾波器和數(shù)控放大器送往數(shù)字/模擬轉(zhuǎn)換器，從而形成最后的聲音。由于一個(gè)物體不可能總是一成不變的振動(dòng)，所以它的頻率和振幅都會(huì)隨著時(shí)間的改變而改變，并最終趨于靜止。我們把一聲音的發(fā)展過(guò)程分為四個(gè)階段，分別是觸發(fā)、衰減、保持和消失。這四個(gè)階段我們統(tǒng)稱為“包絡(luò)”。包絡(luò)的發(fā)生時(shí)間，也決定了一個(gè)樂(lè)音的時(shí)值。

由以下五部分組成：數(shù)字載波器調(diào)制器聲音包絡(luò)發(fā)生器數(shù)字運(yùn)算器模數(shù)轉(zhuǎn)換器頻率調(diào)制（FM）合成法FM聲音合成器的工作原理從理論上講，F(xiàn)M合成方法可以產(chǎn)生任何樂(lè)音，但是，合成出來(lái)的聲音不夠真實(shí)。FM合成法的發(fā)明人：JohnChowning

20世紀(jì)60年代，在斯坦福大學(xué)和他的同事研究FM理論和合成技術(shù)，1966年研究成功，成為使用FM制作并錄音的第一人。之后JohnChowning通過(guò)斯坦福大學(xué)尋找美國(guó)的制造商。被YAMAHA采用。樂(lè)音樣本合成法樂(lè)音樣本合成法是把真實(shí)樂(lè)器發(fā)出的聲音以數(shù)字的形式記錄下來(lái)，播放時(shí)再加以調(diào)整、修飾和放大，生成各種音階的音符。樂(lè)音樣本通常放在ROM芯片上，播放時(shí)以查表的方式給出，所以這種合成器又叫做波表（wavetable）合成器。Wavetable合成器的工作原理Wavetable合成器所需要的輸入控制參數(shù)比較少，可控的數(shù)字音效也不多，大多數(shù)采用這種合成方法的聲音設(shè)備都可以控制聲音包絡(luò)的ADSR參數(shù)，產(chǎn)生的聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高。樂(lè)音樣本合成法MIDI實(shí)質(zhì)上是由MIDI控制器（或MIDI文件）產(chǎn)生的指示電子音樂(lè)合成器要做什么、怎么做（如演奏某個(gè)音符、加大音量、生成音響效果）的一套標(biāo)準(zhǔn)指令。MIDI不是聲音信號(hào)，在MIDI電纜上傳送的不是聲音，而是動(dòng)作指令（MIDI文件）。MIDI設(shè)備的簡(jiǎn)單聯(lián)接MIDI硬件各個(gè)MIDI設(shè)備通過(guò)專用的串行電纜(MIDI線)連接，并以31.25kb/s（每字節(jié)10位）的速度傳送著數(shù)字音樂(lè)信息。MIDIThruOutInMIDI的物理接口標(biāo)準(zhǔn)MIDI通道的概念單個(gè)物理MIDI通道分為16個(gè)邏輯通道，每個(gè)邏輯通道可指定一種樂(lè)器。MIDI鍵盤(pán)可設(shè)置在這16個(gè)通道中的任何一個(gè)，MIDI合成器可以被設(shè)置在指定的通道上接收MIDI指令。

MIDI設(shè)備的復(fù)雜連接把MIDI理解成一種局域網(wǎng)，網(wǎng)絡(luò)各個(gè)部分通過(guò)專用的串行電纜(MIDI線)連接。指定各聲音模塊播放某一個(gè)通道。音序器規(guī)定發(fā)聲順序。

輸入設(shè)備，音序器，音源（聲音模塊）是MIDI系統(tǒng)重要的三個(gè)部分。MIDI指令舉例

演奏員按下MIDI鍵盤(pán)中間的一個(gè)“C”鍵時(shí)，MIDI鍵盤(pán)就會(huì)發(fā)送一個(gè)三字節(jié)組成的消息，用16