1、1語(yǔ)音處理與語(yǔ)音識(shí)別簡(jiǎn)介2014年9月2主要內(nèi)容主要內(nèi)容數(shù)字音頻基礎(chǔ)知識(shí)音頻處理基礎(chǔ)知識(shí)語(yǔ)音識(shí)別技術(shù)簡(jiǎn)介3主要內(nèi)容主要內(nèi)容數(shù)字音頻基礎(chǔ)知識(shí)數(shù)字音頻基礎(chǔ)知識(shí)音頻處理基礎(chǔ)知識(shí)語(yǔ)音識(shí)別技術(shù)簡(jiǎn)介4 是指自然聲是指自然聲 是機(jī)械振動(dòng)在彈性介質(zhì)中傳播的機(jī)械波是機(jī)械振動(dòng)在彈性介質(zhì)中傳播的機(jī)械波 是隨時(shí)間連續(xù)變化的物理量是隨時(shí)間連續(xù)變化的物理量 聲音概念聲音概念 振幅振幅 波的高低幅度，表示聲音的強(qiáng)弱波的高低幅度，表示聲音的強(qiáng)弱 周期周期 兩個(gè)相鄰波之間的時(shí)間長(zhǎng)度兩個(gè)相鄰波之間的時(shí)間長(zhǎng)度 頻率頻率 每秒鐘波振動(dòng)的次數(shù)，單位是每秒鐘波振動(dòng)的次數(shù)，單位是 Hz 聲音特性聲音特性5聲音的強(qiáng)度聲音的強(qiáng)度 (響度或音量

2、響度或音量)，與聲波振幅成，與聲波振幅成正比；唱盤(pán)、正比；唱盤(pán)、CD 盤(pán)等聲音載體中的音強(qiáng)盤(pán)等聲音載體中的音強(qiáng)不變，通過(guò)播放設(shè)備的音量控制可改變聆不變，通過(guò)播放設(shè)備的音量控制可改變聆聽(tīng)時(shí)強(qiáng)度；音頻處理軟件可提高聲源音強(qiáng)聽(tīng)時(shí)強(qiáng)度；音頻處理軟件可提高聲源音強(qiáng)聲音的特色，主要影響因素是復(fù)音；復(fù)聲音的特色，主要影響因素是復(fù)音；復(fù)音指具有不同頻率和不同振幅的混合聲音指具有不同頻率和不同振幅的混合聲音，其中最低頻率是音，其中最低頻率是 “基音基音”，是聲音的，是聲音的基調(diào)，其他頻率的聲音為基調(diào)，其他頻率的聲音為 “諧音諧音 (泛音泛音)”代表聲音的高低，與頻率有關(guān)；使代表聲音的高低，與頻率有關(guān)；使用音頻處

3、理軟件對(duì)聲音的頻率進(jìn)行用音頻處理軟件對(duì)聲音的頻率進(jìn)行調(diào)整時(shí)，其音調(diào)也會(huì)隨之發(fā)生變化調(diào)整時(shí)，其音調(diào)也會(huì)隨之發(fā)生變化 聲音的三要素聲音的三要素 音調(diào)音調(diào) (高低高低) 音強(qiáng)音強(qiáng) (強(qiáng)弱強(qiáng)弱) 音色音色 (特質(zhì)特質(zhì))6 聲音的頻率范圍聲音的頻率范圍7數(shù)字音頻數(shù)字音頻聲音是振動(dòng)的機(jī)械波，話筒把機(jī)械振動(dòng)轉(zhuǎn)換成電信號(hào)，用隨時(shí)間連聲音是振動(dòng)的機(jī)械波，話筒把機(jī)械振動(dòng)轉(zhuǎn)換成電信號(hào)，用隨時(shí)間連續(xù)變化的物理量表示，稱之為模擬音頻。續(xù)變化的物理量表示，稱之為模擬音頻。在計(jì)算機(jī)內(nèi)部，所有的信息均以數(shù)字表示，代表聲音信號(hào)的物理量在計(jì)算機(jī)內(nèi)部，所有的信息均以數(shù)字表示，代表聲音信號(hào)的物理量也用一系列數(shù)字表示，稱之為數(shù)字音頻。

4、也用一系列數(shù)字表示，稱之為數(shù)字音頻。模擬音頻在時(shí)間上是連續(xù)的，而數(shù)字音頻則是一個(gè)數(shù)據(jù)序列，在時(shí)模擬音頻在時(shí)間上是連續(xù)的，而數(shù)字音頻則是一個(gè)數(shù)據(jù)序列，在時(shí)間上不具備連續(xù)性，因此只能是斷續(xù)的。間上不具備連續(xù)性，因此只能是斷續(xù)的。當(dāng)把模擬聲音變成數(shù)字聲音時(shí)，需要每隔一個(gè)時(shí)間間隔在模擬聲音當(dāng)把模擬聲音變成數(shù)字聲音時(shí)，需要每隔一個(gè)時(shí)間間隔在模擬聲音波形上取一個(gè)電壓幅度值，稱之為波形上取一個(gè)電壓幅度值，稱之為。采樣得到的表示聲音強(qiáng)弱的模擬電壓幅值是連續(xù)的，把無(wú)窮多個(gè)電采樣得到的表示聲音強(qiáng)弱的模擬電壓幅值是連續(xù)的，把無(wú)窮多個(gè)電壓幅值用有限個(gè)數(shù)字表示，稱之為壓幅值用有限個(gè)數(shù)字表示，稱之為。8 采樣采樣采樣過(guò)程

5、采樣過(guò)程按固定間隔按固定間隔采樣聲音波形采樣聲音波形采樣聲音波采樣聲音波形之后的結(jié)果形之后的結(jié)果聲波是連續(xù)信號(hào)，聲波是連續(xù)信號(hào)， 或稱連續(xù)時(shí)間函數(shù)或稱連續(xù)時(shí)間函數(shù) x(t)。 用計(jì)算機(jī)處理這些信號(hào)時(shí)應(yīng)先用計(jì)算機(jī)處理這些信號(hào)時(shí)應(yīng)先離散化，即按一定的時(shí)間間隔離散化，即按一定的時(shí)間間隔 (T) 取值，得到取值，得到 x(nT) ( n為整數(shù)為整數(shù) )，T 稱采樣稱采樣周期，周期，1/T 稱采樣頻率稱采樣頻率 ( 每秒鐘采樣次數(shù)每秒鐘采樣次數(shù) )，x(nT) 稱采樣值稱采樣值 ( 或離散信號(hào)或離散信號(hào) )采樣概念采樣概念9設(shè)連續(xù)信號(hào)設(shè)連續(xù)信號(hào) x(t) 的頻譜為的頻譜為 x(f)，以采樣間隔，以采樣間

6、隔 T 采樣得到離散信號(hào)采樣得到離散信號(hào) x(nT)如果滿足：當(dāng)如果滿足：當(dāng) | f | fc ( fc 是信號(hào)高端截止頻率是信號(hào)高端截止頻率 ) 時(shí)，有時(shí)，有T 1/(2fc) 或或 fc 1/(2T)則可由則可由 x(nT) 完全確定完全確定 x(t)。 當(dāng)當(dāng) fN = 1/(2T) 時(shí)，稱時(shí)，稱 fN 為奈奎斯特頻率為奈奎斯特頻率采樣定理采樣定理奈奎斯特奈奎斯特 ( Nyqust ) 采樣定理：只要采樣頻率大于或者等于信號(hào)中所包采樣定理：只要采樣頻率大于或者等于信號(hào)中所包含的最高頻率的兩倍；即當(dāng)信號(hào)是最高頻率時(shí)，每個(gè)周期至少采樣兩個(gè)含的最高頻率的兩倍；即當(dāng)信號(hào)是最高頻率時(shí)，每個(gè)周期至少采

7、樣兩個(gè)點(diǎn)，則理論上就可以完全恢復(fù)原來(lái)的信號(hào)。點(diǎn)，則理論上就可以完全恢復(fù)原來(lái)的信號(hào)。 采樣采樣采樣方法采樣方法語(yǔ)音信號(hào)頻譜在高頻處迅速下降，但非限帶。應(yīng)用時(shí)只對(duì)一定頻率范圍語(yǔ)音信號(hào)頻譜在高頻處迅速下降，但非限帶。應(yīng)用時(shí)只對(duì)一定頻率范圍內(nèi)的信號(hào)感興趣，就可以對(duì)經(jīng)濾波限帶的音頻信號(hào)采樣。這樣，在采樣內(nèi)的信號(hào)感興趣，就可以對(duì)經(jīng)濾波限帶的音頻信號(hào)采樣。這樣，在采樣前，用一個(gè)銳截止模擬低通濾波器對(duì)音頻信號(hào)進(jìn)行濾波。前，用一個(gè)銳截止模擬低通濾波器對(duì)音頻信號(hào)進(jìn)行濾波。10 量化量化通過(guò)采樣得到的表示聲音強(qiáng)弱的函數(shù)通過(guò)采樣得到的表示聲音強(qiáng)弱的函數(shù) x(nT) 是連續(xù)的，為把是連續(xù)的，為把 x(nT) 存入計(jì)存入

8、計(jì)算機(jī)，就必須將采樣值離散化，即量化成一個(gè)有限個(gè)幅度值的集合算機(jī)，就必須將采樣值離散化，即量化成一個(gè)有限個(gè)幅度值的集合 x(nT)量化概念量化概念量化原理量化原理先將整個(gè)幅度劃分成為有限個(gè)小幅度先將整個(gè)幅度劃分成為有限個(gè)小幅度(量化階距量化階距) 的集合，把落入某個(gè)階距的集合，把落入某個(gè)階距內(nèi)的樣值歸為一類，并賦予相同的量?jī)?nèi)的樣值歸為一類，并賦予相同的量化值。如果量化值是均勻分布的，稱化值。如果量化值是均勻分布的，稱為均勻量化。設(shè)為均勻量化。設(shè) 為量化階距，量化為量化階距，量化器最大范圍是器最大范圍是 Xmax，則：，則： = 2Xmax/ /2B量化電壓幅量化電壓幅值之后的結(jié)果值之后的結(jié)果1

9、1 編碼編碼音頻模擬信號(hào)經(jīng)過(guò)采樣與量化之后，為把數(shù)字化音頻存入計(jì)算機(jī)，需對(duì)音頻模擬信號(hào)經(jīng)過(guò)采樣與量化之后，為把數(shù)字化音頻存入計(jì)算機(jī)，需對(duì)其編碼，即用二進(jìn)制數(shù)表示每個(gè)采樣的量化值，完成整個(gè)模數(shù)轉(zhuǎn)換過(guò)程其編碼，即用二進(jìn)制數(shù)表示每個(gè)采樣的量化值，完成整個(gè)模數(shù)轉(zhuǎn)換過(guò)程編碼概念編碼概念PCM 編碼編碼一種最方便簡(jiǎn)單的編碼方法是脈沖編一種最方便簡(jiǎn)單的編碼方法是脈沖編碼調(diào)制，常稱為碼調(diào)制，常稱為 PCM ( Pulse CodeModulation) 編碼。是一種未經(jīng)壓縮編碼。是一種未經(jīng)壓縮的數(shù)字音頻信號(hào)，常作為一種參考信的數(shù)字音頻信號(hào)，常作為一種參考信號(hào)，以便其他編碼方法與之比較，或號(hào)，以便其他編碼方法與

10、之比較，或者在此基礎(chǔ)上作進(jìn)一步壓縮編碼處理者在此基礎(chǔ)上作進(jìn)一步壓縮編碼處理12 衡量一種編碼方法的性能有兩個(gè)主要指標(biāo)：碼流速率和量化噪聲衡量一種編碼方法的性能有兩個(gè)主要指標(biāo)：碼流速率和量化噪聲 碼流速率指的是音頻信號(hào)編碼流速率指的是音頻信號(hào)編碼后每秒鐘產(chǎn)生的數(shù)據(jù)流量，以碼后每秒鐘產(chǎn)生的數(shù)據(jù)流量，以kbit/s 為單位表示，也可以表示為單位表示，也可以表示為為 kbps。例如對(duì)普通模擬話音。例如對(duì)普通模擬話音用用 8kHz 的頻率采樣并以的頻率采樣并以 8 位量位量化和編碼，所形成的音頻數(shù)字信化和編碼，所形成的音頻數(shù)字信號(hào)的碼率便是號(hào)的碼率便是 64kbps。 量化噪聲是由量化失真引起量化噪聲是

11、由量化失真引起的噪聲，通常表示為量化后的音的噪聲，通常表示為量化后的音頻信號(hào)噪聲比，簡(jiǎn)稱信噪比。每頻信號(hào)噪聲比，簡(jiǎn)稱信噪比。每增加增加 1 位量化精度，信噪比即提位量化精度，信噪比即提高高 6db。例如在高保真音響系統(tǒng)。例如在高保真音響系統(tǒng)中，要求信噪比大于中，要求信噪比大于 90db，則，則量化精度必須在量化精度必須在 16 位以上。位以上。 編碼編碼13 聲道聲道(Sound Channel) 是指聲音在錄制或播放時(shí)在不同空間位置采集或回是指聲音在錄制或播放時(shí)在不同空間位置采集或回放的相互獨(dú)立的音頻信號(hào)，所以聲道數(shù)也就是聲音錄制時(shí)的音源數(shù)量或放的相互獨(dú)立的音頻信號(hào)，所以聲道數(shù)也就是聲音錄制

12、時(shí)的音源數(shù)量或回放時(shí)相應(yīng)的揚(yáng)聲器數(shù)量。回放時(shí)相應(yīng)的揚(yáng)聲器數(shù)量。 單聲道（單聲道（mono）：只有一個(gè)聲）：只有一個(gè)聲道。普通的單聲道錄放系統(tǒng)使用道。普通的單聲道錄放系統(tǒng)使用一只話筒錄音，信號(hào)錄在一條軌一只話筒錄音，信號(hào)錄在一條軌跡上，放音時(shí)使用一路放大器和跡上，放音時(shí)使用一路放大器和一只揚(yáng)聲器，所以重放出來(lái)的聲一只揚(yáng)聲器，所以重放出來(lái)的聲音是一個(gè)點(diǎn)聲源。音是一個(gè)點(diǎn)聲源。 聲道聲道 立體聲（立體聲（stereo）：有兩個(gè)聲道。）：有兩個(gè)聲道。在錄制聲音時(shí)，在不同的位置用在錄制聲音時(shí)，在不同的位置用兩只話筒進(jìn)行錄音，而在重放時(shí)兩只話筒進(jìn)行錄音，而在重放時(shí)則使用兩路獨(dú)立的放大器和兩個(gè)則使用兩路獨(dú)立的

13、放大器和兩個(gè)揚(yáng)聲器，從而使聽(tīng)者可以較準(zhǔn)確揚(yáng)聲器，從而使聽(tīng)者可以較準(zhǔn)確地判斷出錄音中不同音源的準(zhǔn)確地判斷出錄音中不同音源的準(zhǔn)確位置。位置。1415l WAV為微軟公司（為微軟公司（Microsoft)開(kāi)發(fā)的一種聲音文件格式開(kāi)發(fā)的一種聲音文件格式非壓縮，直接存儲(chǔ)（采樣、量化、非壓縮，直接存儲(chǔ)（采樣、量化、PCM編碼后的）原始數(shù)據(jù)；編碼后的）原始數(shù)據(jù)；如如 果采樣率高，其音質(zhì)極佳；果采樣率高，其音質(zhì)極佳；數(shù)據(jù)量大，與采樣頻率、量化位數(shù)、聲道數(shù)成正比。數(shù)據(jù)量大，與采樣頻率、量化位數(shù)、聲道數(shù)成正比。 波形音頻文件（波形音頻文件（WAV）數(shù)字音頻文件格式數(shù)字音頻文件格式1617 Windows PCM W

14、AV文件頭格式文件頭格式偏移地址大小字節(jié)數(shù)據(jù)塊類型內(nèi)容00H03H44字符資源交換文件標(biāo)志（RIFF）04H07H4長(zhǎng)整數(shù)從下個(gè)地址開(kāi)始到文件尾的總字節(jié)數(shù)08H0BH44字符WAV文件標(biāo)志（WAVE）0CH0FH44字符波形格式標(biāo)志（fmt ），最后一位空格。10H13H4整數(shù)過(guò)濾字節(jié)（一般為00000010H）14H15H2整數(shù)格式種類（值為1時(shí)，表示數(shù)據(jù)為線性PCM編碼）16H17H2整數(shù)通道數(shù)，單聲道為1，雙聲道為218H1BH4長(zhǎng)整數(shù)采樣頻率1CH1FH4長(zhǎng)整數(shù)波形數(shù)據(jù)傳輸速率（每秒平均字節(jié)數(shù)）20H21H2整數(shù)DATA數(shù)據(jù)塊長(zhǎng)度，字節(jié)。22H23H2整數(shù)PCM位寬24H27H44字符

15、數(shù)據(jù)標(biāo)志符（data）28H2BH4長(zhǎng)整型DATA總數(shù)據(jù)長(zhǎng)度字節(jié)18 Windows PCM WAV文件頭格式文件頭格式19主要內(nèi)容主要內(nèi)容數(shù)字音頻基礎(chǔ)知識(shí)音頻處理基礎(chǔ)知識(shí)音頻處理基礎(chǔ)知識(shí)語(yǔ)音識(shí)別技術(shù)簡(jiǎn)介20l 在音頻信息處理領(lǐng)域，在音頻信息處理領(lǐng)域，特征提取特征提取是一個(gè)非常重要的問(wèn)題。是一個(gè)非常重要的問(wèn)題。l 特征提取的任務(wù)：特征提取的任務(wù)：從原始輸入的原始音頻信號(hào)中提取既能表征不同音頻內(nèi)容的聲學(xué)差異，從原始輸入的原始音頻信號(hào)中提取既能表征不同音頻內(nèi)容的聲學(xué)差異，又能表征相同音頻內(nèi)容不同樣本之間的聲學(xué)相似性的信息，同時(shí)減少原又能表征相同音頻內(nèi)容不同樣本之間的聲學(xué)相似性的信息，同時(shí)減少原始信

16、號(hào)的信息冗余。始信號(hào)的信息冗余。 音頻特征提取音頻特征提取21l 時(shí)域音頻信號(hào)是非平穩(wěn)信號(hào)，難以處理。但它在一個(gè)很小的時(shí)段內(nèi)具有時(shí)域音頻信號(hào)是非平穩(wěn)信號(hào)，難以處理。但它在一個(gè)很小的時(shí)段內(nèi)具有 相對(duì)的穩(wěn)定性。相對(duì)的穩(wěn)定性。l 因此在對(duì)其進(jìn)行分析時(shí)，可以假定語(yǔ)音信號(hào)在一個(gè)因此在對(duì)其進(jìn)行分析時(shí)，可以假定語(yǔ)音信號(hào)在一個(gè)時(shí)間幀（時(shí)間幀（frame）內(nèi)是平穩(wěn)的。通常一幀在內(nèi)是平穩(wěn)的。通常一幀在1030ms之間，視實(shí)際情況而定，而且分幀可連續(xù)，之間，視實(shí)際情況而定，而且分幀可連續(xù)，也可采用交疊分段的方法。也可采用交疊分段的方法。 分幀分幀10ms25ms10ms25ms22l 短時(shí)能量（短時(shí)能量（STE：S

17、hort Time Energy）是一幀的總能量）是一幀的總能量l 短時(shí)能量說(shuō)明了音頻信號(hào)的強(qiáng)度，可用于靜音的檢測(cè)。短時(shí)能量說(shuō)明了音頻信號(hào)的強(qiáng)度，可用于靜音的檢測(cè)。例如，對(duì)于一個(gè)音頻信號(hào)，如果這個(gè)音頻信號(hào)中的某一個(gè)短時(shí)幀的平均能量值例如，對(duì)于一個(gè)音頻信號(hào)，如果這個(gè)音頻信號(hào)中的某一個(gè)短時(shí)幀的平均能量值低于一個(gè)事先設(shè)定的閾值，則可判定該短時(shí)幀為靜音。低于一個(gè)事先設(shè)定的閾值，則可判定該短時(shí)幀為靜音。l對(duì)于一段音頻，以時(shí)間或幀為橫坐標(biāo)，短時(shí)能量值為縱坐標(biāo)，可以畫(huà)出一對(duì)于一段音頻，以時(shí)間或幀為橫坐標(biāo)，短時(shí)能量值為縱坐標(biāo)，可以畫(huà)出一條曲線，我們將該曲線稱為能量包絡(luò)（條曲線，我們將該曲線稱為能量包絡(luò)（Ene

18、rgy Envelop）曲線。）曲線。 短時(shí)能量短時(shí)能量020log( )wSTEF wdw21niiSTEd1|niiSTEd23l MFCC全稱為美爾頻標(biāo)倒譜系統(tǒng)（全稱為美爾頻標(biāo)倒譜系統(tǒng)（Mel-Frequency Cepstral Coefficients），是語(yǔ)音處理中常用的特征。），是語(yǔ)音處理中常用的特征。l MFCC正是利用三角濾波器組對(duì)傅立葉變換能量系數(shù)濾波而得，并且對(duì)正是利用三角濾波器組對(duì)傅立葉變換能量系數(shù)濾波而得，并且對(duì)其頻域進(jìn)行其頻域進(jìn)行Mel尺度變換，以更符合人類的聽(tīng)覺(jué)特征。尺度變換，以更符合人類的聽(tīng)覺(jué)特征。 MFCC24主要內(nèi)容主要內(nèi)容數(shù)字音頻基礎(chǔ)知識(shí)音頻處理基礎(chǔ)知識(shí)語(yǔ)

19、音識(shí)別技術(shù)簡(jiǎn)介語(yǔ)音識(shí)別技術(shù)簡(jiǎn)介6/1/202225根據(jù)處理的語(yǔ)音數(shù)據(jù)和識(shí)別結(jié)果分類連續(xù)語(yǔ)音識(shí)別（Continuous Speech Recognition）孤立詞識(shí)別（Isolate Word Recognition）關(guān)鍵詞檢測(cè)（Key Word Recognition，Key Word Spotting）根據(jù)針對(duì)的發(fā)音人分類特定人語(yǔ)音識(shí)別（SD：Speaker Dependent）非特定人語(yǔ)音識(shí)別（SI：Speaker Independent）6/1/202226特征提取特征提取語(yǔ)言模型語(yǔ)言模型自適應(yīng)自適應(yīng)第一遍第一遍識(shí)別識(shí)別聲學(xué)模型聲學(xué)模型前端處理前端處理第第n遍遍識(shí)別識(shí)別語(yǔ)音識(shí)別結(jié)果識(shí)別結(jié)果系統(tǒng)框架6/1/202227前端處理消除個(gè)體的影響 聲道長(zhǎng)度歸一（VTN：Vocal Tract Length Normalizati