7-1語音識別模塊?語音識別：讓機器對你言聽計從目錄CONTENTS語音識別簡史01語音識別過程02一.語音識別簡史1.技術發展簡史一.語音識別簡史1.典型語音識別產品現有的語音識別部分產品二.語音識別過程1.語音識別技術涉及技術信號處理模式識別概率論發聲機理聽覺機理人工智能…眾所周知，機器只能處理數字信號，不能直接處理人的語音信號。另外，人在說話的時候，語速有快有慢，每個人的聲音、語調也不相同，且說話時周圍可能有噪聲。此外，即便字詞發音相同（如“擬定”“你定”），但表達的意思還要結合語境和上下文來進一步確定。還有，機器要進行預學習，以了解人類在語言交流中要用到哪些語料庫等。困難重重…二.語音識別過程2.識別過程語音識別過程二.語音識別過程2.語音識別關鍵要素（1）語音信號處理將語音轉化為在時間上離散的數字信號采樣后的時域數字波形二.語音識別過程2.語音識別關鍵要素（2）特征提取二.語音識別過程2.語音識別關鍵要素特征提取:①預加重增大高頻部分的幅度。一般使用一階濾波器來實現預加重二.語音識別過程2.語音識別關鍵要素特征提取:②分幀信號中的頻率會隨時間變化，一些信號處理算法（如傅里葉變換）通常希望信號是穩定的，也就是說對整個信號進行處理是沒有意義的，因為信號的頻率輪廓會隨著時間的推移而丟失。為了避免這種情況，就需要對信號進行分幀處理，以保證短時的信號是穩定的。③加窗和快速傅里葉轉換在分幀之后，通常需要對每幀的信號進行加窗處理，目的是讓幀兩端平滑地衰減，這樣可以降低后續傅里葉變換后一些小束波的強度，取得更高質量的頻譜。二.語音識別過程2.語音識別關鍵要素語音識別5關鍵要素:④提取特征在語音能量譜上應用Mel濾波器組就能提取到FBank（FilterBank）特征。所謂Mel刻度，是一個能模擬人耳接收聲音的規律的刻度。各幀FBank特征值頻譜圖二.語音識別過程2.語音識別關鍵要素聲學模型用于建立聲學特征與建模單元之間的映射關系，即它能利用語音的聲學特征把一系列語音幀轉換成若干音素。基于該模型，利用大量的語音特征向量以及它們對應的音素，可以訓練從特征向量到音素的分類器，從而在識別階段能計算每一幀的特征向量到相應音素的聲學得分（概率），簡而言之，實現特征到字符的生成。（3）聲學模型二.語音識別過程2.語音識別關鍵要素語言模型就是用來計算一個句子的概率的模型。它利用語言表達的特點，將音素轉換成文字，組成意義明確的語句。簡言之，根據聲學模型輸出的結果，給出最大概率的文字序列。（4）語言模型二.語音識別過程2.語音識別關鍵要素解碼搜索的主要任務是在由聲學模型、發音詞典和語言模型構成的搜索空間中尋找最佳路徑，盡快將語音轉換成文本。解碼時需要用到聲學得分和語言得分，聲學得分由聲學模型計算得到，語言得分由語言模型計算得到。（5）解碼搜索人工智能基礎與應用Thankyouverymuch!7-2深度神經網絡模塊?語音識別：讓機器對你言聽計從目錄CONTENTS深度神經網絡基礎01卷積神經網絡02一.深度神經網絡基礎1.深度神經網絡的基本結構神經元加權和、非線性變換多層連接二.卷積神經網絡1.深度神經網絡參數的復雜性如果輸入層向量有106個，假設隱藏層向量數目與輸入層一樣，那么從輸入層到隱藏層的權重參數就有1012個，這還沒有考慮后面其他隱藏層的參數。這樣參數就太多了，模型根本無法訓練。二.卷積神經網絡2.卷積神經網絡的優勢在20世紀60年代，大衛·休伯爾（DavidHubel）和托斯坦·維厄瑟爾（TorstenWiesel）在研究大腦皮層中用于局部敏感和方向選擇的神經元時，發現其獨特的網絡結構可以有效地降低反饋神經網絡的復雜性。CNN的基本結構提取特征提高卷積神經網絡的非線性表達能力降維、減少計算量特征轉換與映射二.卷積神經網絡3.卷積操作不同形狀的“X”“X”的像素矩陣

3個卷積核卷積計算二.卷積神經網絡3.激活函數sigmoidtanhReLUSoftmax二.卷積神經網絡4.全連接層通過不斷卷積、激活和池化，就得到了樣本的多層特征圖，然后將最終得到的特征圖排成一列，即將多層的特征映射為一個一維的向量，形成全連接層。人工智能基礎與應用Thankyouverymuch!7-3項目1—利用CNN識別英文語音數字模塊?語音識別：讓機器對你言聽計從目錄CONTENTS提出問題01預備知識03解決方案02任務1—提取音頻文件的語音特征數據04任務3—利用訓練好的模型來識別語音06任務2—構建語音數字識別神經網絡模型05一.提出問題問題描述

在醫院、銀行、飯店等場所，由于資源和人手受限，人們必須排隊等候服務，因此叫號系統應運而生。數字0～9是生活中常見的10個基數，任何一個數字都是由10個基數構成的，如果想通過英文叫號系統將對應的阿拉伯數字及時顯示在大屏上，如何實現數字語音到數字文本的轉換呢二.解決方案1.選擇神經網絡分類解決問題基本思想：首先將語音進行切分，然后提取每個單詞的語音特征；其次構建一個多層CNN模型，利用0～9的語音樣本集對模型進行訓練，得到滿足精度的模型；最后利用訓練好的模型逐個對提取的單詞的語音特征進行分類，看它屬于0～9中的哪個數字，最后將識別的數字組合起來就得到識別的結果。二.解決方案2.具體方案三.預備知識1.webrtcvad模塊切分音頻文件中有效的語音信號audios的內容三.預備知識2.python_speech_features模塊提取語音信號的全部特征三.預備知識2.python_speech_features模塊提取語音信號的全部特征提取的語音特征：（部分）三.預備知識3.PaddlePaddle框架飛槳的應用框架三.預備知識3.PaddlePaddle框架利用飛漿搭建一個預測房價的神經網絡模型輸入維度為1輸出維度為1為線性模型無需加非線性激活函數四.任務1——提取音頻文件的語音特征數據1.設計特征數據提取類VoiceFeature123將類VoiceFeature另存為VoiceFeature.py文件四.任務1——提取音頻文件的語音特征數據2.提取語音特征數據features包含4個語音數字，其特征數據為13通道3×64的矩陣五.任務2——構建語音數字識別神經網絡模型1.定義語音數字識別神經網絡模型均為輸出輸入為n×13×3×64輸出為1×10五.任務2——構建語音數字識別神經網絡模型1.定義語音數字識別神經網絡模型模型代碼實現五.任務2——構建語音數字識別神經網絡模型1.定義語音數字識別神經網絡模型模型代碼實現五.任務2——構建語音數字識別神經網絡模型2.模型訓練及保存最優模型以動態圖的模式實時執行訓練，設置CPU/GPU訓練模式、優化器、Loss計算方法、精度計算方法等創建定義好的模型AudioCNN實例，并將模型的狀態設置為訓練加載訓練數據和測試數據設置訓練迭代次數，啟動模型迭代訓練。（1）訓練保存訓練好的模型五.任務2——構建語音數字識別神經網絡模型2.模型訓練及保存最優模型以動態圖的模式實時執行訓練，設置CPU/GPU訓練模式、優化器、Loss計算方法、精度計算方法等創建定義好的模型AudioCNN實例，并將模型的狀態設置為訓練加載訓練數據和測試數據設置訓練迭代次數，啟動模型迭代訓練。保存訓練好的模型六.任務3——利用訓練好的模型來識別語音1.配置模型識別的機器資源從前面的模型定義和訓練來看，訓練好最后的模型所花的時間相對較少，這主要是因為所使用的AudioCNN比較簡單。但現實生活中，可能會遇到更復雜的機器學習、深度學習任務，需要運算速度更高的硬件（GPU、TPU），甚至同時使用多個機器共同執行一個任務（多卡訓練和多機訓練）。但本項目是在普通的計算機上進行訓練和預測，所以通過以下語句配置模型識別的機器資源。六.任務3——利用訓練好的模型來識別語音2.為模型實例加載模型參數實現代碼：模型文件加載模型參數載模僅用于預測六.任務3——利用訓練好的模型來識別語音3.將提取的特征數據輸入模型以得到識別結果實現代碼：說明卷積神經網絡的確可用于語音識別，且能獲得較好的識別效果。結論：人工智能基礎與應用Thankyouverymuch!7-4項目2—自制一個簡單的語音“閱讀”器模塊?語音識別：讓機器對你言聽計從目錄CONTENTS提出問題01預備知識03解決方案02任務1—讀取需閱讀的文件內容04任務3—調用文本在線合成API實現文本—語音轉換06任務2—驗證訪問語音合成應用的令牌05一.提出問題問題描述在人們閱讀網絡新聞時，往往會使用語音播放功能來傾聽新聞內容，這樣不僅能舒緩眼睛疲勞，而且能聽到生動的新聞內容。在語音智能客服或虛擬教學、盲人輔助服務等場景中，時常會聽到悅耳的語音播報，這極大地提升了服務效果，同時減輕了相關人員的工作壓力。那么，以上場景中將文本轉換成語音是如何實現的呢二.解決方案具體方案三.預備知識1.百度智能云在百度智能云控制臺上，按照自己的開發訴求選擇對應的產品、服務，從而快速構建屬于自己的應用系統三.預備知識2.創建一個語音合成應用（1）語音合成的基本流程（2）創建語音技術服務三.預備知識2.創建一個語音合成應用（3）新建一個語音合成應用三.預備知識2.創建一個語音合成應用（4）完成語音合成應用創建三.預備知識2.創建一個語音合成應用（5）應用調試四.任務1——讀取需閱讀的文件內容1.

準備數據文件將需要文本—語音轉換的閱讀內容通過爬蟲或人工的方式進行整理，形成統一的文件格式，方便對閱讀內容進行處理。此處直接將新聞內容保存為news.txt文件，簡化文件形成過程。四.任務1——讀取需閱讀的文件內容2.讀取文件內容五.任務2——驗證訪問語音合成應用的令牌1.導入第三方庫和定義常量（1）導入庫和函數（2）定義常量五.任務2——驗證訪問語音合成應用的令牌1.定義令牌驗證函數定義令牌驗證函數，對用戶提供的APIKey、SecretKey鑒權參數進行驗證，確保合法用戶能在線應用訪問語音合成，并視情況返回錯誤提示。六.任務3——調用文本在線合成API實現文本—語音轉換1.