能力模塊四

掌握智能座艙中語音交互技術的應用任務二

實現座艙中語音交互技術的應用作為一名智能座艙測試工程師，今天主管要求你測試智能座艙中語音交互是否可以實現，你需要進行一個簡單的語音交互的設計與實現，來驗證語音交互技術的可行性。任務引入Tasktointroduce01主流的車載語音助手功能認知02NLP技術應用（喚醒、聆聽、理解、播報）認知目錄

CONTENTS03案例：“你好，小馳！”設計與實現04百度智能云實現語音識別主流的車載語音助手功能認知PART0101主流的車載語音助手功能認知

常見的車載語音助手功能：語音交互功能語音交互功能語音交互功能語音交互功能常見的車載語音助手功能01主流的車載語音助手功能認知語音交互功能主要包括語音識別、語音合成。通過語音交互功能，系統能夠通過用戶的語音指令，從而實現各應用程序的功能控制。同時，針對接收到的語音指令，系統能夠給予用戶正確的語音反饋。基于語音識別技術，當車載語音系統接收到用戶指令后，系統能夠“聽懂”人類的語言；基于語音合成技術，系統能夠將執行結果通過語音播報的形式反饋給用戶。語音交互功能01主流的車載語音助手功能認知相較于打開第三方應用程序的傳統方式，用戶僅通過全語音交互的形式即可實現信息的自主查詢功能，從而在提高系統執行效率的同時，避免了用戶注意力的分散，保障了用戶的駕駛安全。例如，天氣查詢：基于“今天天氣如何”、“明天深圳會下雨嗎”等語音指令，用戶可對天氣信息執行查詢操作。語音查詢功能01主流的車載語音助手功能認知娛樂功能是車載語音系統的核心功能，具體包含有本地音樂、在線音樂、本地電臺、在線節目四個子功能。例如，針對在線音樂的功能，車載語音系統設計用戶的語音指令分為控制指令和搜索指令。用戶可通過控制指令實現音樂應用程序的打開、關閉，實現對歌曲播放模式的控制。娛樂功能01主流的車載語音助手功能認知語音控制車輛原有設備，針對車輛內的空調、車窗、天窗等設備，通過采用全語音交互的方式，從而使系統控制更為快捷、便利。相較于傳統的觸摸屏幕的形式，語音交互不會分散用戶的注意力，能夠用戶的行車安全。語音控制功能NLP技術應用PART0202

NLP技術應用

通過前面的學習，我們知道智能座艙語音交互分為語音交互的喚醒、聆聽、理解、播報4個部分。02NLP技術應用設計喚醒狀態前需要考慮當前設備采用哪種語音交互方式，還需要考慮該設備使用的是近場語音交互還是遠場語音交互。近場語音交互主要是指人距離機器不超過30cm的語音識別技術，像帶有智能語音助手的電視遙控器和手機都屬于近場語音交互。遠場語音交互主要解決人距離機器0.3～5m的語音交互問題。喚醒02NLP技術應用為了營造認真聆聽用戶說話的效果，設計相應的反饋機制。聆聽

我們可以在等待用戶響應時，燈光和智能語音助手可以保持一個相對平靜的狀態，這意味著設備接收不到任何信息。如果智能語音助手是一個人物或動物，則可以通過動作表示正在傾聽，在時間達到上限時可以反饋給用戶“聽不到”的動作。02NLP技術應用

理解又稱網絡等待狀態，因為絕大部分語音交互的識別和處理都是在云端進行的，所以返回語音結果需要一段時間。理解狀態必須反饋給用戶，因為用戶不知道該狀態何時才會結束。如果整個語音交互流程需要很長時間才能完成響應，那么系統應該告知用戶當前流程出現異常，需要重新發起語音交互流程。理解02NLP技術應用不同產品在處理語音播報狀態方面有著不一樣的反饋設計。播報

在Echo智能音箱上，Alexa會用藍色和青色交替表示設備正在播報內容，顏色的交替模擬了Alexa說話時的呼吸節奏。手機/平板電腦上的Siri在播報內容時會將內容顯示在屏幕上，同時顯示一個球形來告知用戶當前無法持續聆聽。案例：“你好，小馳！”設計與實現PART0303案例：“你好，小馳！”設計與實現利用snowboy實現snowboy是一個開源的、輕量級語音喚醒引擎，可以通過它很輕松地創建屬于自己的類似“hey,Siri”的喚醒詞。我們接下來具體實現喚醒功能。

一、安裝依賴03案例：“你好，小馳！”設計與實現利用snowboy實現二、獲取snowboy源碼進行編譯

獲取源碼

拉取源碼成功后，進入Python3目錄

然后使用make命令開始編譯

下載Swig3.0.12的源碼包03案例：“你好，小馳！”設計與實現利用snowboy實現二、獲取snowboy源碼進行編譯

解壓Swig

安裝編譯工具

進入Swig源碼03案例：“你好，小馳！”設計與實現利用snowboy實現二、獲取snowboy源碼進行編譯

配置

編譯

安裝03案例：“你好，小馳！”設計與實現利用snowboy實現二、獲取snowboy源碼進行編譯

將swig導入到環境變量，打開bashrc

添加環境

刷新環境

確認版本型號03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型借助SnowboyPersonalWakeWord（）官網生成語音喚醒模型。有如下7個步驟： 1.打開Snowboy網站

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型2.點擊按鈕啟動麥克風，如下圖所示

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型 3.單擊“Record”并等待準備就緒

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型4.說出喚醒詞，你好，小馳。并等待結束，結束后將產生一條語音。

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型5.重復步驟4，并直至產生3條語音結束。

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型6.輸入模型名稱，提交音頻。

03案例：“你好，小馳！”設計與實現利用snowboy實現三、生成語音模型 7.下載模型。

03案例：“你好，小馳！”設計與實現利用snowboy實現

四、部署模型

下載好的模型文件放入到snowboy/examples/Python3/文件中。

五、在命令行中輸入：python3demo.py模型名字.pmdl并使用自己的喚醒詞進行測試。

03案例：“你好，小馳！”設計與實現API的概念早在20世紀60年代就已經出現，其代表的是應用程序的編程接口，是一些預先定義的函數，或指軟件系統不同組成部分銜接的約定。換句話說，API是一個信使，它將用戶的請求交付給用戶所請求的提供者，然后將響應交付給用戶。使用第三方API的好處如下：降低開發周期和開發成本，減少了產品的推廣成本，使得自己的服務被第三方依賴。借助第三方API實現03案例：“你好，小馳！”設計與實現借助第三方API實現一、在控制臺下載對應sdk 1.在瀏覽器打開開放平臺-以語音交互為核心的人工智能開放平臺()，登錄控制臺。03案例：“你好，小馳！”設計與實現借助第三方API實現一、在控制臺下載對應sdk 2.創建應用控制臺-訊飛開放平臺()，如下圖所示：03案例：“你好，小馳！”設計與實現借助第三方API實現一、在控制臺下載對應sdk 3.點擊應用，選擇語音喚醒服務，如圖所示。03案例：“你好，小馳！”設計與實現借助第三方API實現一、在控制臺下載對應sdk 4.設置喚醒詞，我以“你好，小馳”為例，如圖所示。03案例：“你好，小馳！”設計與實現借助第三方API實現一、在控制臺下載對應sdk 5.下載SDK，我選擇Linux為例，如下圖所示：03案例：“你好，小馳！”設計與實現借助第三方API實現

二、設置音頻文件

將音頻文件（要求16k,16bit,pcm格式）放入bin/audio目錄下，并將音頻命名為awake.pcm 三、選擇sdk文件

進入sdk內samples/awaken_offline_sample目錄，選擇source64bit_make.sh或32bit_make.sh,視系統位數選擇 四、查看結果

運行成功后進入sdkbin目錄下cd../../bin/，運行./awaken_offline_sample即可看到運行結果百度智能云實現語音識別PART0403百度智能云實現語音識別在熟悉語音識別功能及語音喚醒的方法之后，我們可以利用汽車智能座艙實訓軟件系統來進行語音識別的實例測試。在汽車智能座艙系統實訓臺上，打開教學系統屏幕，在軟件系統頁面點擊“語音識別控制單元（ASR)”，如圖所示。03百度智能云實現語音識別在語音識別控制單元頁面中，點擊“實例測試”，可觀察到中間頁面為接口描述和錯誤代碼提示。右側輸入框分別為APPID、Clientid和Clientsecret。這三個輸入信息可以從百度智能云創建好的應用中獲取（依次對應的是APPID、APIKey和SecretKey信息）。03百度智能云實現語音識別信息輸入后點擊“錄音”按鈕。