讓機器人學會傾聽項目11CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結092項目導入013項目導入1現在AI技術發展非?？?，在日常生活中應用越來越廣。語音技術也正逐漸走入大家的生活。語音識別已經有了比較廣泛的應用，如圖所示是服務機器人Cruzr的應用場景。4CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結095項目任務026項目任務17現在AI技術發展非?？欤谌粘Ｉ钪袘迷絹碓綇V。語音技術也正逐漸走入大家的生活。語音識別已經有了比較廣泛的應用，如圖所示是服務機器人Cruzr的應用場景。CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結098學習目標03知識目標職業素養目標技能目標9理解語言識別的概念。理解語言識別的原理和方法。理解語音識別模塊中聲學模型、語音字典和語言模型的概念。理解開源語音識別工具包CMUPocketsphinx的原理。知識目標：知識目標、技能目標、職業素養目標10學習目標3能夠安裝開源語音識別工具包Pocketsphinx。能夠通過創建文本文件，得到語言模型。能夠運行Pocketsphinx對語音進行識別，并查看識別結果。技能目標：培養嚴謹、細致、規范的職業素質。培養團隊協作、表達溝通能力。培養跟蹤新技術、創新設計能力。職業素養目標：CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結0911知識鏈接03智能服務機器人簡介樹莓派的基本應用認識智能人形服務機器人語音識別技術認識樹莓派認識開源語音識別系統Pocketsphinx12知識鏈接智能服務機器人簡介413智能服務機器人是在非結構環境下，為人類提供必要服務的多種高技術集成的智能化裝備，主要以服務機器人和危險作業機器人應用需求為研究重點，研究設計方法、制造工藝、智能控制和應用系統集成等共性基礎技術。知識鏈接認識智能人形服務機器人414如圖所示，智能人形機器人外形方面高度擬人，模塊化可拆裝，具有17個自由度，采取開放式硬件平臺架構（RaspberryPi+STM32），搭載了內置800萬像素攝像頭、陀螺儀及多種通信模塊，同時配套多種開源傳感器包。如圖所示，是智能人形機器人硬件平臺、接口說明知識鏈接認識智能人形服務機器人415知識鏈接認識智能人形服務機器人416智能人形機器人整體框架圖如圖，主要分BroadcomBCM2837層和Stm32F103RD層。知識鏈接認識樹莓派417RaspberryPi（簡稱RasPi），是一種為學習計算機編程教育而設計，體積只有信用卡大小，卻具有計算機所有基本功能的微型電腦，又被稱為卡片式電腦。圖為樹莓派的發展歷程。知識鏈接認識樹莓派418Raspberry是基于ARM的微型電腦主板，以SD/MicroSD卡為內存硬盤，主板有若干USB接口和一個以太網接口，可以連鍵鼠、網線、電視輸出接口和HDMI知識鏈接4樹莓派的基本應用樹莓派的應用是基于GitHub，諸如RaspberryPi、RaspberryPiFoundation、RaspberryPiLearning和RPI-Distro，在社區和教育模塊提供大量固件、文檔和開源代碼，涵蓋Python、Ruby、JS等主流語言。19知識鏈接4樹莓派的基本應用樹莓派可以運行多種不同的操作系統。在智能人形機器人上的RaspberryPi安裝的操作系統是官方系統Raspbian。20知識鏈接4語音識別技術語音識別好比“機器的聽覺系統”，其目的是讓機器賦予人的聽覺特性。如圖是商場中和機器人的咨詢對話應用場景。語音識別任務大體可以分為孤立詞識別、連續語音識別、關鍵詞識別。21知識鏈接4語音識別技術語音識別好比“機器的聽覺系統”，其目的是讓機器賦予人的聽覺特性。如圖是商場中和機器人的咨詢對話應用場景。語音識別任務大體可以分為孤立詞識別、連續語音識別、關鍵詞識別。22知識鏈接4語音識別技術23為了有效提取語音特征，往往需要對采集到的聲音進行濾波、分幀等預處理工作、聲音信號的時域頻域轉化等操作。具體包括：語音信號預處理特征提取語音字典語言模型聲學模型解碼器知識鏈接4語音識別技術語音識別技術工作的原理：24真實版轉換成狀態信息狀態信息組合成因素因素組合成單詞知識鏈接4語音識別技術語音識別設計數字信號處理、人工智能、語言學、數理統計學、聲學、情感學及心理學等多學科，是一門交叉學科。目前這項技術可以提供比如自動克服、自動語音翻譯、命令控制、語音驗證碼等多項應用。近年來，隨著人工智能的興起，智能語音識別技術在理論和應用上都已經有了很大突破，開始從實驗室走向市場，逐漸走向了日常生活。25知識鏈接4認識開源語音識別系統Pocketsphinx26Pocketsphinx是一個用C語言編寫的輕量級的語音識別庫，是第一個開源的面向嵌入式的中等詞匯量連續語音識別系統。Pocketsphinx依賴于SphinxBase庫Pocketsphinx可以安裝在Windows、Linux、MacOS、iPhone和Android上知識鏈接4認識開源語音識別系統PocketsphinxPocketsphinx旨在簡化應用程序中語音識別器功能的使用。它具有以下特點：新API的參考文檔，可從https://cmusphinx.github.io/doc/pocketsphinx/獲得273.它允許大幅減少代碼占用空間，而且支持適度但顯著減少內存消耗2.它是完全可重入的，因此在同一過程中有多個解碼器沒有問題1.由于使用抽象類型，它在源代碼和二進制兼容性方面很可能保持穩定知識鏈接4認識開源語音識別系統Pocketsphinx28Pocketsphinx下載安裝：打開瀏覽器，輸入/cmusphinx/pocketsphinx-python/，下載PocketSphinx-python，或者直接使用本項目源碼包的PocketSphinx-python知識鏈接4認識開源語音識別系統Pocketsphinx29在PC端輸入圖中命令，進行安裝知識鏈接4認識開源語音識別系統Pocketsphinx使用AudioFile測試代碼。編輯后的界面如下30知識鏈接4認識開源語音識別系統Pocketsphinx在命令行界面輸入pythontest.py，得到如下結果31知識鏈接4認識開源語音識別系統Pocketsphinx使用LiveSpeech測試代碼。編輯后的界面如下32知識鏈接4認識開源語音識別系統Pocketsphinx如果識別率不高，則通過以下方法改進:33采樣率和聲道保持一致詞典語料庫進一步優化語言模型進一步優化聲學模型進一步優化01020304創建一個語料庫文件，其中包含希望解碼器識別的所有句子。句子應該是一行一行的。知識鏈接4認識開源語音識別系統Pocketsphinx34該工具適合較小的語料場景，可以為Sphinx（和兼容）解碼器構建一組一致的詞法和語言建模文件。Lmtool在線語言模型生成工具的使用：使用方法：CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施0635項目準備0536項目準備537Yanshee，硬件版本1.0以上一根HDMI數據連接線一臺HDMI顯示器一個無線鍵鼠Yanshee軟件系統，版本V2.3.0以上0102030405CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備0538任務實施06方法一：通過瀏覽器下載方法二：使用智能人形機器樹莓派終端的wget命令下載39任務實施Pocketsphinx的下載與安裝640Sphinxbase安裝好后如下圖所示任務實施Pocketsphinx的下載與安裝641配置SphinxBase的環境變量任務實施Pocketsphinx的下載與安裝642命令行界面輸入下圖命令，對Pocketsphinx進行下載和安裝任務實施創建自定義語料詞典文本及其語言模型和語音詞典643創建自定義語料詞典文件corpus.txt。在命令行輸入：vimcorpus.txt編輯自定義命令詞詞典文件corpus.txt。編輯完后如圖所示打開CMUSphinx提供的在線語言模型生成工具，如圖所示任務實施創建自定義語料詞典文本及其語言模型和語音詞典644上傳語料文本文件corpus.txt，點擊“COMPIEKNOWLEDGEBASE”按鈕，對其進行在線訓練，生成語言模型。上傳成功后，會得到dic和lm文件。如圖所示。然后完成解壓縮任務實施創建自定義語料詞典文本及其語言模型和語音詞典645啟動運行Pocketsphinx輸入下圖命令，執行完的結果如圖任務實施創建自定義語料詞典文本及其語言模型和語音詞典646對著Yanshee喊話讓它識別，查看識別結果，如圖所示任務實施創建自定義語料詞典文本及其語言模型和語音詞典647CONTENT目錄項目導入01項目任務02學習目標03任務評價07項目準備05任務實施06知識鏈接04任務拓展08項目小結0948任務評價07自我評價小組評價49任務評價自我評價小組評價750CONTENT目錄項目導入01項目任務02學習目標03任務拓展08項目準備05任務實施06任務評價07知識鏈接04項目小結0951任務拓展0852任務拓展不使用CMU的在線工具，創建自定義的語音模型。測試新的語音模型是