讓機器人學會傾聽項目11CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結092項目導入013項目導入1現(xiàn)在AI技術發(fā)展非常快，在日常生活中應用越來越廣。語音技術也正逐漸走入大家的生活。語音識別已經(jīng)有了比較廣泛的應用，如圖所示是服務機器人Cruzr的應用場景。4CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結095項目任務026項目任務17現(xiàn)在AI技術發(fā)展非常快，在日常生活中應用越來越廣。語音技術也正逐漸走入大家的生活。語音識別已經(jīng)有了比較廣泛的應用，如圖所示是服務機器人Cruzr的應用場景。CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結098學習目標03知識目標職業(yè)素養(yǎng)目標技能目標9理解語言識別的概念。理解語言識別的原理和方法。理解語音識別模塊中聲學模型、語音字典和語言模型的概念。理解開源語音識別工具包CMUPocketsphinx的原理。知識目標：知識目標、技能目標、職業(yè)素養(yǎng)目標10學習目標3能夠安裝開源語音識別工具包Pocketsphinx。能夠通過創(chuàng)建文本文件，得到語言模型。能夠運行Pocketsphinx對語音進行識別，并查看識別結果。技能目標：培養(yǎng)嚴謹、細致、規(guī)范的職業(yè)素質。培養(yǎng)團隊協(xié)作、表達溝通能力。培養(yǎng)跟蹤新技術、創(chuàng)新設計能力。職業(yè)素養(yǎng)目標：CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結0911知識鏈接03智能服務機器人簡介樹莓派的基本應用認識智能人形服務機器人語音識別技術認識樹莓派認識開源語音識別系統(tǒng)Pocketsphinx12知識鏈接智能服務機器人簡介413智能服務機器人是在非結構環(huán)境下，為人類提供必要服務的多種高技術集成的智能化裝備，主要以服務機器人和危險作業(yè)機器人應用需求為研究重點，研究設計方法、制造工藝、智能控制和應用系統(tǒng)集成等共性基礎技術。知識鏈接認識智能人形服務機器人414如圖所示，智能人形機器人外形方面高度擬人，模塊化可拆裝，具有17個自由度，采取開放式硬件平臺架構（RaspberryPi+STM32），搭載了內置800萬像素攝像頭、陀螺儀及多種通信模塊，同時配套多種開源傳感器包。如圖所示，是智能人形機器人硬件平臺、接口說明知識鏈接認識智能人形服務機器人415知識鏈接認識智能人形服務機器人416智能人形機器人整體框架圖如圖，主要分BroadcomBCM2837層和Stm32F103RD層。知識鏈接認識樹莓派417RaspberryPi（簡稱RasPi），是一種為學習計算機編程教育而設計，體積只有信用卡大小，卻具有計算機所有基本功能的微型電腦，又被稱為卡片式電腦。圖為樹莓派的發(fā)展歷程。知識鏈接認識樹莓派418Raspberry是基于ARM的微型電腦主板，以SD/MicroSD卡為內存硬盤，主板有若干USB接口和一個以太網(wǎng)接口，可以連鍵鼠、網(wǎng)線、電視輸出接口和HDMI知識鏈接4樹莓派的基本應用樹莓派的應用是基于GitHub，諸如RaspberryPi、RaspberryPiFoundation、RaspberryPiLearning和RPI-Distro，在社區(qū)和教育模塊提供大量固件、文檔和開源代碼，涵蓋Python、Ruby、JS等主流語言。19知識鏈接4樹莓派的基本應用樹莓派可以運行多種不同的操作系統(tǒng)。在智能人形機器人上的RaspberryPi安裝的操作系統(tǒng)是官方系統(tǒng)Raspbian。20知識鏈接4語音識別技術語音識別好比“機器的聽覺系統(tǒng)”，其目的是讓機器賦予人的聽覺特性。如圖是商場中和機器人的咨詢對話應用場景。語音識別任務大體可以分為孤立詞識別、連續(xù)語音識別、關鍵詞識別。21知識鏈接4語音識別技術語音識別好比“機器的聽覺系統(tǒng)”，其目的是讓機器賦予人的聽覺特性。如圖是商場中和機器人的咨詢對話應用場景。語音識別任務大體可以分為孤立詞識別、連續(xù)語音識別、關鍵詞識別。22知識鏈接4語音識別技術23為了有效提取語音特征，往往需要對采集到的聲音進行濾波、分幀等預處理工作、聲音信號的時域頻域轉化等操作。具體包括：語音信號預處理特征提取語音字典語言模型聲學模型解碼器知識鏈接4語音識別技術語音識別技術工作的原理：24真實版轉換成狀態(tài)信息狀態(tài)信息組合成因素因素組合成單詞知識鏈接4語音識別技術語音識別設計數(shù)字信號處理、人工智能、語言學、數(shù)理統(tǒng)計學、聲學、情感學及心理學等多學科，是一門交叉學科。目前這項技術可以提供比如自動克服、自動語音翻譯、命令控制、語音驗證碼等多項應用。近年來，隨著人工智能的興起，智能語音識別技術在理論和應用上都已經(jīng)有了很大突破，開始從實驗室走向市場，逐漸走向了日常生活。25知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx26Pocketsphinx是一個用C語言編寫的輕量級的語音識別庫，是第一個開源的面向嵌入式的中等詞匯量連續(xù)語音識別系統(tǒng)。Pocketsphinx依賴于SphinxBase庫Pocketsphinx可以安裝在Windows、Linux、MacOS、iPhone和Android上知識鏈接4認識開源語音識別系統(tǒng)PocketsphinxPocketsphinx旨在簡化應用程序中語音識別器功能的使用。它具有以下特點：新API的參考文檔，可從https://cmusphinx.github.io/doc/pocketsphinx/獲得273.它允許大幅減少代碼占用空間，而且支持適度但顯著減少內存消耗2.它是完全可重入的，因此在同一過程中有多個解碼器沒有問題1.由于使用抽象類型，它在源代碼和二進制兼容性方面很可能保持穩(wěn)定知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx28Pocketsphinx下載安裝：打開瀏覽器，輸入/cmusphinx/pocketsphinx-python/，下載PocketSphinx-python，或者直接使用本項目源碼包的PocketSphinx-python知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx29在PC端輸入圖中命令，進行安裝知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx使用AudioFile測試代碼。編輯后的界面如下30知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx在命令行界面輸入pythontest.py，得到如下結果31知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx使用LiveSpeech測試代碼。編輯后的界面如下32知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx如果識別率不高，則通過以下方法改進:33采樣率和聲道保持一致詞典語料庫進一步優(yōu)化語言模型進一步優(yōu)化聲學模型進一步優(yōu)化01020304創(chuàng)建一個語料庫文件，其中包含希望解碼器識別的所有句子。句子應該是一行一行的。知識鏈接4認識開源語音識別系統(tǒng)Pocketsphinx34該工具適合較小的語料場景，可以為Sphinx（和兼容）解碼器構建一組一致的詞法和語言建模文件。Lmtool在線語言模型生成工具的使用：使用方法：CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施0635項目準備0536項目準備537Yanshee，硬件版本1.0以上一根HDMI數(shù)據(jù)連接線一臺HDMI顯示器一個無線鍵鼠Yanshee軟件系統(tǒng)，版本V2.3.0以上0102030405CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備0538任務實施06方法一：通過瀏覽器下載方法二：使用智能人形機器樹莓派終端的wget命令下載39任務實施Pocketsphinx的下載與安裝640Sphinxbase安裝好后如下圖所示任務實施Pocketsphinx的下載與安裝641配置SphinxBase的環(huán)境變量任務實施Pocketsphinx的下載與安裝642命令行界面輸入下圖命令，對Pocketsphinx進行下載和安裝任務實施創(chuàng)建自定義語料詞典文本及其語言模型和語音詞典643創(chuàng)建自定義語料詞典文件corpus.txt。在命令行輸入：vimcorpus.txt編輯自定義命令詞詞典文件corpus.txt。編輯完后如圖所示打開CMUSphinx提供的在線語言模型生成工具，如圖所示任務實施創(chuàng)建自定義語料詞典文本及其語言模型和語音詞典644上傳語料文本文件corpus.txt，點擊“COMPIEKNOWLEDGEBASE”按鈕，對其進行在線訓練，生成語言模型。上傳成功后，會得到dic和lm文件。如圖所示。然后完成解壓縮任務實施創(chuàng)建自定義語料詞典文本及其語言模型和語音詞典645啟動運行Pocketsphinx輸入下圖命令，執(zhí)行完的結果如圖任務實施創(chuàng)建自定義語料詞典文本及其語言模型和語音詞典646對著Yanshee喊話讓它識別，查看識別結果，如圖所示任務實施創(chuàng)建自定義語料詞典文本及其語言模型和語音詞典647CONTENT目錄項目導入01項目任務02學習目標03任務評價07項目準備05任務實施06知識鏈接04任務拓展08項目小結0948任務評價07自我評價小組評價49任務評價自我評價小組評價750CONTENT目錄項目導入01項目任務02學習目標03任務拓展08項目準備05任務實施06任務評價07知識鏈接04項目小結0951任務拓展0852任務拓展不使用CMU的在線工具，創(chuàng)建自定義的語音模型。測試新的語音模型是否對識別準確率有什么影響，并嘗試分析影響準確率的因素有哪些？853CONTENT目錄項目導入01項目任務02學習目標03項目小結09項目準備05任務實施06任務評價07任務拓展08知識鏈接0454項目小結0955項目小結956語音識別技術，就是讓機器通過識別、理解過程，把語音信號轉變?yōu)橄鄳奈谋净蛎畹募夹g。本項目主要學習開源語音識別程序Pocketsphinx的使用方法。THANKYOU57讓機器人學會說話項目二項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08CONTENT目錄項目導入01機器人智能語音交互技術，能讓機器人聽懂人類語言，按照人類的命令行動，實現(xiàn)人機交互。目前機器人智能語音交互技術主要包括語音識別技術和語音合成技術，產(chǎn)業(yè)化規(guī)模化指日可待。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目任務02在機器人命令行界面，直接調用eSpeak命令，讓機器人發(fā)聲說出：“helloyanshee”；并會在eSpeak中設置聲音的大小、速度、音色的變化。運行eSpeak，讓機器人通過調用YanAPI，說出紅外距離傳感器的數(shù)值。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08學習目標03知識目標技能目標職業(yè)素養(yǎng)目標知識目標、技能目標、職業(yè)素養(yǎng)目標知識目標了解語音合成的定義、系統(tǒng)組成與應用。理解語音合成技術實現(xiàn)原理。了解文本分析、韻律處理等語音合成相關知識。掌握語音合成軟件eSpeak的安裝、使用方法。技能目標能在機器人系統(tǒng)中下載安裝開源語音合成程序eSpeak軟件。能在機器人系統(tǒng)的命令行界面使用eSpeak命令，將字符串的內容說出來。能在機器人系統(tǒng)中使用開源語音合成程序eSpeak，并調用機器人SDK文件的函數(shù)，實現(xiàn)機器人發(fā)聲。職業(yè)素養(yǎng)目標培養(yǎng)精益求精的工匠精神。培養(yǎng)善于查找資料分析并解決設計過程中的問題的能力。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08知識鏈接04認識語音合成技術語音合成在智能機器人中的應用認識開源語音合成軟件eSpeak認識SDK和API認識語音合成技術1語音合成TTS，是將計算機自己產(chǎn)生的或外部輸入的文字信息轉變?yōu)榭梢月牭枚摹⒘骼恼Z言口語輸出的技術。2語音合成相對于語音識別，要更加成熟一些，已經(jīng)開始產(chǎn)業(yè)化發(fā)展，大規(guī)模應用指日可待。認識語音合成技術語音合成技術的發(fā)展歷程如圖所示認識語音合成技術語音合成系統(tǒng)的系統(tǒng)框架如圖所示如圖所示是語音合成原理的流程框圖認識語音合成技術認識語音合成技術點擊輸入內容參數(shù)合成法點擊輸入內容波形合成法規(guī)則合成法從合成的方法上來說，主要有三種方法認識語音合成技術語音合成技術的應用場景非常廣泛，在語音助理里面的AppleSiri就用到了語音合成技術，語音合成是語音助理的重要組成部分；智能音響、地圖導航、新聞播報、智能客服、呼叫中心等也都用到了語音合成技術語音合成在智能機器人中的應用右圖是畫展中服務機器人講解場景機器人實現(xiàn)語言功能，一般有采用現(xiàn)成語音芯片法和通過芯片編程實現(xiàn)。認識開源語音合成軟件eSpeakeSpeak是一款用C語言編寫的緊湊型開源文字轉語音的軟件，支持中英文等多種語言。eSpeak采用了共振峰的方法合成語音。eSpeak合成的語言清晰、快速，但不平滑，不夠自然認識SDK和APISDK，軟件開發(fā)工具包，廣義上指輔助開發(fā)某一軟件的相關文檔、范例和工具的集合。其好處如下：SDK相當于是一個開發(fā)者集成的環(huán)境，API則是數(shù)據(jù)接口，API是在SDK之下的，可以在SDK的環(huán)境之下，調用API數(shù)據(jù)。SDK包含了API的定義，API是定義了一種能力的屬性，是一種接口的規(guī)范；雖然SDK也包含了API的能力和規(guī)范，還有一些其他的輔助功能，但是缺少一部分API的能力。認識SDK和APIAPI，應用程序編程接口，是一些預先定義的接口（HTTP接口、函數(shù)等），目的是提供應用程序與開發(fā)人員基于某軟件或硬件得以訪問一組例程的能力，而又無需訪問源碼。其和SDK區(qū)別如下：覆蓋常用的如C、C++、C#、Java等開發(fā)語言文檔通俗易懂接口簡單方便和程序員在開發(fā)社區(qū)交流提供豐富的API函數(shù)認識SDK和APIYanAPI，基于Yanshee的RESTful接口開發(fā)，針對Python編程的SDK。可以使用Python獲取機器人狀態(tài)信息、設置控制機器人表現(xiàn)的能力，用戶可以輕松定制與眾不同的專屬機器人。YanAPI使用方法如下：引入SDK初始化API調用方式CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目準備051Yanshee，硬件版本1.0以上2一個無線鍵鼠3一臺HDMI顯示器4一根HDMI數(shù)據(jù)連接線5Yanshee軟件系統(tǒng)，版本V2.3.0以上CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務實施06CruzrWindows的下載與安裝CruzrCore安裝CruzrCore界面和操作CruzrCore界面和操作·同步機器人配置文件讓機器人跳舞使用eSpeak命令讓機器人說出：helloyanshee下載安裝eSpeak軟件。步驟如下：更新源列表輸入“sudoapt-getupdate”執(zhí)行結果如圖使用apt-get安裝eSpeak，在命令行輸入命令：sudoapt-getinstallespeak，執(zhí)行完結果如圖使用eSpeak命令讓機器人說出：helloyanshee使用eSpeak命令讓機器人說出：helloyanshee測試eSpeak是否安裝成功在命令行輸入命令：espeak--version執(zhí)行完結果如圖使用eSpeak命令讓機器人說出：helloyanshee讓機器人發(fā)聲命令如下：espeak–ven-us+f3“helloyanshee”—stdout|aplay執(zhí)行完的結果如圖使用eSpeak命令讓機器人說出：helloyanshee通過對eSpeak參數(shù)的調整，來改變機器人的發(fā)聲音色。具體參數(shù)如下：-V-A-S使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值本任務通過運行eSpeak，讓機器人每隔3秒，調用YanAPI，采集紅外距離傳感器的值，并進行播放使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值為了實現(xiàn)任務功能，需要先新建一個空白文件，并重命名使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值調用SDK接口文件YanAPI.py。首先輸入地址，找到該接口文件，再導入如圖的相關函數(shù)庫使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值創(chuàng)建語音合成函數(shù)text_to_speech使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值編寫主函數(shù)main使用eSpeak命令讓機器人實時播報紅外傳感器的數(shù)值運行程序，讓機器人實時播報紅外傳感器的數(shù)值。使用JupyterLab，調試test.py，結果如圖CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務評價07自我評價小組評價CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務拓展08請使用eSpeak命令，讓機器人每隔10秒，播放當前狀態(tài)下傳感器的值，并將此10秒的語言，以wav的格式保存在機器人系統(tǒng)的/home/pi的目錄下。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目小結09語音合成又稱文語轉換（Text-To-Speech），簡稱TTS。語音合成將任意文字信息實時轉化語音的技術。本項目主要學習開源語音合成軟件eSpeak的使用方法。THANKYOU讓機器人辨別顏色項目3CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目導入01服務機器人Walker的視覺導航機器人是如何看世界的呢？41項目導入CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目任務02識別綠色小球勾勒小球輪廓識別綠色小球72項目任務CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09學習目標03知識目標職業(yè)素養(yǎng)目標技能目標1理解人眼分辨顏色的原理、可見光譜、三原色學說等基礎知識；2理解機器識別顏色的原理；3了解顏色傳感器的工作原理；4理解攝像頭識別顏色的原理；5熟悉常見顏色的HSV范圍；6了解OpenCV輪廓集的結構。知識目標：知識目標、技能目標、職業(yè)素養(yǎng)目標10學習目標31能對圖像色彩空間進行轉換；2能對圖像進行二值化；3能對圖像進行數(shù)學形態(tài)學的操作；4能編程尋找圖像輪廓；5能編程繪制圖像輪廓。技能目標：1培養(yǎng)學生嚴謹、細致、規(guī)范的職業(yè)素質；2培養(yǎng)學生團隊協(xié)作及表達溝通能力；3培養(yǎng)學生跟蹤新技術及創(chuàng)新設計能力;4培養(yǎng)技術標準意識、操作規(guī)范意識、服務質量意識等。職業(yè)素養(yǎng)目標：CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09知識鏈接04人眼分辨顏色的原理認識色彩空間機器識別顏色的原理認識顏色傳感器認識OpenCV開源視覺庫機器人識別顏色方案設計來源：可見光譜中的電磁輻射對人眼視錐細胞的刺激。人眼分辨顏色的原理三原色理論：自然界的各種顏色可近似由紅綠藍三色組合而成。視桿細胞：感受光線亮暗，不識別顏色。視錐細胞：能感應顏色。人類個體對顏色的區(qū)分具有一定的主觀性。13知識鏈接4電子系統(tǒng)同時產(chǎn)生紅綠藍三原色子像素，由人腦視覺系統(tǒng)產(chǎn)生感知色彩。機器識別顏色的原理因為HSV空間對顏色比較敏感，所以實際使用時先將顏色由RGB空間轉至HSV空間。144知識鏈接色彩空間按照基本結構分為兩大類：基色色彩空間、色亮分離色彩空間。認識色彩空間RGB色彩空間：RGB各分為256級，可組合出一千六百多萬種不同的顏色。Gray色彩空間：只有一個通道，每像素占8位。Gray=0.299*R+0.587*G+0.114*BHSV色彩空間：包含色相、飽和度和明度等三要素，這樣來描述色彩更加自然直觀。154知識鏈接利用色敏元器件將光信號轉換為電流信號，緊接著進行微小電流信號預處理，再進行A/D轉換，然后將數(shù)字信號交予單片機或微機處理，最后輸出特定的RGB值，通過比色卡對比，輸出顏色值。認識顏色傳感器主要分為CCD圖像傳感器和CMOS圖像傳感器。164知識鏈接工作過程分類組成結構：上：增光鏡片；中：色塊網(wǎng)格；下：感應線路。CCD圖像傳感器分色方式：RGB原色分色法：CMYG補色分色法：174知識鏈接原理：利用半導體的光電效應。組成結構：放大器與AD轉換電路。與CCD的對比：結構復雜；分辨率略遜；有良率優(yōu)勢；噪聲多。CMOS圖像傳感器184知識鏈接地位：計算機視覺應用開發(fā)的首選軟件庫。發(fā)展歷程：1999年啟動研發(fā)，英特爾俄羅斯研發(fā)中心專家是首批研發(fā)人員。主要模塊：參見右圖。環(huán)境配置：安裝32位版本，具體步驟參見教材。認識OpenCV開源視覺庫194知識鏈接機器人識別顏色方案設計204知識鏈接第一階段：在個人PC端Windows系統(tǒng)下調試好程序。第二階段：移植到機器人終端樹莓派系統(tǒng)中。CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施06項目準備05硬件條件軟件條件23項目準備5硬件條件24項目準備5軟件條件CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備05任務實施06在PC端編寫調試圖像顏色識別程序在機器人端移植調試圖像顏色識別程序搭建PC端調試環(huán)境原則：PC端軟件環(huán)境盡量保持與智能人形機器人的一致。安裝Python：下載Python3.9.6；安裝配置：參見教材，注意要把Python添加到環(huán)境變量中；驗證Python版本：安裝OpenCV：下載安裝OpenCV；驗證OpenCV的版本號，查看是否是6。27任務實施6286任務實施編寫PC端顏色識別程序（二）編寫PC端顏色識別程序（一）編寫PC端顏色識別程序296任務實施編寫PC端顏色識別程序（三）編寫PC端顏色識別程序306任務實施編寫PC端顏色識別程序（四）編寫PC端顏色識別程序Python版本：使用Python3版本。攝像頭：位于面部中央。316任務實施機器人端程序移植調試326任務實施移植調試機器人端顏色識別程序（一）移植調試機器人端顏色識別程序（二）移植調試機器人端顏色識別程序336任務實施移植調試機器人端顏色識別程序（三）移植調試機器人端顏色識別程序（四）移植調試機器人端顏色識別程序CONTENT目錄項目導入01項目任務02學習目標03任務評價07項目準備05任務實施06知識鏈接04任務拓展08項目小結09任務評價07自我評價教師評價小組評價36任務評價7自我評價小組評價與教師評價37任務評價7CONTENT目錄項目導入01項目任務02學習目標03任務拓展08項目準備05任務實施06任務評價07知識鏈接04項目小結09任務拓展08使用機器人對多個顏色物體進行識別，且按面積由小到大進行標注。CONTENT目錄項目導入01項目任務02學習目標03項目小結09項目準備05任務實施06任務評價07任務拓展08知識鏈接04項目小結09學習基于OpenCV的圖像庫進行視覺應用開發(fā)在嵌入式設備上移植修改程序THANKYOU讓機器人認識數(shù)字項目4CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目導入01通過OCR技術。OCR按字體分類可分為印刷體識別和手寫字體識別。本項目練習手寫字體識別中的手寫數(shù)字識別。機器人是如何識別手寫字符的呢？項目導入41CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目任務02用矩形框框住數(shù)字輪廓識別數(shù)字并顯示數(shù)字用矩形框框住數(shù)字輪廓；識別數(shù)字并顯示數(shù)字72項目任務CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09學習目標03知識目標職業(yè)素養(yǎng)目標技能目標1理解MNIST數(shù)據(jù)集的結構；2理解不同的字節(jié)順序之間的差異；3理解控制格式串的含義；4理解extend和append之間的用法差異；5理解K近鄰分類的原理。知識目標：知識目標、技能目標、職業(yè)素養(yǎng)目標10學習目標31能夠打開二進制文件并讀取其中的內容；2能夠使用struct包將數(shù)據(jù)按指定的格式寫入緩沖區(qū)并讀取出來；3掌握圖片讀取、灰度化、二值化的編程方法；4能夠使用knn模型對樣本集進行訓練。技能目標：1培養(yǎng)學生嚴謹、細致、規(guī)范的職業(yè)素質；2培養(yǎng)學生團隊協(xié)作及表達溝通能力；3培養(yǎng)學生跟蹤新技術及創(chuàng)新設計能力;4培養(yǎng)技術標準意識、操作規(guī)范意識、服務質量意識等。職業(yè)素養(yǎng)目標：CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09知識鏈接04機器學習簡介手寫數(shù)據(jù)集MNIST簡介認識sklearn機器學習庫Python中實現(xiàn)圖像文件處理的基本操作機器人識別數(shù)字方案設計研究對象：研究怎樣使用計算機實現(xiàn)人類學習活動。傳統(tǒng)機器學習、大數(shù)據(jù)環(huán)境下的機器學習。傳統(tǒng)機器學習：研究學習機制。大數(shù)據(jù)環(huán)境下的機器學習：注重研究從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識。機器學習簡介主要分類知識鏈接134建立在scipy科學計算庫的基礎之上，專注于數(shù)據(jù)建模，常與numpy庫和pandas庫共用。sklearn庫的一些常用模塊：聚類交叉驗證數(shù)據(jù)集降維集成方法特征提取參數(shù)調整流形學習有監(jiān)督學習模型認識sklearn機器學習庫知識鏈接144KNN算法即KNearestNeighbor算法。其中的K表示與自己最接近的K個數(shù)據(jù)樣本。在一個樣本空間中的樣本已被分成多個類型，現(xiàn)在給定一個待分類的新數(shù)據(jù)，通過計算與自己最接近的K個樣本來判斷這個待分類的新數(shù)據(jù)屬于哪個分類，即由那些離自己最近的K個點來投票決定待分類的新數(shù)據(jù)歸為哪一類，新數(shù)據(jù)應歸類為得票最多的那一類。如右圖，K取值不同時，分類結果可能不一樣。KNN算法原理簡介知識鏈接154KNeighborsClassifier分類器簡介知識鏈接164MNIST數(shù)據(jù)集是美國國家標準與技術研究院收集整理的大型手寫數(shù)字數(shù)據(jù)庫，包含60,000個示例的訓練集以及10,000個示例的測試集。在MNIST數(shù)據(jù)集中，手寫數(shù)字一共10種，即0、1、2、3、4、5、6、7、8和9等10種。在60000張訓練集圖片中，有5923張數(shù)字0圖片，6742張數(shù)字1圖片，5958張數(shù)字2圖片，6131張數(shù)字3圖片，5842張數(shù)字4圖片，5421張數(shù)字5圖片，5918張數(shù)字6圖片，6265張數(shù)字7圖片，5851張數(shù)字8圖片，5948張數(shù)字9圖片。數(shù)據(jù)集總體組成：詳細構成：MNIST數(shù)據(jù)集簡介（一）知識鏈接174每張圖片的構成：是灰度圖，如右圖所示是某一張圖片0。標記：整數(shù)0，或者寫成獨熱標記向量[1,0,0,0,0,0,0,0,0,0]。MNIST數(shù)據(jù)集簡介（二）知識鏈接184右側的程序首先創(chuàng)建了一個12字節(jié)長的緩沖區(qū)buffer，然后使用struct包中的pack_into函數(shù)向buffer中寫入數(shù)據(jù)，控制格式為’>BHI5s’，這個格式串包括四部分格式符，相應地被打包的數(shù)據(jù)也包括四部分（10,18,288,b"hello"）。打包之后，使用binascii包中的hexlify方法將buffer中的數(shù)據(jù)轉換成16進制格式進行展示。最后，使用struct包中的unpack_from函數(shù)將真實數(shù)據(jù)從buffer中解包出來，解包時要提供控制格式串和偏移量。struct包的基本用法：Python中實現(xiàn)圖像文件處理的基本操作知識鏈接194字節(jié)序和struct包格式符知識鏈接204append命令可以添加單個元素，也可以添加可迭代對象，而extend命令只能添加可迭代對象。差異：append和extend的差異知識鏈接214策略1：在桌面或移動筆記本端進行模型訓練，然后把模型訓練的結果存為文件，將文件轉移到樹莓派ARM架構下，在樹莓派ARM架構下進行模型測試和應用。策略2：直接在機器人上單步運行調試會非常卡頓，所以采用在PC端計算機先對程序進行編輯、語法和業(yè)務功能基本操作調試，最后再移植到機器人端對其進行環(huán)境配置和少量功能調試。機器人識別數(shù)字方案設計總體業(yè)務場景設計流程圖如下知識鏈接224CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施06項目準備05硬件條件軟件條件25項目準備5硬件條件26項目準備5軟件條件CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備05任務實施06在PC端編寫調試分類器程序在PC端編寫調試主業(yè)務程序在命令端顯示“Done！”的字符串輸出后，即表示下載數(shù)據(jù)集完成。編寫下載數(shù)據(jù)集的程序任務實施296對所有訓練數(shù)據(jù)集圖片和標簽進行解析；將解析出來的圖片保存在train_image_save文件夾；將解析出來的標簽保存在train_label_save的label.txt文件中。功能：編寫分類器訓練控制管理文件（一）任務實施306讀出所有標簽；依次讀出數(shù)字0-9的所有圖片和標簽，在讀出過程中進行預處理；將標簽依次加載在current_train_label數(shù)組中；將圖像依次加載在current_train_image數(shù)組中。編寫分類器訓練控制管理文件（二）功能：任務實施316編寫分類器訓練控制管理文件（三）任務實施326功能：解析標簽數(shù)據(jù)和圖片數(shù)據(jù)。編寫數(shù)據(jù)集基礎操作處理文件任務實施336思考：二值化可以用OpenCV函數(shù)cv2.threshold()實現(xiàn)，請大家改寫左側程序中的二值化部分。圖片預處理任務實施346測試分類器模型任務實施356測試分類器模型任務實施366測試執(zhí)行結果任務實施376在PC端編寫調試主業(yè)務程序任務實施386主業(yè)務程序中的預處理（一）任務實施396主業(yè)務程序中的預處理（一）任務實施406主業(yè)務程序中的預處理（二）任務實施416主業(yè)務程序中的分類識別和輸出任務實施426主業(yè)務程序中的分類識別和輸出任務實施436在機器人端移植調試主業(yè)務程序任務實施446將文件使用scp命令無線傳輸?shù)綑C器人端任務實施456在機器人端運行程序任務實施466CONTENT目錄項目導入01項目任務02學習目標03任務評價07項目準備05任務實施06知識鏈接04任務拓展08項目小結09任務評價07自我評價教師評價小組評價自我評價任務評價7小組與教師評價任務評價7CONTENT目錄項目導入01項目任務02學習目標03任務拓展08項目準備05任務實施06任務評價07知識鏈接04項目小結09任務拓展08在白紙上寫出一個手機號碼，通過攝像頭讀取并識別，觀察準確率。CONTENT目錄項目導入01項目任務02學習目標03項目小結09項目準備05任務實施06任務評價07任務拓展08知識鏈接04項目小結09學習調用sklearn庫進行分類器設計和測試在嵌入式設備上移植修改程序THANKYOU11-4月-25讓機器人學會跳舞項目五CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目導入01現(xiàn)在AI技術發(fā)展非常快，在日常生活中應用越來越廣。活動的機器人也正逐漸走入大家的生活。人形機器人已經(jīng)有了比較廣泛的應用，如圖所示是服務機器人Cruzr的應用場景。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目任務02通過學習并完成這個任務，將會對人形機器人內部的運動控制部分，及其機械構造有一個全面的了解；同時學會搭建用來控制機器人舞蹈編程設定的軟件環(huán)境；并通過GUI模擬環(huán)境對服務機器人進行動作編輯和優(yōu)化。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08學習目標03知識目標技能目標職業(yè)素養(yǎng)目標知識目標、技能目標、職業(yè)素養(yǎng)目標知識目標掌握機器人舵機組成與原理；了解舵機種類；了解舵機自由度；了解機器人關節(jié)限位；掌握GUI模擬環(huán)境。技能目標掌握GUI控制軟件CRUZRCore的安裝；掌握CRUZRCore的常規(guī)操作和界面；掌握通過CRUZRCore編制控制機器人舞蹈。職業(yè)素養(yǎng)目標培養(yǎng)質量意識；培養(yǎng)精益求精的探究精神；培養(yǎng)工匠精神。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08知識鏈接04舵機簡介舵機種類認識智能人形服務機器人自由度人形服務機器人限位器舵機，機器人的核心部件，顧名思義，就是控制方向的機械裝置，常用于控制航模的機翼翼面角度，車模的轉向，船模的舵向等。那為什么制作機器人要用舵機呢？其實嚴格來說，機器人應該使用伺服電機驅動，而舵機和伺服電機的功能類似，體積小巧，價格也可以被接受，可以算作是民用級的伺服電機。舵機的結構主要由電機、角度傳感器、控制電路、齒輪減速機構，以及外殼組成。舵機簡介小力矩舵機內部構造舵機種類中力矩舵機內部構造舵機種類大力矩舵機內部構造舵機種類一個剛體在空間任意運動時，可分解為質心O’的平動和繞通過質心某直線的定軸轉動，它既有平動自由度還有轉動自由度。確定剛體質心O’的位置，需三個獨立坐標（x，y，z）—自由剛體有三個平動自由度t=3；人形機器人也是需要完成6個自由度的控制，來模擬人類的行為。如圖所示，智能人形機器人外形方面高度擬人，模塊化可拆裝，具有17個自由度，采取開放式硬件平臺架構（RaspberryPi+STM32），搭載了內置800萬像素攝像頭、陀螺儀及多種通信模塊，同時配套多種開源傳感器包。認識智能人形服務機器人自由度軟限位是軟件中設定的各軸運動范圍限值。關節(jié)機器人之所以能在空間里準確到達一個位置，依靠的是各個軸分別從零點開始開始旋轉特定的角度，從而合成出最終的位置。限位開關（硬限位）是電氣硬件上對各軸的位置限制，通常是類似行程開關。機械限位是機械上的位置限制，通常使用橡膠塊等防止硬沖擊。人形服務機器人限位器CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目準備051Cruzr機器人一臺2PC機（建議筆記本）Window7以上版本；34條五類以上網(wǎng)線。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務實施06CruzrWindows的下載與安裝CruzrCore安裝CruzrCore界面和操作CruzrCore界面和操作·同步機器人配置文件讓機器人跳舞/cn/downloads下載CruzrCoreCruzrWindows的下載與安裝CruzrWindows的下載與安裝雙擊獲取的1.3以上版本啟動安裝啟動下一步，順序執(zhí)行安裝步驟CruzrWindows安裝選擇安裝位置等待安裝完畢CruzrCore界面和操作第一次運行需要驗證企業(yè)號等待驗證完畢嘗試新建關鍵幀CruzrCore界面和操作控制舵機CruzrCore界面和操作配置底盤CruzrCore界面和操作保存編輯結果，動作編輯完成后點擊保存；彈出保存框，可選擇保存舞蹈或動作舞蹈必填：舞蹈名稱，舞蹈音樂，舞蹈圖片TTS播報和表情選填CruzrCore界面和操作保存后，可在動作文件管理中查看保存的舞蹈或動作文件；可對保存的文件進行同步到機器人和刪除的操作。CruzrCore界面和操作同步會彈出已綁定的機器人選項（機器人需要升級到P13及以上的版本），選擇進行機器人后點擊“開始同步”進行同步。同步到機器人后可在機器人端的舞蹈應用中查看舞蹈CruzrCore界面和操作·同步機器人配置文件下載音樂MP3ABCut剪切工具打開后歌曲會自動播放，通過選擇上面的【前跳】和【后跳】，調整需要剪切的位置，按【設A點】，然后再調整到希望歌曲結束的位置按【設B點】保存后重新試聽，核對是否成功剪切讓機器人跳舞下載BPM分析器BpmAnalyzer，并安裝選擇電腦中存放音樂文件的文件夾路徑，不能直接選擇文件計算舞蹈每幀動作所需時長讓機器人跳舞獲取動作編輯軟件Cruzr安裝包，并安裝選擇電腦中存放音樂文件的文件夾路徑，不能直接選擇文件計算舞蹈每幀動作所需時長讓機器人跳舞擰開Cruzr1屏幕，拔下安卓的網(wǎng)線，把網(wǎng)線（連接在一起的3.0034）另一端接在PC的網(wǎng)口上ROS開機驗證OK后，要把急停開關拔起讓機器人跳舞正確對機械臂進行解鎖復位選擇動作類型通過動作錄制的方式編輯舞蹈動作同步音樂和動作，保存讓機器人跳舞正確對機械臂進行解鎖復位選擇動作類型通過動作錄制的方式編輯舞蹈動作同步音樂和動作，保存讓機器人跳舞按圖上標記注釋，對舞蹈腳本進行編輯舞蹈合成及其測試驗證動作讓機器人跳舞CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務評價07自我評價小組評價CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08任務拓展081能否本任務所學知識在機器人舞動時，獨立控制手臂運動？2查閱資料，嘗試2-3種方法，并記錄下來。CONTENT目錄項目任務02項目導入01學習目標03任務評價07任務實施06項目準備05知識鏈接04項目小結09任務拓展08項目小結09讓機器人跳舞，實際上就是通過腳本，在理解運動學的基礎上，對機器人的自由度進行控制的過程。THANKYOU讓機器人手臂運動項目6目錄CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09上一個任務已經(jīng)有了基礎，學習了用程序控制機器人跳舞那么如何更精確的控制機器人手臂做更精細化的操作呢？項目導入13CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目任務通過“讓機器人手臂運動”任務為載體，將會對人形機器人運動學，及其機械構造有一個全面的了解。學會搭建用來控制機器人三維仿真的軟件環(huán)境，并可在模擬環(huán)境中對機器人進行算法測試。通過仿真環(huán)境的控制和理解，對機器人的運動學有一定程度的認識。01020325CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09學習目標（1）熟悉ROS基本知識和常用操作；（2）了解機器人運動學；（3）熟悉機器人位姿；（4）了解機器人坐標系。知識目標：（1）掌握ROS的升級；（2）掌握Gazebo仿真環(huán)境安；（3）熟悉Gazebo使用方法;（4）掌握在Gazebo中控制機器人手臂運動。技能目標：（1）培養(yǎng)質量意識（2）培養(yǎng)精益求精的探究精神（3）培養(yǎng)工匠精神職業(yè)素養(yǎng)目標：37CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09ROS的發(fā)行版本（ROSdistribution）指ROS軟件包的版本，其與Linux的發(fā)行版本（如Ubuntu）的概念類似。推出ROS發(fā)行版本的目的在于使開發(fā)人員可以使用相對穩(wěn)定的代碼庫，直到其準備好將所有內容進行版本升級為止。因此，每個發(fā)行版本推出后，ROS開發(fā)者通常僅對這一版本的bug進行修復，同時提供少量針對核心軟件包的改進。知識鏈接

ROS簡介版本名稱發(fā)布日期版本生命周期操作系統(tǒng)平臺ROSNoeticNinjemys2020年5月2025年5月Ubuntu20.04ROSMelodicMorenia2018年5月2023年5月Ubuntu17.10,Ubuntu18.04,Debian9ROSLunarLoggerhead2017年5月2019年5月Ubuntu16.04,Ubuntu16.10,Ubuntu17.04,Debian9ROSKineticKame2016年5月2021年4月Ubuntu15.10,Ubuntu16.04,Debian8ROSJadeTurtle2015年5月2017年5月Ubuntu14.04,Ubuntu14.10,Ubuntu15.0449知識鏈接ROS通訊架構ParameterService參數(shù)服務器Actionlib動作庫Service服務Topic主題410知識鏈接

Topic主題Topic要經(jīng)歷下面幾步的初始化過程：首先，publisher節(jié)點和subscriber節(jié)點都要到節(jié)點管理器進行注冊。然后publisher會發(fā)布topic，subscriber在master的指揮下會訂閱該topic。從而建立起sub-pub之間的通信。411Service通信是雙向的，它不僅可以發(fā)送消息，同時還會有反饋。所以Service包括兩部分，一部分是請求方（Clinet），另一部分是應答方/服務提供方（Server）。知識鏈接

Service服務412參數(shù)服務器（parameterserver）：與前兩種通信方式不同，參數(shù)服務器也可以說是特殊的“通信方式”。特殊點在于參數(shù)服務器是節(jié)點存儲參數(shù)的地方、用于配置參數(shù)，全局共享參數(shù)。參數(shù)服務器使用互聯(lián)網(wǎng)傳輸，在節(jié)點管理器中實現(xiàn)整個通信過程。知識鏈接

Parameterserverrosparam命令作用rosparamsetparam_keyparam_value設置參數(shù)rosparamgetparam_key顯示參數(shù)rosparamloadfile_name從文件加載參數(shù)rosparamdumpfile_name保存參數(shù)到文件rosparamdelete刪除參數(shù)rosparamlist列出參數(shù)名稱413Actionlib是ROS中一個很重要的庫，類似service通信機制。當service通信不能很好的完成任務時候，actionlib則可以比較適合實現(xiàn)長時間的通信過程Action的工作原理是client-server模式，也是一個雙向的通信模式。知識鏈接

Action414知識鏈接機器人運動學已知機器人中各運動副的運動參數(shù)，求末端執(zhí)行器位姿。運動學正問題運動學逆問題機器人運動學問題415已知端執(zhí)行器位姿，求各運動副的運動參數(shù)。知識鏈接

機器人運動學正逆問題Whereismyhand?DirectKinematicsHERE!HowdoIputmyhandhere?InverseKinematics:Choosetheseangles!運動學正問題運動學逆問題416點的位置描述{位置矢量}對于直角坐標系{A}，空間任一點P的位置可用3×1的列矢量表示。知識鏈接.位姿描述——點的位置描述

270AP的上標A代表參考坐標系｛A｝。417將一個n維空間點用n+1維坐標表示，則該n+1維坐標即為n維坐標的齊次坐標。知識鏈接位姿描述——齊次坐標271注意：（1

)點的齊次坐標齊次坐標的表示不是惟一的。418齊次坐標在Gazebo里，提供了最基礎的三個物體，球體，圓柱體，立方體，利用這三個物體以及它們的伸縮變換或者旋轉變換，可以設計一個最簡單的機器人三維仿真模型。Gazebo提供了機器人的運動仿真，通過ModelEditor下的plugin，來添加我們需要驗證的算法文件，就可以在Gazebo里對機器人的運動進行仿真。知識鏈接

Gazebo11-4月-25419CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施06項目準備5211．一個大于等于4G的U盤作為啟動盤；2．一個大于64G的U盤或移動硬盤（裝系統(tǒng)鏡像）；3．一臺電腦，推薦配置：①2G雙核處理器及以上；②2G內存及以上；③25G以上硬盤空間；④支持DVD驅動或者USB口；⑤支持上網(wǎng)。CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備051．下載Ubuntu16.04的iso文件，下載網(wǎng)址：/16.04/。2．下載工具軟件軟件：RUFS，下載網(wǎng)址：https://rufus.akeo.ie。3．把制作好的啟動U盤插入電腦，開機（或者重啟）開始安裝。任務實施

安裝Ubuntu6231．配置Ubuntu軟件中心2．修改源3．獲取公鑰，開始安裝。任務實施

安裝ROS6241．sudoapt-getinstallros-kinetic-gazebo-ros-control2.sudoapt-getinstallros-kinetic-ros-controllers3.啟動Gazebo任務實施

安裝Gazebo6251．從地址：/shaoyiwork/Yanshee_Fzstart

下載機器人模型2.打開Rviz后點擊界面左下角的Add，添加RobotModel和TF的顯示3.拖動JointStatePublishe窗口中每個關節(jié)的滑塊來調整關節(jié)角度。任務實施

導入機器人模型2661．為模型添加gazebo標簽并配置控制器2.通過代碼，用正弦曲線驅動Gazebo環(huán)境中的機器人雙臂有規(guī)律的擺動任務實施

通過代碼驅動Gazebo環(huán)境中的機器人276CONTENT目錄項目導入01項目任務02學習目標03任務評價07項目準備05任務實施06知識鏈接04任務拓展08項目小結09任務評價07自我評價小組評價CONTENT目錄項目導入01項目任務02學習目標03任務拓展08項目準備05任務實施06任務評價07知識鏈接04項目小結09請模仿前面的機器人手臂仿真，做一個Yanshee機器人的腿部仿真。用余弦函數(shù)方式表示運動規(guī)律。任務拓展318CONTENT目錄項目導入01項目任務02學習目標03項目小結09項目準備05任務實施06任務評價07任務拓展08知識鏈接04讓機器人跳舞，實際上就是通過腳本，在理解運動學的基礎上，對機器人的自由度進行控制的過程。小結339THANKYOU讓機器人雙足運動項目1CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目導入01項目導入1上一個任務已經(jīng)有了基礎，學習了用程序控制機器人揮動雙臂。那么如何更精確的控制機器人雙腿呢？4CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09項目任務02項目任務171.通過本課程我們將學習步態(tài)算法的基礎概念、ZMP力矩零點、步態(tài)規(guī)劃和倒立擺模型原理等。2.通過這些知識的學習，我們逐漸開始認識一個雙足機器人要想穩(wěn)定的走路所必須具備的基本條件和控制方法。3.最后我們會通過簡單的步態(tài)控制案例來體驗步態(tài)算法對于雙足機器人的重要作用。CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09學習目標03知識目標職業(yè)素養(yǎng)目標技能目標1.了解零力矩點2.了解質心和力矩3.了解機器人步態(tài)規(guī)劃4.掌握雙足步態(tài)規(guī)劃流程知識目標：知識目標、技能目標、職業(yè)素養(yǎng)目標10學習目標31.掌握用程序初始化舵機2.掌握用程序初始化步態(tài)3.掌握用程序完成三點坐標值規(guī)劃步態(tài)4.掌握用程序控制機器人逆運動5.掌握用程序控制機器人完成雙足步行技能目標：1.培養(yǎng)質量意識2.培養(yǎng)精益求精的探究精神3.培養(yǎng)工匠精神職業(yè)素養(yǎng)目標：CONTENT目錄項目導入01項目任務02學習目標03知識鏈接04項目準備05任務實施06任務評價07任務拓展08項目小結09知識鏈接04零力矩點零力矩點在仿人機器人領域的應用運動物體質心Yanshee步態(tài)規(guī)劃基本原理質心和力矩雙足機器人的步態(tài)規(guī)劃法零力矩點（ZMP,ZeroMomentPoint），1968年南斯拉夫學者M.Vukobratovic在其步行機器人動態(tài)平衡理論中定義了這一概念，到了80年代早稻田的加藤一郎實驗室(IchiroKato'slaboratoryatWasedaUniversity)制作了一系列的WL機器人，這些雙足機器人是最早將此概念實際應用到動態(tài)平衡的雙足步行機器人。知識鏈接零力矩點413知識鏈接零力矩點在仿人機器人領域的應用414雙足機器人研究都是基于ZMP的方法。但是利用的方式各有巧妙不同。傳統(tǒng)的方法，建立雙足機器人的數(shù)學模型，并根據(jù)ZMP必須落在穩(wěn)定區(qū)域（腳掌范圍）去推導控制法則建立雙足機器人的數(shù)學模型，用計算機模擬和驗證。質心是組成該物體所有質量的平均位置，對于規(guī)則物體，質心就是幾何中心。對于不規(guī)則物體，偏向質量偏多的一邊。知識鏈接質心和力矩415當物體運動時，例如拋出的球棒的運動很復雜，但是其質心會依然沿著平滑的拋物線運動。知識鏈接運動物體質心416基本概念具體定義步態(tài)仿人機器人的步態(tài)規(guī)劃類似于機械臂的軌跡規(guī)劃，但是機械臂軌跡規(guī)劃一般僅僅涉及到機械臂關節(jié)空間或者笛卡爾空間的軌跡的規(guī)劃問題，且二者之間是可以通過機器人的正向運動學和逆向運動學相互轉化的。但是仿人機器人的步態(tài)規(guī)劃則不同，機器人的沒有固定的基座，因而不存在特定的關節(jié)空間和笛卡爾空間的轉化關系，因為二者之間的轉換需要涉及到機器人漂浮基座的狀態(tài)。因而仿人機器人的步態(tài)可以認為是質心軌跡以及各個關節(jié)軌跡的綜合。靜態(tài)步行仿人機器人步行過程中，機器人相對于支撐腳始終處于靜力學平衡狀態(tài)，即機器人的質心在地面上的投影始終不超過支撐多邊f(xié)angrenbn形的范圍。動態(tài)步行仿人機器人步行過程中，機器人相對于支撐腳始終處于動力學平衡狀態(tài)，即機器人的質心在地面上的投影可以在某些時刻超過支撐多邊f(xié)angrenbn形的范圍。單腿支撐機器人僅僅有一只腳與地面接觸，此時機器人呈倒立擺狀態(tài)雙腿支撐機器人雙腿支撐某種程度上是一種過度階段，根據(jù)人類的行走狀態(tài)，雙腿支撐期只占一個步行周期的8%-25%。機器人在撐場行走過程中是處于單腿支撐和雙腿支撐的結合和切換。但是當機器人處于奔跑狀態(tài)時候，則是單腿支撐與騰空狀態(tài)的結合。單步機器人從一側腿著地到另一側腿著地構成一個步長，它包含一個雙腿支撐期和單腿支撐期。兩個單步會構成一個復步。復步在步行運動中，從機器人一側腳著地開始到該腳再次著地構成一個復步。期間兩只腿各相繼向前邁步一次。它包括兩個雙腳支撐期和兩個單腳支撐期。跨高擺動腿在擺動過程中腳底離地面的最大距離，常用于衡量機器人跨越小障礙物和在不平地面行走的能力。知識鏈接Yanshee步態(tài)規(guī)劃基本原理417雙足機器人的步行可以分為靜態(tài)步行和動態(tài)步行兩種。靜態(tài)步行是重心移動少、速度慢的步行方式，動態(tài)步行則是自身破壞平衡，向前傾倒地行走，人的行走以動態(tài)步行為主。倒立擺的移動就屬于這種典型的動態(tài)步行。關節(jié)類型主要作用髖關節(jié)用于擺動腿，實現(xiàn)邁步并使上軀體前傾或者后仰，使之在步行過程中起輔助平衡作用膝關節(jié)調整重心的高度，并用來調整擺動腿的著地高度，使之與地形相適應踝關節(jié)用來和髖關節(jié)相配合實現(xiàn)支撐腿和上軀體的移動，而且還可以調整腳掌與地面的接觸狀態(tài)。知識鏈接雙足機器人的步態(tài)規(guī)劃法418CONTENT目錄項目導入01項目任務02知識鏈接04項目準備05學習目標03任務評價07任務拓展08項目小結09任務實施06項目準備05項目準備521ROS環(huán)境Yanshee機器人一臺Gazebo機器人模擬環(huán)境010203CONTENT目錄項目導入01項目任務02知識鏈接04任務實施06學習目標03任務評價07任務拓展08項目小結09項目準備05任務實施06初始化步態(tài)初始化舵機角度完成三點坐標值規(guī)劃步態(tài)機器人逆運動使用ROS消息控制機器人動作//定義步態(tài)枚舉的狀態(tài)，分別為左腳抬起，扭左跨，右腳抬起，扭右跨enumgait_status{LEFT_UP=0,WAIST_TO_LEFT=1,RIGHT_UP=2,WAIST_TO_RIGHT=3,};gait_statusgait_current_status;boolfirst_step=true;intmain(intargc,char**argv){ros::init(argc,argv,"ik_test_node");ros::NodeHandlen;ros::Publisherjoint_pub=n.advertise<ubt_msgs::angles_set>("hal_angles_set",1);ubt_msgs::angles_setjoint_angle_;joint_angle_.angles.resize(17);gait::Kinematicskinematic;ros::Rateloop_rate(50);ros::Timetime_program_hold=ros::Time::now();任務實施初始化步態(tài)624//初始化關節(jié)角度，因為YANSHEE共17個舵機，因此設置17個角度值（initjoint_angle）joint_angle_.angles[0]=int((90+0)*2048/180);joint_angle_.angles[1]=int((130+0)*2048/180);joint_angle_.angles[2]=int((179+0)*2048/180);joint_angle_.angles[3]=int((90+0)*2048/180);joint_angle_.angles[4]=int((40+0)*2048/180);joint_angle_.angles[5]=int((15+0)*2048/180);joint_angle_.angles[6]=int((90+0)*2048/180);joint_angle_.angles[7]=int((60+0)*2048/180);joint_angle_.angles[8]=int((76-0)*2048/180);joint_angle_.angles[9]=int((110-0)*2048/180);joint_angle_.angles[10]=int((90+0)*2048/180);joint_angle_.angles[11]=int((90+0)*2048/180);joint_angle_.angles[12]=int((120-0)*2048/180);joint_angle_.angles[13]=int((104+0)*2048/180);joint_angle_.angles[14]=int((70+0)*2048/180);joint_angle_.angles[15]=int((90+0)*2048/180);joint_angle_.angles[16]=int((90+0)*2048/180);joint_angle_.time=25;。任務實施初始化舵機角度625//抬左腳caseLEFT_UP:foot_pos_l[2]=15*(waist[1]-LEG_UP_CONDITION);foot_pos_l[0]+=(first_step?(SPEED/2):SPEED);left_arm[0]=30000*(waist[1]-LEG_UP_CONDITION);right_arm[0]=left_arm[0];break;//重心移到左腳caseWAIST_TO_LEFT:foot_pos_l[2]=0;foot_pos_r[2]=0;break;任務實施完成三點坐標值規(guī)劃步態(tài)626