嵌入式系統原理與應用電子與電氣工程學院第九章嵌入式項目實踐---語音識別多媒體系統設計正大氣象厚德載物MinnanUniversityofScienceandTechnology嵌入式項目實踐CONTENTS01.系統功能要求02.部分硬件設計電路03.系統程序設計04.結果顯示正大氣象厚德載物MinnanUniversityofScienceandTechnology01PARTONE系統功能要求正大氣象厚德載物MinnanUniversityofScienceandTechnology正大氣象厚德載物MinnanUniversityofScienceandTechnology近年來，人工智能領域迎來顯著突破，尤其是生成式人工智能（GenAI）的迅速崛起，廣泛應用于業務職能中，并受到企業高管的高度關注。同時，OpenAI開發的ChatGPT成為全球焦點，其能力的大幅提升標志著AI技術的重要飛躍。此外，AI在醫療、教育、交通等多個領域產生深遠影響，開源AI的發展和許可辯論也成為熱議話題，特別是近年來人工智能產業蓬勃發展，正在成為新一輪技術產業變革的重要力量。大到智能機器人，小到掌上設備，各式各樣的人工智能產品不斷亮相，與人的互動方式也在不斷創新。項目前景正大氣象厚德載物MinnanUniversityofScienceandTechnology該項目需要使用到的技術主要包括Linux操作系統相關知識，人工智能相關知識，網絡通信相關知識，文件IO相關知識，語音識別API的使用。通過該項目，學生將會對人工智能、語音識別的原理有較為基礎的了解。需要完成的具體功能包含以下四個方面，電子相冊、音樂播放器、視頻播放器、語音識別控制。項目介紹正大氣象厚德載物MinnanUniversityofScienceandTechnology采用GEC6818物聯網綜合實驗箱，實現語音識別的多媒體系統設計，以s5p6818為核心，通過觸摸實現圖片的切換、音樂播放、視頻播放機語音識別控制以及結合物聯網云。本課題設計需要完成的基礎功能包含以下幾個方面。1、電子相冊，采用觸摸方式實現圖片的切換；2、音樂播放器，采用觸摸方式實現音樂的切換；3、視頻播放器，采用觸摸方式實現視頻的切換；4、語音識別控制，能夠實現錄音、識別。5、實現客戶端與服務器功能，將語音識別功能放在服務端，根據識別結果控制開發板。系統功能需求正大氣象厚德載物MinnanUniversityofScienceandTechnology擴展功能：1、上傳語音識別服務端到阿里云服務器，實現外網訪問服務器解析語音信號并控制開發板。2、驅動應用，實現上位機監測與控制AMR端設備。系統功能需求02PARTTWO部分硬件設計電路正大氣象厚德載物MinnanUniversityofScienceandTechnology正大氣象厚德載物MinnanUniversityofScienceandTechnology顯示模塊使用液晶顯示器（LCD）是以液晶為基本材料的顯示組件。其通過控制液晶分子兩端的電壓來控制液晶分子的轉動方向，繼而控制每個像索點偏振光投射度而達到顯示的目的。目前常稱的LCM(LCDModule)即為LCD模組，其包含了LCD、控制驅動芯片、PCB板、背光源、結構件以及連接器等諸多部件裝配在一起的組件。

顯示模塊電路如圖9.2所示。1.顯示模塊正大氣象厚德載物MinnanUniversityofScienceandTechnology錄音模塊使用板載麥克風，同時支持3.5mm耳機接人，其電路如圖9.3所示。該音模塊通過引腳和1GEC6818進行連接。在檢測到屏幕被點擊之后進行錄音。2.錄音模塊正大氣象厚德載物MinnanUniversityofScienceandTechnology音頻播放需要使用外接耳機，接人核心板上的3.5mm輸出接口(綠色)，其電路如圖9.4所示。當系統接收到aplay命令后，則播放選擇的音頻。3.播放模塊03PARTTHREE系統程序設計正大氣象厚德載物MinnanUniversityofScienceandTechnology正大氣象厚德載物MinnanUniversityofScienceandTechnology首先從服務器端開始，進行離線語音識別初始化和socket初始化。然后判斷是否連接成功，如果是的話，則接收文件并進行語音識別，最后發送結果。如果不是，則需要重新嘗試連接或處理其他錯誤情況。客戶端也進行了類似的操作，包括觸摸屏初始化、socket初始化以及接收觸屏指令等步驟。整個系統通過這種方式實現了語音命令到設備動作的轉換。1.主程序設計正大氣象厚德載物MinnanUniversityofScienceandTechnology1）、BMP圖片介紹2.圖片顯示BMP：它采用位映射存儲格式，除了圖像深度可選以外，不采用其他任何壓縮，因此，BMP文件所占用的空間很大。BMP文件的圖像深度可選lbit、4bit、8bit及24bit。BMP文件存儲數據時，圖像的掃描方式是按從左到右、從下到上的順序。BMP文件組成：BMP文件由文件頭、位圖信息頭、顏色信息和圖形數據四部分組成。BMP文件頭（14字節）：BMP文件頭數據結構含有BMP文件的類型、文件大小和位圖起始位置等信息。位圖信息頭（40字節）：BMP位圖信息頭數據用于說明位圖的尺寸等信息。2）、BMP圖片在Linux中，-切皆文件，LCD顯示屏對應的設備文件為/dev/fb0。如果想讓LCD顯示屏顯示顏色，就是把顏色寫人到LCD顯示屏對應的設備文件中，查看LCD設備文件相關信息。正大氣象厚德載物MinnanUniversityofScienceandTechnology3）、代碼示例2.圖片顯示正大氣象厚德載物MinnanUniversityofScienceandTechnology1）、觸摸屏應用接口3.觸摸屏使用連接操作系統的輸入設備，可不止一種，也許是一個標準PS/2鍵盤，也許是一個USB鼠標，或者是一塊觸摸屏，甚至是一個游戲機搖桿，Linux在處理這些紛繁各異的輸入設備的時候，采用的辦法還是找中間層來屏蔽各種細節，請看下圖：正大氣象厚德載物MinnanUniversityofScienceandTechnology2）、觸摸屏原理分析3.觸摸屏使用1，輸入設備驅動層每一種設備都有其特定的驅動程序，他們被妥當地裝載到操作系統的設備模型框架內，封裝硬件所提供的功能，向上提供規定的接口。2，核心層此處將收集由設備驅動層發來的數據，整合之后觸發某一事件。3，事件觸發層這一層是我們需要關注的，我們可以通過在用戶空間讀取相應設備的節點文件來獲知某設備的某一個動作。在最靠近應用程序的事件觸發層上，內核所獲知的各類輸入事件，比如鍵盤被按了一下，觸摸屏被滑了一下等，都將被統一封裝在一個叫做input_event的結構體當中正大氣象厚德載物MinnanUniversityofScienceandTechnology3）、示例代碼3.觸摸屏使用正大氣象厚德載物MinnanUniversityofScienceandTechnology4.音樂播放

在開發板中播放音樂，可直接使用開發板中的madplay進行播放

1、播放

madplay1.mp3//播放歌曲1.mp3

2、暫停 killall-SIGSTOPmadplay

3、繼續 killall-SIGCONTmadplay

4、退出 killall-SIGKILLmadplay

在代碼中實現以上命令時，可調用system()函數完成，如： 播放：system("madplay1.mp3&"); 暫停：system("killall-SIGSTOPmadplay") 繼續：system("killall-SIGCONTmadplay")正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別

官網：（訊飛開發平臺） /一、下載離線SDK1、先進行注冊或者登陸2、登錄科大訊飛官方網站注冊賬號，轉到語音識別---下載sdk文件如下（有效期1個月）。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別3、創建應用。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別4、下載SDK正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼1）、將下載到的源碼壓縮包Linux_aitalk_exp1227_3f928ba4.zip進行解壓，解壓到Linux_aitalk_exp1227_3f928ba4文件夾。進入此文件夾。找到README.txt文件，嘗試看看工程文件的作用。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼2）、進入sample/asr_offline_sampleasr_soffline_ample是離線識別的示例代碼，相關文件如下：正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼（1）64bit_make.sh64bit_make.sh是64位的執行文件shell文件，功能是編譯asr_offline_sample.c文件，輸入命令（./64bit_make.sh）可以得到asr_offline_sample.c的可執行文件，可執行文件在bin目錄中，名為asr_offline_sample。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼（1）64bit_make.sh直接運行./asr_offline_sample，會出現缺少動態庫。動態庫在x64中，將libs/x64/libmsc.so復制到/lib中（加上sudo）。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼（2）call.bnfbin中call.bnf是識別的語法文件，能識別打開！，id=1；播放，id=2，

。#BNF+IAT1.0UTF-8;!grammarcall;!slot<want>;!slot<dialpre>;!slot<dialsuf>;!slot<contact>;!start<callstart>;<callstart>:<dial>;<dial>:<dialpre><contact>;<dialpre>:打開!id(10001)|播放!id(10001);<contact>:相冊|音樂|視頻;正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼（3）分析asr_offline_sample.c①獲取需要識別的語音文件get_audio_file()constchar*get_audio_file(void){ recv_file(); return"abc.wav";//識別的文件}②進行離線語法識別run_asr(UserData*udata);識別結果在rec_rslt中，對rec_rslt內容進行提取即可得到識別結果。正大氣象厚德載物MinnanUniversityofScienceandTechnology5.語音識別5、分析源碼（4）網絡通信正大氣象厚德載物MinnanUniversityofScienceandTechnology6.調試步驟編譯運行①、編譯在….../Linux_aitalk_exp/samples/asr_offline_sample目錄中執行./64bit_make.sh，生成可執行文件asr_offline_sample，操作如下：②、運行可執行文件asr_offline_sample

在……/Linux_aitalk_exp/bin目錄中運行可執行文件，命令為“./asr_offline_sample”。操作如下：等待客服端發送過來文件。（6）整合客戶端程序，可以發送。04PARTFOURE結果顯示正大氣象厚德載物MinnanUniversityofScie