1、基于(jy) FPGA 的圖像識別與語音(yyn)播報系統第一(dy)部分設計概述 /Design Introduction本設計實現了圖像識別與智能語音播報的功能。能實時的識別出當前圖像，并進行智能的播報。本設計主要涉及到圖像采集，圖像處理與識別，語音技術等一系列當前熱點技術，并將它們有機結合，構建出了一個實用性很強的系統。主要可以應用于機場，安檢，監控等需要圖像處理技術的領域中。同時利用智能語音播報系統將圖像處理結果進行實時的播報，極大的增強了人機交互界面的友好性。另外，本設計根據圖像處理以及語音模塊的控制等特點，采用了FPGA 與單片機相組合的數字系統。即利用了FPGA 的高速處理能力（

2、主要處理圖像信號），同時又采用了單片機的強大控制驅動能力（主要控制智能語音播報系統），同時又借助于高效的數據傳輸協議，搭建出了一個集高速的數據處理能力與強大的控制能力于一身的多處理器系統。該架構在現實的復雜數字系統中也有較多的應用。具有一定的實用性。第二部分系統組成及功能說明 /System Construction & Function Description整個系統由攝像頭，前端FPGA，核心FPGA，語音MPU，VGA 顯示器構成。系統通過攝像頭讀取圖像信息，由前端FPGA 進行圖像初步降噪二值化處理，僅保留有效信息后由前端FPGA 存儲，由后端FPGA 進行有效圖像區域的提取、壓縮、特

3、征對比過程，完成圖像識別的功能，并利用語音MCU 播報被識別的圖像1、可以手動設置(shzh)圖像的“亮度(lingd)”，以適應(shyng)不同光照條件下的圖像采集。2、可以切換自動/手動模式。自動模式下系統將連續采集攝像頭數據。手動模式下，單擊按鍵進行一次圖像識別。3.語音模塊的詳細框圖如下：在本系統中，當前端圖像識別完成(wn chng)后，按下播報按鈕后，語音模塊能將當前識別出的圖像播報出來。交互(jioh)說明：前端FPGA1、4 鍵控制(kngzh)攝像頭二值化灰度閾值，2 鍵使閾值恢復為128。A 鍵切換自動和手動模式，自動模式下系統不斷采集新圖像進行(jnxng)識別，手動模

4、式下采集暫停，需要按下F 鍵才采集(cij)一幀。2、核心(hxn)FPGAA. 數碼管顯示當前被識別的圖像序號及成功識別次數。B. LED 顯示前端FPGA 與后端通信情況。3.語音播報系統主要采用單片機來驅動語音模塊。在前端圖像識別完成后，當按下語音播報按鈕后，單品機將要播報的內容傳給語音模塊，進行播報。4、VGA 圖像VGA 顯示各區域意義解釋工作流程：能夠提取出有效圖像區域時的時序流程第三(d sn)部分完成(wn chng)情況及性能參數/Final Design & Performance Parameters1、能進行(jnxng)圖像識別，識別09 十個數字，少量字母，部分形狀

5、如方形、圓形、X 形。2、以VGA 顯示攝像頭采集的數據，能標出有效圖像的區域；后端數碼管實時顯示識別結果。識別快速準確。3、系統可識別圖像種類非常容易添加和更改，具有良好的編程可拓展性。4、可以手動設置圖像的“亮度”，能適應不同光照條件下的圖像采集。5、可以切換自動/手動模式，手動模式下功耗低。6、可以語音播報被識別的圖像，聲音洪亮清晰?？勺R別內容舉例：第四部分(b fen)總結(zngji) /Conclusions經過幾個星期的努力，我們小組終于將作品(zupn)設計完成。經過實際測試后，該系統基本完成了當初的設計任務，即當給出不同的圖像時，前端攝像頭能采集圖像，自動識別，并進行語音播報

6、。本系統中圖像識別速度快，準確率較高，語音播報模塊聲音基本自然，沒有明顯播報的錯誤。當然，此次設計還有一些不足之處。比如準確率還沒有達到99%以上，對于一些奇怪的圖像無法準確的檢測出來，語音播報模塊的聲音在自然度上還需進一步的提升等問題?？梢赃M一步發揮提高的部分1.優化識別流程，讓識別更快速，VGA 顯示的抖動更小。2.設置臨時模板，可以不再次編程而通過(tnggu)攝像頭輸入一個模板。3.語音模塊聲音更加的自然流暢，能使用(shyng)不同的聲音比如男聲，女聲以及方言等播報。組員(z yun)設計體會不同的處理器有不同的特點，比如本系統中使用的FPGA 與單片機就是兩個典型的處理器。FPGA

7、 具有強大的數據吞吐與處理能力，但是它在控制方面不太擅長，單片機有強大的控制能力，但是在數據處理上又顯得力不從心。因此，如果能將其二者合二為一，則構建出來的系統就具有很強大的性能力。但是，如何有效的進行兩類處理器之間的通信則是一個非常關鍵的部分。一個高效的數據傳輸協議不緊能使兩個處理器之間數據傳輸誤差減小，還能保持整個系統合理快速的運行。圖像處理技術非常復雜，這個系統中每一個步驟去除多余圖像信息、圖像降噪、提取目標區域、壓縮目標區域、圖像識別都選擇了相對簡單的算法進行。其實這每一個步驟都值得深入研究。參加此次競賽對自己的查閱資料能力、設計能力、編程能力、動手實踐能力、團隊協作能力以及知識面都有

8、極大的提高。看到最終實現的成果得到的是對自己，對團隊的認可。基于人臉識別技術的智能安保系統第一(dy)部分設計(shj)概述 /Design Introduction隨著信息技術及計算機網絡的發展(fzhn)，信息安全顯示出前所未有的重要性。身份鑒定是保證信息安全的必要部分，在很多領域都需要身份鑒定來達到保護信息安全的作用。傳統的身份認證技術主要是依靠證件、密碼和口令的認證方式，在現代科技快速發展的今天，這些都很容易丟失、破解或偽造，嚴重威脅到個人或公共財產信息安全。近年來，以人臉、虹膜、視網膜、指紋、聲音、基因等人的生物特征作為識別手段的生物特征識別技術漸漸發揮出了很好的作用，這類識別屬于模

9、式識別范疇，相比傳統的識別方式更安全、穩定和方便。其中，人臉識別因具有友好、方便、直接等優點成為一個熱門研究領域。本系統就決定采用人臉識別+密碼輸入的雙保險方式來構建安保系統。第二部分系統組成及功能說明 /System Construction & Function Description1 硬件設計1.1 ov7620 攝像頭本系統是圖像采集與處理系統，所以攝像頭是非常關鍵的一個部分。文采用了Omnivision公司推出的CMOS圖像傳感器OV7620。OV7620結合CMOS技術，采用數字接口，低功率(120 mW)，單電源供電(5 V)，為實現更高質量的視頻圖像應用提供了一種簡單的解決方

10、法。0V7620的功能特點包括：單芯片13”鏡頭，最大664492像素分辨；IzC控制，標準SCCB接口；開窗功能，局部圖像輸出；自動曝光控制、自動白平衡、自動增益控制、自動亮度控制；圖像質量控制，包括顏色飽和度、銳度、伽馬校正等功能。圖一：ov7620攝像頭本系統選取OV7620作為采集模塊的原因主要是OV7620圖像傳感器是CMOS彩色黑白圖像傳感器，支持連續和隔行兩種掃描方式，VGA與QVGA兩種圖像格式，幀速率可達30 fps，數據格式包括YUV、YCrCb、RGB三種，其中有我們作為看重的YUV模式，其中的Y代表著灰度。OV7620是八位灰度輸出最黑的時候輸出0，最白的時候輸出255

11、。這種特性對于圖像的處理是非常有利的，因為對于灰度的處理方法是很多的。OV7620 接口控制器分為SCCB 總線控制器和OV7620采集控制器2 部分。SCCB 總線控制器用于實現符合(fh)SCCB 總線協議的接口(ji ku)控制; OV7620 采集(cij)控制器根據OV7620 的視頻同步信號實現圖像數據采集?？偩€控制器的作用就是更改攝像頭內部寄存器的數值，通過這樣的配置來設置攝像頭的工作模式。更改數值是通過SCCB協議來實現的，SCCB 是類似I2C 的串行總線協議, 定義了串行數據線SDA 和串行時鐘線SCL, 數據傳輸通過SDA、SCL2 條線上電平的狀態以及二者之間的相互配合

12、來實現。其傳輸時序如圖2 所示。由圖2 可以看出, SCCB 采用簡單的三相寫數據的方式, 即在寫寄存器的過程中先發送OV7620 的ID地址, 然后發送寫數據的目地寄存器地址, 最后發送要寫入的數據。其中具體具體過程就是SCCB_SCL為高電平時，SCCBSDA出現一個下降沿，此時傳輸啟動。在啟動條件滿足后，SCCB SDA為穩定數據狀態，SCCBSCL產生一個正脈沖，將傳送一位數據。當SCCBSCL為高電平時，SCCBSDA出現一個上升沿，傳輸停止。通過SCCB協議配置好攝像頭之后，就可以進行采集控制了。OV7620多種信號輸出。對于我們的系_統，我們只關心其中場中斷信號VSYN、行中斷信

13、號HREF、像素中斷信號PCLK。他們的時序關系如圖三所示：圖三：三個中斷信號的時序關系其中，VSYN 的周期是16.64ms，高電平時間為換場時間，約80us；低電平時間內像素輸出。我們在采集VSYN脈沖時，既可以采集上升沿，也可以采集下降沿，采集下降沿更準確些，這也是一場的開始。從VSYN的周期可以算出，1s/16.64ms=60幀，OV7620的幀率是60幀/s。HREF的周期63.6us，高電平時間為像素輸出時間，約47us；低電平時間為換行時間，因此采集HREF一定要采集其上升沿，下降沿后的數據是無效的。從HREF的周期可以算出，16.64ms/63.6us261，除去期間的間隙時間

14、，可以算出每場圖像有240行。PCLK的周期是73ns，高電平輸出像素，低電平像素無效。PCLK是一直輸出的，因此一定要在觸發VSYN并且觸發HREF以后，再去捕捉PCLK才能捕捉到像素數據。從PCLK的周期可以算出，47us/73ns640，可以算出每行圖像中有640個像素點。在之后的軟件設計中主要就是通過對于這三個信號的使用來完成系統的功能。1.2 VGA 顯示系統采集了圖像，在一定的情況下是需要查看圖像內容的，同時也方便對系統進行控制。本系統才有VGA顯示屏進行(jnxng)顯示。VGA協議(xiy)主要由5個輸入信號(xnho)組成，亦是HSYNCSignal, VSYNC Signa

15、l, RGB Signal。說簡單一點，HSYNC Signal 是“列同步信號”，VSYNC Signal是“行同步信號”，RGB Signal是“紅色-綠色-藍色”顏色信號。VGA的掃描是固定的。一幀的屏幕是由“m行掃描”和“n列填充”組成。掃描的時序是通過行同步信號與列同步信號來控制的，同時掃描的頻率與數據輸出格式也是固定的。掃描時序圖見圖四，掃描頻率標準見圖五。 圖四：VGA時序圖圖五：VGA掃描頻率標準本系統為了配合OV7620的模式特點，采用了640*480，每秒60幀的標準。于超凡；040110362 圖像處理原理與方式（軟件設計）本系統的軟件開發采用模塊化的設計，一共分為四個模

16、塊：采集模塊、存儲模塊、處理模塊、顯示模塊。下面對這些模塊進行一一介紹。2.1 采集模塊通過對OV7620寄存器的配置，攝像頭的工作模式被設定為：輸出像素分辨率：640480；VGA 模式、隔行掃描、16 位YUV(取其8 位Y 輸出)。采集的控制主要就是依托場同步信號（vclk）、行同步信號（hclk）以及像素同步信號（pclk）。所以模塊首先要檢測出vclk的下降沿，此時說明新的一幀的數據發送開始了，使能采集模塊。然后開始檢測hclk的上升沿，檢測到上升沿后說明一行的采集開始了，并將行計數加1。然后開始檢測pclk的下降沿，每來一個下降沿就說明一個像素的信號發送的過來，然后將此數據存入數組

17、中，把像素計數加一。此時要檢測一下行計數是不是已經到了640，如果是的話就要將行計數加一，像素計數歸零。此時也要檢測行計數，若行計數到了480， 圖六：數據采集流程圖說明一幀的數據采集結束。流程圖見圖六。由于圖像的數據量是非常大的，所以不可能也不必要一直采集，所以本系統也加上了定時模塊，也就是說每隔若干幀才使能一次采集模塊，這樣可以減小存儲模塊的壓力。2.2 存儲模塊數據采集中是把每一行的數據暫存在一個數組里，但是如果480 行都存入數組里，數據量會使一般的FPGA 開發板難以承受，所以必須將數據暫存在ram 中。在 xilinx 開發板配套的軟件ISE 中有著豐富的軟核資源，其中就有很多塊存

18、儲器。根據系統的需要，最終選取了其中單口RAM 的IP CORE。圖七就是單口ram 的接線圖。其中DINA 是數據輸入端，ADDRA 是地址輸入端，WE 是寫使能（本系統采用寫優先模式），CLKA 是RAM 的時鐘輸入端。本系統的存儲(cn ch)是這樣設計的：沒到一行的數據采集(cij)結束后，就會使WE 信號(xnho)變高，然后這一行的數據就存了進去，也就是640 個像素點的數據并行輸 圖七：單口RAM入了 RAM 中，然后地址加一，這里的地址也就是行計數。在其余的時間里WE 都是低電平，這個時候RAM 就是讀模式，可以進行讀操作，為后面的數據處理提供數據。2.3 顯示模塊顯示模塊主要

19、分為兩個部分，一個是同步模塊，一個是VGA 控制模塊。顯示模塊的整體結構圖如圖八所示。首先是同步模塊。簡單的說該模塊就是通過對時鐘的計數來控制輸向VGA 顯示屏的信號：行同步與列同步。之前提到過VGA 是有頻率標準的，而且并不是任何時間輸入的數據都是有效數據，在一個周期內有空閑的時間段，只有中間的一部分是有效顯示段。所以同步模塊就根據這些行業標準來進行定時，輸出行同步、列同步信號。同時，于行、列的計數就是VGA 圖像上相應的位置坐標，這與攝像頭采集到的一幅圖像的坐標信息是相對應的，所以很自然地這個模塊也會輸出這種坐標，其中行計數可以作為讀取RAM 里數據時的地址。然后是 VGA 控制模塊。這個

20、模塊的任務就是輸出RGB 數據給VGA 顯示屏。這里RGB 的數據是存在RAM 里面的，之前通過同步模塊輸出的地址信號對RAM 進行了讀取，這里就相應的將RAM 里的數據進行輸出。2.4 處理模塊處理模塊是本系統的核心。人臉自動識別系統主要包括人臉檢測和定位、人臉特征的提取和識別兩個主要部份。人臉檢測和定位，即從輸入圖像中找到人臉及人臉的位置，并將人臉從背景中分割出來，然后才是對歸一化的人臉圖像進行特征提取和識別。對人臉的基本特征如眼睛、鼻子和嘴巴的準確定位在很多人臉識別方法中也是必不可少的步驟，尤其是眼睛的準確定位，這是因為兩眼間距受光照或表情變化的影響最小，所以常被用于幾何特征或臉像尺寸的

21、歸一化標準。本系統主要依靠人臉整體粗略識別與人眼識別兩種方式。首先介紹人眼識別。由于眼睛虹膜、瞳孔部位的灰度值明顯比其鄰近區域(眼部周圍皮膚、眼白)灰度值要低，因此能夠從適當光照條件下拍照的圖像中分割眼睛虹膜、瞳孔部位的灰度值總是存在的，并且不是唯一的，而是有一定的小范圍。然而尋找這樣的最佳分割閾值并不是一件容易的事，眼睛虹膜、瞳孔(tngkng)部位及其鄰近區域的灰度值會因人而異，并隨光照條件、帶眼鏡時鏡片的反光(fngung)而變化，加上復雜背景的變化，使得最佳分割閾值的估計十分困難，但通過圖像灰度直方圖分析和統計的方法(fngf)，對最佳分割閡值可能所在的灰度區間進行粗估計還是可以做到的

22、。若選擇固定的背景和光照條件，由統計的方法可估計出更小的最佳分割閾值可能所在的區間。本系統就采用固定的背景，而且是只拍攝頭部部分（作為安保系統是合理的安排），這樣就大大提升了檢測的水平。具體做法是：首先用某一分割閾值T 將包含人臉的灰度圖像二值化，對二值化圖像進“Majority”形態運算以去除二值化圖像中小的黑斑點，再對二值化圖像中黑色塊進行標記、計算每塊面積(像素數)、確定每塊的外按矩形位置及寬高。人眼位置的判定是根據眼睛在二值化人臉圖像中的幾何位置確定的，主要有以下幾條準則：1)雙眼中心距應在某個范圍內：設圖像尺寸為160 x120，考慮到人臉在圖像中大小的變化，雙眼中心距變化大約在20

23、-50個像素距離范圍內；2)雙眼下方一定距離內不能有其它黑塊：雙眼下方一定距離內沒有其它器官，因此在二值化圖像中不能有其它黑塊，這一特點也是區分眉毛與眼睛的重要判據；3)雙眼中心位置上下相差不超過一定距離：由于人臉在圖像中可能向兩側傾斜，雙眼中心位置常常不在水平線上。作為判據，允許人臉在一定程度上向兩側傾斜，雙眼中心位置在垂直方向相差不超過一定距離(如1 5個像素距離)；4)眼睛黑塊所包含的像素數應在某個范圍內：二值化圖像中眼塊所包含的像素數應在某個范圍內(如5-50個像素)，太大的黑塊不太可能是眼塊；5)眼睛黑塊的外接矩形應是一寬大于高的矩形或接近于正方形：由于眼睛的結構特點，二值化圖像中眼

24、塊的外接矩形常常是一寬大于高的矩形或接近于正方形，眼塊的幾何中心位于圓形的眼睛虹膜(含瞳孔)位置，高遠大于寬的外接矩形對應的黑塊不可能是眼塊；6)與圖像四邊接壤或非常接近的黑塊不是眼塊：由于拍攝人臉圖像時，要求人臉在照片中應完整，且較靠近圖像中心，因此在二值化圖像中與圖像四邊接壤或非常接近的黑塊不是眼塊。在這些原理的基礎上，結合實驗得到的閥值，使用RAM里的數據就可以進行人臉識別了。系統主要是依靠人眼間距來進行人臉識別。在大多數情況下其實是不需要進行麻煩的人眼識別的，粗略的識別就可以完成預定功能，具體來說主要基于對圖像每一個像素點的灰度值比較。對于判斷比對人臉來說，我們(w men)這里是比較

25、簡單的一種方式，因為我們是設計密碼鎖，所以要求解鎖者在指定位置進行(jnxng)人臉的測試，這也就是說圖像中除了人臉的部分，其余的背景是固定的，所以這就為我們進行簡單(jindn)的人臉識別提供了基礎：我們只需要先預存一幅人臉圖像，然后與被測試者的人臉圖像想比對，然后把誤差率與先前設定好的閥值相比對，然后就可以加以判斷了。事實證明，這種方法可以完成多數情況下的識別，可以作為第一級識別，而人臉識別作為第二級識別，這樣既準確又高效。3 系統結構總圖第三部分完成情況及性能參數/Final Design & Performance Parameters作品可以比較好的完成可輸入密碼鎖與人臉識別的功能，并在VGA 上顯示界面與菜單，并可以用PS2鍵盤來控制整個系統。系統運轉穩定、良好。第四部分總結 /Conclusions我們覺得這個作品較為成功的利用了ov7620 的功能，與VGA 和FPGA 結合，做出了具有一定實用價值的人臉識別安保系統，系統能夠較為靈敏地對人臉進行識別，