1、第33卷第5期 光電工程V ol.33, No.5 2006年5月 Opto-Electronic Engineering May, 2006文章編號:1003-501X(200605-0091-04利用神經(jīng)元結(jié)構(gòu)的數(shù)字系統(tǒng)在線進化技術(shù)王永明,王友仁,姚睿,張砦( 南京航空航天大學(xué)自動化學(xué)院,江蘇南京 210016 摘要:現(xiàn)有基于邏輯門的底層硬件進化方法只能進化小規(guī)模數(shù)字電路,由此提出了一種硬件系統(tǒng)級在線進化方法。設(shè)計了一種適合系統(tǒng)進化的神經(jīng)元結(jié)構(gòu),采用遺傳算法(SGA來實現(xiàn)數(shù)字電路的在線進化設(shè)計。以圖像處理算法為例,討論分析了進化參數(shù)選取對進化結(jié)果的影響,驗證了系統(tǒng)級進化方法的高進化成功率、

2、快速收斂性。實驗結(jié)果表明,神經(jīng)元結(jié)構(gòu)的設(shè)計是正確的,所提出的系統(tǒng)級進化方法能用于大規(guī)模數(shù)字系統(tǒng)的在線進化。關(guān)鍵詞:進化硬件;神經(jīng)元結(jié)構(gòu);系統(tǒng)級進化;信息處理中圖分類號:TP301.6 文獻標(biāo)識碼:ATechnology of on-line system-level evolution of largescale digital circuits based on nerve cellWANG Yong-ming,WANG You-ren,YAO Rui,ZHANG Zhai( College of Automation Engineering, Nanjing University of A

3、eronautics and Astronautics,Nanjing 210016, China Abstract:Since the traditional hardware evolutionary methods based on logical gates were only valid to evolve simple digital circuits, a method of on-line system-level evolution was proposed. The nerve cell model suited to digital system evolution wa

4、s designed , and the Simple Genetic Algorithm(SGAwas used to realize on-line evolution of digital circuits. By example of the evolution for image processing algorithm, the influences of evolutionary algorithm parameters and template size to the evolution of image processing were analyzed. Experiment

5、al results demonstrate that the evolutionary method based on nerve cell has high evolutionary successful rate and fast convergent performance, and it can realize on-line evolution of large scale digital circuits.Key words:Evolvable hardware; Nerve cell model; System-level evolution; Information proc

6、essing引言早在1960年,計算機之父馮諾依曼便提出過研制“具有自修復(fù)和自復(fù)制能力的機器”的偉大設(shè)想。1992年,Hugo de Garis等將FPGA與進化算法相結(jié)合,從而產(chǎn)生了可進化硬件(Evolvable Hardware, EHW。目前,進化硬件已經(jīng)成為學(xué)術(shù)前沿和研究熱點。傳統(tǒng)的硬件進化方法1-3都是基于最底層的邏輯門來進化,但這種底層門級進化方法一般只能進化小規(guī)模的數(shù)字電路,這就嚴(yán)重制約著進化硬件所能實現(xiàn)的功能及其工程應(yīng)用的可能性。為了克服這種底層進化方法的缺點,進化硬件的系統(tǒng)級進化方法就成了目前的研究重點。本文提出了一種系統(tǒng)級進化方法,設(shè)計了用于大規(guī)模數(shù)字電路進化的神經(jīng)元結(jié)構(gòu),

7、以圖像邊緣提取、圖像濾波為例,收稿日期:2005-06-17;收到修改稿日期:2006-01-06基金項目:國家自然科學(xué)基金(60374008;南京航空航天大學(xué)科研創(chuàng)新基金(S0271-033光電工程 第33卷第5期92實現(xiàn)了數(shù)字系統(tǒng)的在線進化。1 硬件系統(tǒng)級進化原理 大部分進化硬件是由基本邏輯門(如“與”門和“或”門所構(gòu)成,常見的硬件進化方法4-5是對進化硬件的最基本邏輯門執(zhí)行進化操作的,我們把這種進化方法稱之為最底層的門級進化方法。而系統(tǒng)級進化是高于門級的一種上層進化方法,它所執(zhí)行的進化對象并不是基本邏輯門單元而是一種由基本單元(邏輯單元、函數(shù)單元所組成的一種子系統(tǒng)結(jié)構(gòu),以子系統(tǒng)為核心來進

8、化獲得系統(tǒng)結(jié)構(gòu),這種高級進化過程就稱之為上層系統(tǒng)級進化方法。系統(tǒng)級進化方法存在三種方式:1 變系統(tǒng)參數(shù)進化;2 變系統(tǒng)結(jié)構(gòu)進化;3 系統(tǒng)參數(shù)和結(jié)構(gòu)同時進化。本文主要采取了變系統(tǒng)參數(shù)在線進化方式(內(nèi)部進化,其基本流程框圖如圖1所示。2 神經(jīng)元結(jié)構(gòu)的設(shè)計2.1 人工神經(jīng)元模型簡介人工神經(jīng)元是對生物神經(jīng)元的一種模擬和簡化,它是神經(jīng)網(wǎng)絡(luò)的基本處理單元,是一個多輸入、單輸出的非線性元件,其輸入、輸出關(guān)系可描述為(,1i i n j i j ji i I f y x w I = (1式中 x j (j =1,2,n 是從其它神經(jīng)元傳來的輸入信號;w ij 表示從神經(jīng)元j 到神經(jīng)元i 的連接權(quán)值;i為閾值;

9、f (稱為激發(fā)函數(shù)或作用函數(shù)。 2.2 圖像處理神經(jīng)元結(jié)構(gòu)的設(shè)計 根據(jù)傳統(tǒng)的圖像處理過程,首先設(shè)定卷積模板。模板大小可以預(yù)先確定,將模板中的參數(shù)與相應(yīng)圖像窗口中對應(yīng)位置的灰度值相乘,然后求出積的累加和,最后將累加和跟閾值進行比較,確定圖像窗口中間像素灰度值。通過觀察和分析,傳統(tǒng)圖像處理過程與人工神經(jīng)元模型有驚人的相似之處,因此參照人工神經(jīng)元模型設(shè)計了用于進化圖像處理的神經(jīng)元結(jié)構(gòu)。其結(jié)構(gòu)模型如圖2所示,其中神經(jīng)元輸入信號為圖像窗口各像素灰度值P i (i=0,1,n ,模板參數(shù)W i (i=0,1,n 為連接權(quán)值,t 為閾值,F (·為激發(fā)函數(shù)。圖像處理神經(jīng)元為(,1i i n j i

10、 I F y t i P i W I = (2圖像處理神經(jīng)元結(jié)構(gòu)模型各部分說明如下:1 該神經(jīng)元的輸入信號個數(shù)以及連接權(quán)值個數(shù)是由圖像窗口和卷積模板大小決定。模板越大,其個數(shù)越多;2 在邊緣提取時,圖中t 對應(yīng)二值化的閾值;3 激發(fā)函數(shù)的選取是由進化對象來決定,不同進化對象,其函數(shù)形式不同。本文主要以圖像邊緣提取和濾波進行了進化實驗,它們所對應(yīng)的函數(shù)為=other ,0,255(t I I F i i (3, =10(n i ii i W I I F (4圖2 圖像處理神經(jīng)元結(jié)構(gòu)模型 Fig.2 Nerve cell for image processing2006年5月 王永明 等:利用神經(jīng)

11、元結(jié)構(gòu)的數(shù)字系統(tǒng)在線進化技術(shù)933 基于神經(jīng)元結(jié)構(gòu)的系統(tǒng)級進化方法實現(xiàn)3.1 實驗系統(tǒng)結(jié)構(gòu)圖簡介基于神經(jīng)元結(jié)構(gòu)的數(shù)字系統(tǒng)在線進化的實驗平臺結(jié)構(gòu)如圖3所示。該實驗系統(tǒng)采用了Celoxica 公司開發(fā)的RC1000pp 板卡作為進化電路的硬件平臺。RC1000pp 板卡是基于PCI 總線的PC 機嵌入式板卡,它帶有一個高密度的Xilinx 公司Virtex 系列FPGA 芯片,四個供數(shù)據(jù)處理操作用的2M 字節(jié)SRAM 存儲器,并為兩個與外界進行輸入/輸出的PMC 模塊預(yù)留了地址。 3.2 基于圖像處理神經(jīng)元結(jié)構(gòu)的進化方法本實驗中采用了標(biāo)準(zhǔn)遺傳算法(SGA作為硬件進化算法。硬件染色體為二進制編碼方式

12、,對圖像處理神經(jīng)元結(jié)構(gòu)的權(quán)值系數(shù)(即模板參數(shù)進行編碼。這種二進制染色體的解碼簡單,只要將染色體中對應(yīng)每個參數(shù)的位串依次轉(zhuǎn)換成十進制數(shù)即可。為了評價染色體的適應(yīng)性,本文是將每個個體處理結(jié)果與目標(biāo)進行對比,通過適應(yīng)度函數(shù),計算出適應(yīng)度,適應(yīng)度最高的染色體作為最佳染色體。基于圖像處理神經(jīng)元結(jié)構(gòu)在線進化實驗是通過VC ,DK 軟件、ISE 軟件和RC1000板卡來實現(xiàn)。主要實現(xiàn)過程為:1 首先采用Handel_c 硬件描述語言編寫圖像處理神經(jīng)元結(jié)構(gòu),經(jīng)DK 軟件編譯成EDIF 網(wǎng)表,再通過ISE 軟件進行布局布線生成可配置的位流文件;2 染色體解碼后所對應(yīng)的模板參數(shù)存放在圖像數(shù)據(jù)文件末尾,每次解碼后的

13、模板參數(shù)都是通過讀文件的形式映射到圖像處理神經(jīng)元結(jié)構(gòu)中對應(yīng)的權(quán)值系數(shù),從而實現(xiàn)了變結(jié)構(gòu)參數(shù)進化的目的;3 圖像數(shù)據(jù)的讀取是通過VC 將數(shù)據(jù)文件中的圖像數(shù)據(jù)存放在緩存器Buffer 內(nèi),然后通過PCI 總線傳輸?shù)絉C1000板卡里的SRAM 中,Handel_c 程序中數(shù)據(jù)的讀取是從SRAM 中讀的,其處理后的結(jié)果也是存放在SRAM 中相應(yīng)單元,再通過PCI 總線傳輸?shù)絍C 中。因此VC 和FPGA 之間的數(shù)據(jù)交換是通過SRAM 和PCI 總線進行DMA 傳輸實現(xiàn)的。4 進化結(jié)果的保存是VC 程序完成的。處理結(jié)果存放在.dat 文件中。4 應(yīng)用實例分析4.1 圖像邊緣檢測的進化以圖像處理中邊緣提

14、取算法作為實例,通過改變神經(jīng)元結(jié)構(gòu)中權(quán)值系數(shù)(即模板參數(shù)來實現(xiàn)進化,分析進化圖像處理操作的測試方法、適應(yīng)度函數(shù)的構(gòu)造、進化效果與系統(tǒng)級進化的可行性。1 進化目標(biāo):通過不斷改變神經(jīng)元結(jié)構(gòu)中權(quán)值系數(shù),實現(xiàn)圖像邊緣提取操作并尋求獲得最佳的邊緣提取效果(邊緣真實清晰。2 測試方法:測試的輸入圖像為256×256像素的8位灰度級圖像,其目標(biāo)圖像是與其對應(yīng)的理想邊緣提取圖像,然后通過實際處理后的圖像與理想圖像進行比較來達到評估目的。3 個體適應(yīng)函數(shù)構(gòu)造:在進化圖像處理中,適應(yīng)度函數(shù)是反映實際處理的結(jié)果與理想的邊緣提取目標(biāo)圖像的相似程度。若以d 表示實際圖像與目標(biāo)圖像之間像素灰度值不同的像素個數(shù),

15、則適應(yīng)度為d f 1= (5 4.2 實驗結(jié)果分析實驗中,待處理的輸入圖像如圖4所示,采用3×3卷積模板進行進化實驗,模板參數(shù)變化范圍為(-8,8,圖3 實驗系統(tǒng)結(jié)構(gòu)Fig.3 Experiment system configuration光電工程 第33卷第5期94閾值為50,實驗參數(shù)的設(shè)置如表1所示。在50次進化實驗中共收斂48次,最優(yōu)個體所在代數(shù)為160,適應(yīng)度為1.265983e-004,染色體編碼為算法參數(shù)對進化過程的影響如表2所示,其中收斂率指收斂次數(shù)與總進化次數(shù)的百分比。實驗統(tǒng)計平均為50次,設(shè)置種群為50,終止代數(shù)為200。 由表2可知,交叉率取0.800,變異率取0

16、.007時,收斂率較好。若變異率和交叉率太小,則收斂速度慢。若終止代數(shù)設(shè)為1000代,收斂率有所提高;而選取的變異率和交叉率太大時,搜索過程近似為隨機搜索,則收斂速度有時比較快,有時比較慢,但收斂率低。 4.4 模板大小對進化結(jié)果的影響在進行圖像處理時,是將一定大小的卷積模板與對應(yīng)大小的圖像窗口進行卷積運算后,運用一定規(guī)則來修改圖像窗口中間像素灰度值,然后不斷移動圖像窗口逐個處理,直到處理完整幅圖像。由于每次修改的像素是圖像窗口中間像素,因此在處理結(jié)束后,必然存在未被處理的像素,且都分布在圖像邊緣處。這種像素數(shù)量將會嚴(yán)重影響染色體適應(yīng)度值大小和進化效果。未被處理的像素越多,進化的效果越差。對于

17、N ×N 大小的圖像,采用n ×n 大小的模板進行進化實驗,未被處理的像素數(shù)量(N p 為2p 1(1(2=n n N N (6因此,由于存在這種未被處理的像素,使得所求染色體適應(yīng)度值不可能趨于無窮大,而存在一定上限,上限值大小是隨著模板尺寸增大而減小。要消除這種影響所采取的措施:在適應(yīng)度函數(shù)中,去掉未被處理的像素個數(shù),適應(yīng)度函數(shù)如式(7所示(1p N d f = (7結(jié)束語本文所設(shè)計的用于進化圖像處理的神經(jīng)元結(jié)構(gòu)是合理的,所提出的數(shù)字系統(tǒng)在線進化方法是可行的,且具有速度快、效率高等優(yōu)點。硬件系統(tǒng)級進化方法不僅可實現(xiàn)圖像邊緣提取和圖像濾波的進化,還可以實現(xiàn)更大規(guī)模電路和復(fù)雜

18、算法的進化,從而克服了底層門級進化方法只適用于進化基本門級或寄存器級小規(guī)模電路的瓶頸。進一步將探索更靈活、功能更強的變系統(tǒng)結(jié)構(gòu)進化、變參數(shù)與變結(jié)構(gòu)混合進化的系統(tǒng)進化方法。 (下轉(zhuǎn)第121頁表1 進化參數(shù)設(shè)計Table 1 Design of evolutionary parametersParameter Value Chromosome length 36 Generations evolved 400 Crossover rate 0.85 Mutation rate 0.01表2 算法參數(shù)對進化結(jié)果的影響Table 2 Influence of algorithm parameters

19、on evolutionary results Crossover rate Mutation rate Convergence rate Best fitness0.800 0.007 96% 1.265983e-0040.950 0.010 72% 8.217602e-005圖5 最佳個體的模板Fig.5 Template of best individual 圖Fig.7 Change of fitness about typical individual圖6 進化結(jié)果圖Fig.6 Result image圖4 原始圖像 Fig.4 Initial image2006年5月樓文高等:建立

20、CRT色度變換的神經(jīng)網(wǎng)絡(luò)模型 121樣本實時監(jiān)控訓(xùn)練過程,避免了“過訓(xùn)練”現(xiàn)象。對于本例研究的343個訓(xùn)練樣本,采用3-10-10-3網(wǎng)絡(luò)結(jié)構(gòu),216個檢驗樣本的平均轉(zhuǎn)換色差接近0.6個CIELUV色差單位(文獻5為1.53個,屬于小色差范圍,因而可以滿足絕大多數(shù)實際應(yīng)用要求。分別只有3%和7%的樣本的色差超過2個單位和1.5個單位。因此,無論是色差均值,還是出現(xiàn)較大誤差的概率來看,本文的結(jié)果均明顯好于文獻5的結(jié)果。過分增加隱層數(shù)或隱層上的節(jié)點數(shù),雖然能明顯減小訓(xùn)練樣本的誤差,但并不一定能減小非訓(xùn)練樣本的誤差,而且訓(xùn)練時易出現(xiàn)“過訓(xùn)練”現(xiàn)象,導(dǎo)致模型泛化能力變差。參考文獻:1 David L.

21、 POST,Christopher S. CALHOUN. An evaluation of methods for producing desired colors on CRTJ. ColorResearch and Application,1989,14(4:172-185.2 Shoji TOMINAGA. Color control using neural network s and its applicationJ. SPIE,1996,2658:253-260.3 Shoji TOMINAGA. Color Notation Conversion by Neural Netwo

22、rksJ. Color Research and Application,1993,18(4:253-259.4 CHANG P R,TAI C C,YEH B F. Model reference color reproduction for video systemJ. SPIE,1994,2170:182-190.5 廖寧放. 基于神經(jīng)網(wǎng)絡(luò)的CRT色度變換方法D. 北京: 北京理工大學(xué),1999.LIAO Ning-fang. CRT Conversion Method Based on Neural NetworksD. Beijing: Beijing University of S

23、cience and Technology,1999.6 魏海坤,宋文忠,徐嗣鑫. 基于結(jié)構(gòu)分解的神經(jīng)網(wǎng)絡(luò)設(shè)計方法J. 自動化學(xué)報,2001,27(2:276-279.WEI Hai-kun,SONG Wen-zhong,XU Si-xin. Algorithm for Neural Networks Design based on Structure DecompositionJ.ACTA Automatica Sinica,2001,27(2:276-279.7 閻平凡,張長水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算M. 北京:清華大學(xué)出版社,2000.YAN Ping-fan,ZHANG Chan

24、g-shui. Artificial Neural Networks and Simulated Evolution CalculationM. Beijing: Tsinghua University Press,2000.8 張青貴. 人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論M. 北京:中國水利水電出版社,2004.ZHANG Qing-gui. Introduction to Artificial Neural NetworksM. Beijing:China Waterpower Press,2004.9 STATSOFT.STATISTICA Neural NetworksZ. Tulsa:Statsoft

25、,Inc,1999. JJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJ (上接第94頁參考文獻:1 趙曙光,楊萬海. 基于函數(shù)級FPGA原型的硬件內(nèi)部進化J. 計算機學(xué)報,2002,25(6:666-669.ZHAO Shu-guang,YANG Wan-hai. Intrinsic Hardware Evolution Based on a Prototype of Function Level FPGAJ. Chinese Journal of Computers,2002,25(6:666-669.2 HOLLINGWORTH G,TYRRELL A,SMITH S. Sim