神經網絡硬件方面的調查研究智能計算作業姓名：張可新學號：12171020文獻摘要在過去的十年中，并行人工神經網絡模型的硬件開發設計很多。本文旨在對人工神經網絡硬件進行回顧述。介紹硬件規格、執行評價等神經網絡的基礎技術，介紹人工神經網絡主要結構類型。詳細描述了CNAPS（連接網絡的自適應處理器）和SYNAPSE-1（神經算法在并行脈動陣列中的合成）兩種神經硬件以及一些神經網絡硬件的應用。討論了神經網絡硬件的未來發展與挑戰。一、介紹在過去十年，神經網絡的硬件有了迅速的發展。神經網絡硬件設備被認為在一些領域中上具有發展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經網絡硬件通常被認為是實施神經網絡結構和學習算法的設備，特別是那些具有神經網絡所固有并列屬性的設備。一、介紹在過去十年，神經網絡的硬件有了迅速的發展。神經網絡硬件設備被認為在一些領域中上具有發展空間，如圖像處理，語音合成分析，模式識別，高能物理等。神經網絡硬件通常被認為是實施神經網絡結構和學習算法的設備，特別是那些具有神經網絡所固有并列屬性的設備。本文概述了神經網絡硬件結構的發展現狀，介紹了神經網絡的硬件規格、分類、結構種類、設計方法以及最新的發展狀況以及實際應用。對神經網絡硬件的發展趨勢進行了討論。二、人工神經元模型和神經網絡

的結構人工神經元模型輸入權值判定神經元是否被激發輸出二、人工神經元模型和神經網絡

結構人工神經網絡結構圖2：(a)多層饋送神經網絡(b)遞歸神經網絡第一層神經元是從前一層得到的輸入，其輸出會作為下一層的輸入。連接神經元到同一層或前一層的結構成為遞歸神經網絡。三、神經網絡的硬件與軟件神經網絡軟件當所處理的任務不需要非常快的運行速度時，大多數神經網絡設計師的解決方案，是采用軟件應用于電腦或工作站上，而不是尋求特殊附加硬件去解決。即使是最快的串行處理器也無法提供實時響應和對大量的神經元、突觸的網絡學習。三、神經網絡的硬件與軟件神經網絡硬件多個簡單處理單元并行處理，可以提供巨大加速。當硬件實現時，神經網絡可以充分利用其固有的并行性，并且其運行量級遠遠大于軟件模擬。一般來說，神經網絡硬件設計人員所采用的方法有兩種。一種方法是建立一個普通但較貴的系統上，這個系統可根據不同任務重新編程，如自適應解決方案CNAPS[15]。另一個辦法是建立一個專門的廉價芯片迅速有效的處理一件事，如IBMZISC[16]。四、模塊表示法及其規范四、尚模塊鹽表示究法及導其規槍范激活撞模塊個，是侍執行wj、xj相乘盈并且碑對各勸相乘跟組求銹和，掃它是枯位于鈔在神嗓經元墊芯片澡（或龜神經用元計廉算機悔的處車理單找元）絹。其他匪模塊梅，即箏神經把元狀糕態塊煎，權護值模深塊和滑傳輸合功能陪模塊偷均可迎以設恩在芯夏片上虹或芯帝片外猜，其化中一柜些功侄能可劫以由孩主機網執行隙。這線些模撈塊之師間的族數據味傳輸紗是通逢過芯吃片上筍的控距制單聞元控闊制著患。而斯控制賽參數傻是主獻機用壇來控貨制硬節件的白。四、調模塊吊表示路法及年其規麻范數據俱流是用權值慨模塊潔中的黃權值咳，外趴部的豬輸入鋼或從病相乘涌后的溝輸出宴結果心作為吳的輸奏入，命在激拔活模逼塊概業括出帖結果環，并低通過剃轉換氣、總潑和以框上結做果在揉神經銳狀態弊模塊植中得丑到輸餃出。四、球模塊滿表示躁法及寫其規戶范傳遞稍函數對于血多層聯感知從器和Ho究pf敗ie僑ld搭(霍普渠菲爾)神經痛網絡骨（例型如[斧18從]）的樹傳遞住函數督可能臥是一含個閾紙值，蒼線性誰，斜臟坡和寒雙彎絕曲函荒數。Ko柏ho瓦ne銀n網絡胞（例利如[免19洲]），犬通過逃激活肌模塊似計算艇要符各合輸鋒入和隙權重蛋向量餃的歐鼓式距跪離。四、濕模塊丙表示林法及因其規奇范規范對于矛量化列神經景網絡依硬件擺性能沾傳統秤的方艦法是鋒在單眉位時衰間測粘量乘便法和該累加密計算薯數目栗和權古值更勸新率惕。這叮兩種倆測量瀉方法麥有些鍛符合MI候PS或傳抽統系絞統中郊的MF慎LO惱PS測量五。他饒們只梁是提桿供一頂種指勒示，勤必須楊對不爸同精濾度和上尺寸播進行饒細心涉比較煎。由于樓缺乏鉗有效林的、返便攜壺的軟協件，碑因而備沒有簡盡力摩去做閑出一張個與蛙神經濃網絡議硬件驚相適旅應的奸綜合膚基準考。五、衫神經腥網絡鉆硬件練分類分類皮標準太：神罰經網芬絡硬羅件根總據不威同屬剛性對跪神經絨網絡容的硬拒件進怎行分穿類，著如系眉統結準構、算并行花度、罰處理真器間塵通信口網絡磁、通魯用或聯專用伙設備怒、芯圣片上稱運算邁或不張在芯殘片上稻運算浸等等繼。基于惕并行幻玉度，神神經臭網絡馬硬件屠可分卡為4類：猛粗粒吵子，捷中粒方子，脹細粒干度和聲大規召模并該行處膊理[巴24正]。五、舉神經膚網絡盲硬件密分類對文辣獻[辣5懼]所提獵出的楚方案螞進行救分析陳，將遺神經倍網絡割硬件棟為四脫大類滾，如揮圖所獵示。基于澡集成刺電路伸標準支，神灰經元顧計算管機首叮先分至為兩貼大部堡分。巡壽一部努分主常要加刪速器桂板和策并行趁多處梅理器刺系統崖組成論的。哈加速珠器板罰，可沃以加想快傳酬統電預腦如替個人犯電腦村或工期作站獵；并凳行多暮處理鎖器系洞統，秘可以拿單獨暈運行漂，也測可通獄過計表算機稱主機運對其憶監控雀。另陽一部帆分是升建立姿在專稱用神丈經元AS需IC（專嫂用集峰成電靈路）宰上的牢神經周元芯名片。媽這些辰神經俗元芯隙片可帝以是掏數字掙，模蝕擬，箏或混予合。五、戀神經長網絡嗽硬件鞠分類加速享器板婦介紹加速絹器板懶是最租常用侮于神朋經元百的商漸業硬板件，誰因為頑他們勇是相惕對便夜宜的衰，應還用廣熄泛，參連接禮到電弊腦或繩工作峰站較汁為簡目單，孕并且侄可以洲提供激用戶利友好孝的軟扇件工校具。規它們結插在道擴展雖插槽留，用乖于加搞快神奸經網顫絡計嗚算。衰可實欲現的逢加速大，是鑒一個常數量隸級與駛連續善實現李的比笛較。謙加速宣器板起通常換是采灘用神促經網芒絡芯緩片，剛但有牲些只刑是使下用高燃速數時字信諷號處絞理器乓（數峰字信起號處捏理器嫌），算它們饒可很懂快處迫理多按重累遼積的泉操作焰。加給速器釋板的肥一個駝缺點碌是他削們為馬某個位具體灘任務象設定零的，餡因而軟缺乏謠靈活隆性、度不適銜應其浙他新騎范例捧。五、羽神經殘網絡壟硬件刺分類加速強器板旱實例加速吊器板堤的一核個很螺好實遞例就堡是IB洪M醋ZI跌SC回I胖SA和PC盾I卡。ZI亡SC傾0營36芯片粒是IB友Me折ss素on祥ne縱s實驗嬌室開娃發處仁理的[聽16繭]。一孔個單ZI糠SC加0偏36擁有36個神奸經元懼，或旺原機蘇，通慈過RC飼E（或RO漢I）算雅法訓帖練實稈現。IS克A卡包銷含16冊Z買IS涼C晝03宿6芯片拐，提診供57悠6個原均機神耗經元縱。PC其I卡可咽容納19芯片獻，68幫4個原第型。PC錯I卡每遣秒可縱以處運理16都50閱00種模煌式，唯每種演個模未式是64個8位的施元向謙量。其他固加速主器系黎統，鄙包括SA但IC演S黨IG堅MA李-1見[戒25啊],Ne榆ur勤oTu菜rb燥o秤[2破6]棋,塌HN趕C協[2摧7]等。五、啟神經共網絡執硬件受分類對通巴用處盞理器族的神公經元蓮計算增機的橡建立通用射處理華器為摧神經銅元功來能可猴通過鏡編程狼實現參。由狹于其鍵廣泛國的可暴用性循和相良對低甜廉的莊價格傘，許粉多神馳經元杯計算領機用舅通用梅芯片題進行奶組裝目。從襯簡單傻結構設，低泊成本典單元落（例毯如在BS鹿P4解00摘[堪2徐8棟]和CO慘KO桑S[盤2華9銀]）到協像晶燭體計績算機向那樣繭相當收復雜葵處理任結構剖的實萌現，臉它們礙的并屠行輸鋼入/輸出成線[需30濁]、數猶字信失號處湯理器習是獨咐特的末。對于悠許多稼處理蹦器而屠言尋矮找好攜的一夜個互必聯策襪略被望證明婦是一鴿個復香雜的鈴問題下。然期而，剝許多影關于滅這些儉大規麻模、教并行依計算浙機結楊構的橋知識涂可以熄于神賄經元慘結構六的設慢計。五、感神經妹網絡唉硬件跡分類對通恨用處肆理器章的神爭經元口計算筍機的翁建立我（序實例幟）RA濃P（環默陣列近處理再器）[秒33騙]是由常通用絹處理搏器構相造出服神經劑元處井理器桑的一莊個例淋實例乓。它育是在IC籃SI（國泥際計弱算機辛科學槐研究俘所，科伯克肆利，林加利剃福尼彈亞州繪）研雕發出鹿的，慚并且責自19佩90以來燈它是縫作為顆開發償語音碌識別棵中的容連接憂算法韻的一揚個重機要部溝分。RA血P是由激一個4荷MB的動屯態隨柿機存蜓取存爬儲器維和4—竟40個具恒有25毫6千字翅節快沸速靜皇態存鄭儲器五的定呼點數啞字信填號處品理器TI釘TM遮S3受20棟C3擱0組成衡。這岡些芯銅片通推過Xi囑li踩nx公司粱的可聾編程免門陣辣列（PG絨As）進店行連授接。夫這些納芯片哄是通攏過一園個連紡接環暖連接垂成可漫編程哈門陣挖列，板每個厭芯片義執行憐一個耽簡單綠的數捧據管陶道。歷此外養，每鵲板有爺一個船虛擬某機環刻境總傳線的怕邏輯鑰接口安，允辮許它罪連接員到主投機上驗。RA襖P的軟蹲件支波持需糊要一錯個具巴有命亭令解舒釋器梨的工果作站芹，C標準鄙環境扣的工齡具和必一個謊矩陣央、向監量庫麥。在塌前處集理中脆計算單一個守多層念感知寧器網揀絡，唐一個輔簡單寶的板炭就可米以每棟秒運崗行57兆周碗，而浴處理瘦反向憐訓練站可以材每秒惜運行13張.2兆周碌。五、水神經河網絡脈硬件而分類神經躬元芯檔片實現犯神經喊元功輕能采棍用的孝專用稿芯片麗需設企計專革用的跟電路壓。通狐過比裕較通張用處服理器鑄執行爛的2階幅烏度，鹽神經菊元芯賤片提蹄高了頓神經揚元交榮互時扛間。胸設計鼓神經棵元芯偽片可退以選棉擇一悠些應賣用技仙術。珍其主禍要區幸別在塵于選葉擇了數一個遍全數睜字化象，完闖全模拔擬，念或混次合的沈設計軌。一些劫實例龜表明廢直接鑄在電傘路中州執行她改變候了原蕉始計鄙算機帽單元董（模悠擬或陡分析踏）確歉切功凡能。秋這主溜要是狂由于愛精度僻的有死限。村有限姜的精不度對沉原始強模式巡壽的運胡作具阻有非柱常大壞的影杏響。偉為構效造出印大規臂模的顯執行叨機構袍，許擁多神江經元蒙芯片益就必廈須互鼻聯。掩因此盒一些詳芯片濱就用鏟于專已門的區通信結通道低。其匠他的舟神經棄元芯早片就糧被專具用通宗信元修件互起聯了妻。五、圍神經績網絡詢硬件怖分類數字頓神經案元芯哲片數字辛神經史元專悄用集徒成電府路（AS稠IC）是糧強大陷和成胳熟的艷神經井元芯搜片。勻數字軌技術騰提供僚的高艷精度搖，高研可靠勞性，著高可擾編程極性。梳此外組，強處大的練設計殊工具寒對數磁據全湊、半爪定制歡設計怕是有頃效的凱。缺珍點是盲與模盟擬實宇現相池比，擦具有攀相對糞較大節的電京路尺獎寸。千突觸獎權重蛛可以粉存在余芯片鼠上也墊可不團存在嘗芯片最上。慌這是基權衡甚速度容和大阿小來港選擇蛇的。五、饅神經單網絡洋硬件抄分類模擬繪神經沙元芯悄片模擬縣電子棕技術抵有一鐮些特通性是垮可以偽直接少用于頁神經書網絡離的實并現。棄例如柳，運選算放啟大器廈，可狹以很單容易攀用晶砍體管鬼構建噸，可田以自塔動運返行神纖經功盡能，福如集扔成與抽雙彎援曲線榮轉換娘。這些撞密集督型計規算，凍可以濤通過莊物理慈過程羨自動定執行朱，如第集合條電流使或電陡荷。允模擬霉電子局技術受是非練常緊芒湊，欄且可姻在低奔能耗假條件貧下提遠供高倒速運弓轉。脆根據它目前游最先至進的設微電斑子技套術，季一個碧簡單夸的神格經元悲可以克把10訓00多個豆神經壟元聯內想記衛憶芯鬧片和10初0多個喂輸入芹集成瞇到一置個10孩0G守CP壞S的芯普片上指。五、姿神經普網絡庫硬件個分類模擬纏神經躺元芯幕片駛（優風缺點價）模擬深技術墊的缺咳點是賴對噪錫音和擔工藝閑參數強變化滅容易肚產生臘變化詠，從烈而限津制了恭計算撤精度罪。除嘗了設誼計模塊擬電啊路的單困難鐘，如辱何表籌示可蘆適用雜的權翁重問臉題也巴限制僻了模舟擬電親路的咬應用仿。盡管銜模擬市芯片慘不能奸達到君數字仁芯片脖的靈飼活性殼，但蘆其速筋度和駱緊湊炭，使樣模擬餃芯片梳在神扣經網挎絡的效研究枝中占毯有一抱席之刃位，介特別侍原神勤經網晨絡模膏式自撕適應嫂特性扶的模鴨擬芯民片。煮最后兵一個娃有價店值的柄優勢循是可籃以與挨真實希的模傾擬世錘界直絨接接保口，付而數脫字實確現將厭需要茂一個錢快速禮模擬餅數字紙轉換閘器讀只取世躍界信蠻息，挎和一析個數敞字模揮擬轉侄換器馬把數折據轉荒換回嶄世界若信息稻。五、判神經奪網絡興硬件飼分類合成能神經田元芯權片數字販和模帝擬技竟術具溉有獨恢特的甘優勢臘，親但他座們也妥存在遞缺點衡，主援要是花關于墓神經爹網絡方實現涂中的貌適應粥性。采數字扁技術項的主鬼要缺喝點是室相對享計算閱緩慢聰、硅旨的使埋用量倒大和使倍增勸電路徹的大李功率掠。模撐擬技待術的全缺陷緣瑞是對給噪聲適的敏川感性有、對昌干擾鄙和過援程變譜化具從有易膝變性濫。對彼這些吉過程喜的執儲行采央用正辰確的午模擬躁和數陶字技決術混捎合是耍非常梢有利切的。賄為了圈獲得稿兩種愛技術寨的優它點，則并避綢免主爆要缺懲陷，火一些組研究季小組挖已經祥實施倦了混輛合系塞統。五、史神經愧網絡糕硬件縫分類合成絹神經等元芯辛片抬（舉志例）AN蝕N（模心擬神脖經網扁絡的陶算術豆和邏牢輯單鼠元）煌芯片幕。Ep禿si到lo渡n[譯4削2怠]芯片罪是一剖個種統混合叫型神雙經元筒芯片樹，用縮慧于脈課沖編填碼技污術。最近唱用于炸脈沖烘流技簽術的己神經勿元芯刮片是PD匯M（脈忌沖密勁度調綱制）男數字桌神經貍網絡份系統[4呢3]。六、書案例辭分析CN圍AP典S最廣夫為人接知的謊商用薦神經漸元計袋算機CN械AP剩S（連愁接網峽絡的伏自適卷應處聯理器羨）[案15含]是自禿適求寨解。CN晉AP征S系統寨基本如構造異模塊旨是神寧經元虧芯片N6虹40襖0。如脫圖所古示，喜該N6央40溉0本身內由64處理知單元斬（簡條稱處砍理節刑點）涂組成各，它貸們通類過在軋一個SI焦MD（單已指令心多數符據）牲模型卡中的續傳播過總線怖相連額接。糖雙8位總耗線可描以將兔輸入燥輸出切數據園傳到斯所有歲的PN中。CN注AP碑S結構興的一樓大優咬勢是郊系統百的可胡擴展甜性：房誠由于稻傳播允總線盟，處嘆理器疾間通漆信和SI雞MD模式書，和N6鼻40正0芯片娛均可捐以很拖容易憑地添憲加。六、廊案例姓分析SY秤NA垃PS污E-品1SY蠻NA充PS耀E-棋1是由8個MA汪-1亂6芯片緣瑞連接重到兩漆根并航行環僻上，店通過2個摩禮托羅渴拉MC懇68貧04脆0處理淘器控溜制。戚權值趟是存歪儲在謠一個鄭外芯駱片DR鋤AM，它闊總計凈達到12腸8M字節模并且擔通過非擴展塵可達俊到51余2M字節策。神施經網印絡是關映射顏到前畢一階躺段的SP年-并行林，和很學習育階段尼的NP膚-并行私。神呆經元該傳遞煙函數綁是用現查表意法在期外芯岔片上待計算撈。特逆別是詠高容肯量的鑄在線要權值籍存儲流器可與以作蝴為SY疫NA墨PS樂E-蓮1來處肌理復躍雜的雨應用淚。不同竹于CN璃AP親S中的掀簡單SI狼MD結構海，編襯寫SY傅NA砍PS倆E-燭1程序低是困卻難的旦。雖尤然有壞神經綁算法什程序廁設計其語言插可用公，但銳相當劃復雜防的處胳理單蝦元和初脈動著陣列冰二維僅結構侍對直廳接編謎程造時成影貴響。七、棒神經理網絡慘硬件燃的應乘用神經悲網絡高的硬椅件應垃用于峽實際桂和獲殺利已巷經越教來越侄多了掏。本磁節說棵明其財在光絹學字逢符識徒別（OC刻R），套語音死識別服，神競經形員態系翅統和倡高能悟物理唱的應纖用。七、輕神經怪網絡準硬件無的應飽用光學進字符騎識別光學頁字符報識別園已成確為一趟個神猶經網誕絡最報大的歉商業桃應用陵。現陷在購神買一笨個新問的掃培描儀垂通常艱包括僚商業得光學版字符冷識別屑程序押。把補圖片肢文本挑轉換種到文臭本文坡件，盼很多孔或更卷多的敵步驟仍必須傲通過繭光學六字符腫識別奏程序朽完成霞，包腸括清齊理圖畏像，挖分割眼字符禁，特敏征提類取，絕分類陰和校電驗字體符等漿等。塌大多孩數的鍬光學段字符絕識別蠻程序鍬通過AN店N選擇飾完成居一個鑄或多亮個光扣學字狗符識響別步脫驟，廁而其違他步拴驟中碧所使寨用的鳴技術烏有傳跟統的剩人工芽智能聲（IF腰-T含HE強N規則樂），著統計兆模型花，隱太馬爾污可夫蘿模型壩等等哈。光學負字符蠟識別圾的神震經網刷絡硬臥件闡雨明了遣兩點全：高駱通量畏，需妙要高洽性能架專用紹硬件深；消社費產縱品，蜘必須嫌采用紛廉價云的專元用芯趣片。七、沖神經廉網絡盤硬件盈的應訊用語音授識別傳感益系統閉元件和在語昏音識州別神干經元珍芯片揮中是看很專停業化阻的[壤46導]。芯課片的窯成本纖只有閘幾美笨元。昨芯片懲可識俗別有命限的伶詞匯頭，例頌如10列-1耀00個單湯詞。鞭其目唉的是爹便于叫為消徑費者裝應用膚，如束手機孝、玩狗具等臨。它向們涉伍及原器聲信火號變堤成頻綠率和丈送入聰神經治網絡狀的單扭獨變朵換表盼示。呀神經皂網絡嚼的結烤構進倦行非低線性命貝葉凝斯分舉類。容訓練節數據傾包括駕一個30承0礙–售60吧0個聲利音的致潛在感用戶套樣本旦語言嗚庫。七、萄神經躺網絡衛硬件嶺的應烘用神經竄形態鍛硬件神經巨形態憐是指絕與生狼物神緩經系蘇統的組結構怠和功徹能密壞切相哨關的值系統吳，如稿：硅反視網文膜和謙模擬張耳蝸[漢47壺]。這打種裝譜置主除要是呀模擬跌，特頌別是援在前撞端傳紙感器示階段失。一由個成慘功的稈商業坦產品煮是突臉觸觸消摸板[碰48鞠]。它譯是一杯個很槍小但琴非常鴨靈敏餅的觸癢點，赴可以茶感察仇到人幅手在疏其屏稍幕導之航、伴光標紅移動臂、互棒動的濃輸入刮板上竿的移只動位楚置。貿突觸甜觸摸乖板就珠是用決了在撤視網階膜和淚觸摸筍研究總的思駝路，霸尤其輕神經說元的披輸出季是受揀其連赤接到滋其他盡附近滲神經鉆元的膀影響心。該薯觸摸搭板可鎮以用賄在多載種應劇用，車其應技用是壩需要盼一個脾薄，鳳穩健李，準聰確，姨易于香使用我輸入槳和導宇航設拖備。神經誼形態要設備脊和觸喂摸板川一樣折，在廣轉換親成數竄字信床號前揀，要莊做很雄多前音端處脖理擬爺電路例，因險而具罪有低晃帶寬肺要求旱。七、腰神經殲網絡組硬件只的應這用高能危物理街在線績過濾怪器高能心物理控實驗愁涉及綠亞原覽子粒有子碰神撞，帆如質甚子與泊電子咳，粒鍵子加確速器葉。碰槽撞區龜域內丙，大鍛型的凝傳感西器可禽以檢家測到欣在碎罷片中殲排放防出的謀粒子貼。大刻多數將碰撞軟是很錦短的耕，通狼常不膨會產狂生任扛何有蝦興趣虛的東職西。攻