人工神經網絡

及其經濟管理應用TheApplicationofANNtoEconomics&Management第一章導論什么是人工神經網絡（ArtificialNeuralNetwork）人腦結構對ANN的啟示ANN的特點人工神經網絡的發展歷史ANN在經濟管理領域的應用什么是ArtificialNeuralNetworkNeuralnetworksarecomposedofsimpleelementsoperatinginparallel.Theseelementsareinspiredbybiologicalnervoussystems.Asinnature,thenetworkfunctionisdeterminedlargelybytheconnectionsbetweenelements.Wecantrainaneuralnetworktoperformaparticularfunctionbyadjustingthevaluesoftheconnections(weights)betweenelements.模擬人腦，人工智能（AI）的基礎之一。人腦結構對ANN的啟示Howhumanbrainworks?StimuliPreceptorEffecter人腦結構人腦是由大量神經細胞組成的復雜網絡。神經細胞與神經傳導人腦功能的基礎—神經網絡人腦功能Who？？？？？？對人腦進行模擬的兩條道路黑箱方法－功能模擬－電子計算機白箱方法－結構模擬－智能機器（ANN）電子計算機（或稱為VonNeumann計算機）以邏輯代數為基本原理，模擬人的邏輯思維。人工神經網絡試圖模擬人腦的結構從而得到類似于人腦的功能。人腦與電腦共同點：獲取、傳遞、存儲、處理、輸出信息（知識）。不同點：電腦：程序性、串行工作方式、儲用分離、易損（Robust）、精確性。人腦：單元結構簡單、整體結構復雜；并行處理；具有自主學習能力（環境可塑性）；聯想功能；遺忘功能；復雜決策；高冗余、自我恢復；非線性特征明顯。ANN的特點ANN是AI（ArtificialIntelligence）的一個分支。致力于從結構上模仿人腦的功能。分為軟件模仿和硬件模仿。1、采用大規模分布式結構，通過學習具有非線性輸入輸出影射能力。2、通過學習存儲知識，具有適應性、容錯性及泛化能力（舉一反三）。ANN的基本工作原理從環境樣本中學習，學習的結果存儲于連接之中（不可見），學習的過程叫做訓練，訓練成功的ANN可以用來解決特定的問題。學習的規則是ANN的核心，但學習規則與網絡結構有關，以下是有監督學習的一般工作原理。ANN的軟件模擬—MatlabToolboxMATLAB?isahigh-performancelanguagefortechnicalcomputing.ThenameMATLABstandsformatrixlaboratory.Typicalusesinclude：MathandcomputationAlgorithmdevelopmentDataacquisitionModeling,simulation,andprototypingDataanalysis,exploration,andvisualizationScientificandengineeringgraphicsApplicationdevelopmentincludinggraphicaluserinterfacebuildingANN的發展歷史奠基時期早在十九世紀初就已經有人關注人類神經活動的復制。1943年McCulloch&Pitts發表“神經活動中蘊涵的思想與邏輯活動”成為這一領域的奠基之作，其來源是神經生理學。1946年ENIAC建成，1948年Wiener完成Cybernetics，開創了電子計算機的時代，從不同的方面做出了貢獻。1949年，DonaldHebb提出了著名的Hebb學習規則。Hebb學習規則“如果相互連接的兩個神經元都興奮，則二者的聯系將加強”——“TheOrganizationofBehavior”Hebb是一個心理學家，他的理論一開始并沒有受到工程界的重視。（Why？）但是稍后Rochester等人的研究證明，在引入控制論和信息論（Shannon）的相關約束后，Hebb規則是一貫而通用的，并構成了其他學習規則的基礎。ANN的發展歷史第一次研究熱潮——1950‘s1957年，Rosenblatt發明感知機和ADALineWidrow&Hoff提出著名的最小均方（LMS）算法。但出現了惡炒問題——人工大腦就要問世了！被發現無法解決一個簡單的XOR問題。遭到Minsky和Papert等人的全面否定。沉默期：要命的XOR問題XOR（0，0）＝0XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1(0,0)(0,1)(1,1)(1,0)復興期：DARPA1980年，Grossberg提出解決競爭學習問題的自適應共振理論。1982年，Hopfield用能量函數構造了一種遞歸網絡計算方法——BP網等常用ANN的直接基礎。物質基礎：傳統計算機計算能力的飛速發展為他的對手ＡＮＮ提供了理想的平臺。先進制造工藝使得制造專屬于ANN的硬件成為可能。現實世界對復雜信號處理的強烈需求——美國國防部的DARPA——聲納探測系統。當前ANN在經濟管理領域的應用復雜函數關系分析與逼近－－隱含數學模型預測決策支持系統（神經專家系統）因素（模式）分類與識別優化問題知識工程總之，我們把ANN當做一種方法。第二章ANN的基本原理ANN表達的四個基本要素：1、神經元模型結構2、激活函數類型3、網絡模型結構4、學習算法SimpleNeuronAneuronwithasinglescalarinputand（no）bias神經元模型結構AneuronwithasingleR-elementinputvector

表達為有向圖的神經元模型規則1：信號僅沿著定義好的箭頭方向在連接上流動。規則2：節點信號輸出等于進入節點信號的代數和規則3：節點信號沿每個外向連接向外傳遞并獨立于激活函數。輸入信號向量連接權重誘導局部域加法器輸出