物流人工智能技術技能培訓項目四神經網絡與深度學習任務一神經網絡原理目錄CONTENTS神經元的結構和工作原理PART1神經網路的發展歷史PART2人工神經網絡分類PART3過程與方法：知識與技能：1.了解什么是神經網絡；2.了解神經網絡的原理。在學習動畫視頻的過程中，理解其基本工作原理，了解其實際應用價值。情感、態度與價值觀：1.提升對人工智能的認識，發展辯證思維，客觀認識人工智能技術對社會的影響，培養正確的科學技術應用觀。2.堅定擁護中國共產黨領導和我國社會主義制度。【教學目標】什么是神經網絡？神經網絡能干什么用？神經網絡原理是什么？1.生物神經網絡1000億！一、神經元的結構和工作原理細胞核樹突軸突神經末梢一、神經元的結構和工作原理一、神經元的結構和工作原理興奮狀態一、神經元的結構和工作原理興奮狀態一、神經元的結構和工作原理一、神經元的結構和工作原理2.人工神經網絡生物神經網絡人工神經網絡樹突輸入激活函數權重輸出軸突學習訓練一、神經元的結構和工作原理1.人工神經網絡起源-萌芽期1943年，心理學家沃倫?麥卡洛克（Warren

McCulloch）和數學家沃爾特?皮茨（WalterPitts）發表了神經網絡的開山之作:《AlogicalCalculusofIdeasImmanentinNervousActivity》WalterPittsWarren

McCulloch萌芽期（20世紀40年代）羅素芝加哥大學卡爾納普1949年，認知生理心理學家唐納德·赫布（DonaldO.Hebb）發表了文章：《OrganizationofBehavior》麥卡洛克McCulloch-Pitts模型MP采用手動分配權重的方式Hebb規則神經元學習法則關聯度與被同時激活的概率有關二、神經網路的發展歷史2.人工神經網絡起源-第一次大發展期1957年，弗蘭克·羅森布拉特（FrankRosenblatt），提出了感知機模型，也被稱為是單層的人工神經網絡。FrankRosenblatt大發展期（1950-1968）1962年，羅森布拉特出了本書:《神經動力學原理：感知機和大腦機制的理論》（PrinciplesofNeurodynamics:PerceptronsandtheTheoryofBrainMechanisms）二、神經網路的發展歷史3.人工神經網絡起源-第一次低潮期1969年，明斯基（MarvinLeeMinsky）和MIT教授佩伯特（SeymourPapert）發表《感知機：計算幾何學》（Perceptrons:AnIntroductiontoComputationalGeometry）低潮期（1969-1982）MarvinLeeMinskySeymourPapert“羅森布拉特的論文大多沒有科學價值”批判的方式指出了感知機模型的缺陷，即單層神經網絡不能解決“異或”問題1974年，哈佛大學的博士生沃波斯（PaulWerbos）在其博士論文中提出通過在神經網絡上多加一層，并使用后向傳播學習算法，可以解決“異或”問題。即使如此，由于當時正值神經網絡發展的低谷期，該論文并未引起足夠重視。二、神經網路的發展歷史4.人工神經網絡起源-第二次大發展期第二次大發展期（1983-1995）1982年，加州理工的霍普菲爾德（JohnHopfield）提出以他名字命名的一種新的神經網絡，可以解決一類組合優化問題。JohnHopfield隨后，由心理學家魯梅爾哈特（DavidRumelhart）、麥克利蘭德（JamesMcLelland）和計算機學家辛頓（GeoffreyHinton）等人掀起了連接主義運動，其代表性成果是被稱為神經網絡圣經的著名文集：《并行與分布式處理》（ParallelandDistributedProcessing），帶來了上世紀80-90年代的神經網絡繁榮期。1984年，霍普菲爾德用模擬集成電路實現了自己的模型。二、神經網路的發展歷史5.人工神經網絡起源-第二次低潮期第二次低潮期（1996-2000）1995年，美國貝爾實驗室的萬普尼克（Vapnik）和科爾特斯（Cortes）提出了支持向量機（SVM），SVM快速發展起來，統計學習理論也快速發展起來。由于SVM具有完善的理論體系，其效果也非常理想，再加上神經網絡本身隨著網絡層數的增加，訓練數據的難度也會成倍增加，這些因素使得神經網絡20世紀90年代中后期再次陷入發展的低谷。Vapnik二、神經網路的發展歷史6.人工神經網絡起源-第三次大發展期第三次發展期（2001-至今）21世紀互聯網的快速發展給了神經網絡更大的舞臺，2006年辛頓（Hinton）和學生一起在Science發表了利用RBM編碼的深層學習的論文：《利用神經網絡降低數據的維度》（ReducingtheDimensionalityofDatawithNeuralNetworks），提出了在神經網絡中降維和逐層預訓練的方法，開啟了深度學習領域的大門。Hinton2012年，在ImageNet圖像識別國際大賽中，辛頓的算法把錯誤率控制在了15%以下，超過第二名10%的差距。二、神經網路的發展歷史2018

圖靈獎GeoffreyHinton人工智能教父YannLecunYoshuaBengio加拿大多倫多大學任教谷歌建設著名的谷歌大腦跟隨辛頓從事博士后研究卷積神經網絡Facebook負責其人工智能實驗室蒙特利爾大學任教自然語言領域二、神經網路的發展歷史人工神經網絡發展史神經網絡人工神經網絡生物神經網絡前饋神經網絡反饋神經網絡感知機BP神經網絡卷積神經網絡CNN循環神經網絡RNNHopfield網絡前饋網絡無反饋聯想記憶網絡有反饋二、神經網路的發展歷史【課后小結】神經網絡原理神經元的結構和工作原理1.生物神經網絡2.人工神經網絡神經網路的發展歷史