Chapter1汽車自動駕駛技術概述第一章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第2頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第3頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述汽車自動駕駛技術原理及愿自動駕駛汽車是指搭載先進車載傳感器、控制器、執行器等裝置，具備復雜環境感知、自主決策、運動控制等功能，可實現“安全、高效、舒適、節能”行駛，最終替代人類駕駛員并實現自主駕駛的新一代汽車。自動駕駛技術因為具有提升交通安全、增強道路通暢、減少燃油消耗的巨大潛力，受到學界和業界的廣泛關注。麥肯錫報告顯示自動駕駛的全面普及可將交通事故發生率降低至原來的十分之一。蘭德公司預測自動駕駛汽車可提升30%的交通效率，減少67%的碳排放量，潛在的經濟與社會效益顯著。4第4頁汽車自動駕駛的分級第5頁汽車自動駕駛的分級中國汽車工程學會分級第6頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀第7頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀1956年推出的FirebirdII，是世界上第一輛安裝自動導航系統的概念車，神似火箭頭的造型很容易讓人聯想到已經實現自動駕駛的飛機。第8頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀2004年~2007年間，DARPA在連續組織了三屆無人駕駛汽車競賽，在推動自動駕駛技術方面發揮了重要作用，激發了全球范圍內的研究和開發，圖為DARPA2005競賽冠軍斯坦福大學的Stanley賽車。第9頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀20世紀80年代開始，美國卡內基·梅隆大學、斯坦福大學、麻省理工學院等著名大學都先后加入無人駕駛汽車的研究工作中。其中，美國卡內基·梅隆大學研制的NavLab系列智能車輛最具有代表性。進行了多次自動駕駛測試，其中包括在高速公路上的自動駕駛行駛，開發的NavLab-11，如圖，最高車速達到了102km/h。第10頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀1987年至1995年期間，德國慕尼黑聯邦國防大學研發的VAMT和VITA智能車，該車輛最大時速為158km/h，可以實現車輛自動超車、跟隨等功能。2001年，歐盟開展了CyberCars/CyberMove智能車項目，該系列智能車采用激光掃描技術，可以完成障礙檢測、車輛跟蹤和自主導航。1998年，意大利帕爾馬大學研發出ARGO智能車，2010年，ARGO試驗車沿著馬可·波羅的旅行路線，全程自動駕駛來到中國上海參加世博會，行程達15900km。2013年，ARGO試驗車在無人駕駛的情況下成功識別了交通信號燈、避開行人、駛過十字路口和環島等。除了科研院校在無人駕駛領域的積極研究外，奧迪、福特、沃爾沃、日產、寶馬等眾多汽車制造廠商也于2013年開始相繼在無人駕駛汽車領域進行了布局。第11頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀2018新款奧迪A8是全球首款量產搭載Level3級別的自動駕駛系統的車型，其安裝有24個車載傳感器，可以在60km/h以下車速時實現Level3級自動駕駛。第12頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀2015年10月，特斯拉推出的半自動駕駛系統Autopilot，Autopilot是第一個投入商用的自動駕駛技術。2010年，通用公司在上海世博會上首次展示了EN-V系列電動車輛的概念原型。2016年，通用汽車收購了自動駕駛技術創業公司CruiseAutomation，正式進入無人駕駛領域。2018年1月，作為通用汽車旗下自動駕駛部門的CruiseAutomation發布了新一代（第四代）無人駕駛汽車——CruiseAV，如圖1.11所示。CruiseAV沒有方向盤、油門踏板和剎車踏板，安裝了21個普通雷達、16個攝像機和5個激光雷達來感知車輛周圍的環境和障礙物。第13頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀2010年，Google啟動了"谷歌自動駕駛項目"，旨在研發一種能夠自主駕駛的汽車，并能夠在現實道路上行駛，圖為谷歌公司的自動駕駛原型車。谷歌的自動駕駛團隊開始將自動駕駛技術應用于一些修改過的汽車，并進了測試。他們在不同地區進行大規模的測試，積累了大量的自動駕駛行駛數據，并不斷改進和驗證自動駕駛系統的性能。2016年，谷歌將自動駕駛項目整合到AlphabetInc.旗下的一個子公司——Waymo。Waymo在自動駕駛車的研究和開發方面取得了顯著的成就，并不斷推進自動駕駛技術的商業化和實際應用。第14頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀2016年5月，Uber無人駕駛汽車在位于美國賓夕法尼亞州匹茲堡市的Uber先進技術中心正式上路測試。Uber首次路測使用的無人駕駛汽車是一款福特Fusion混合動力汽車，如圖所示，它同時進行采集測繪數據并試驗自動駕駛功能。第15頁汽車自動駕駛技術發展現狀國外自動駕駛汽車的發展現狀創業公司nuTonomy是一家于2013年從麻省理工學院分離出來的創業公司，2016年8月，它成為了新加坡第一家在試點項目下推出自動駕駛出租車的公司。在新加坡的測試中，nuTonomy在自動駕駛汽車上配備了6套激光雷達檢測系統，前面安裝有2個攝像機，用于識別障礙物，檢測交通信號燈變化。第16頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀第17頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀相對于歐美國家，我國智能車的研究起步較晚，國防科技大學從20世紀80年代末開始先后研制出基于視覺的CITAVT系列智能車輛。1992年，由國防科技大學、北京理工大學等五家單位聯合研制成功了ATB－1（AutonomousTestBed－1）無人車，這是我國第一輛能夠自主行駛的測試樣車，其行駛速度可以達到21km／h。清華大學在國防科工委和國家863計劃的資助下，從1988年開始研究開發THMR系列智能車。THMR-Ⅴ智能車能夠實現結構化環境下的車道線自動跟蹤、準結構化環境下的道路跟蹤，復雜環境下的道路避障、道路停障以及視覺臨場感遙控駕駛等功能，最高車速達150km/h。1992年以后，吉林大學先后研發出了JUIV系列智能車，其中JLUIV-4使用交流電提供動力，提升了視覺采集技術，使得視野范圍更大，圖像采集的速度加快。第18頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀為推動創新研發無人駕駛汽車，國家自然科學基金委員會啟動了“視聽覺信息的認知計算”重大研究計劃，從2009年起，每年舉辦一屆“中國智能車未來挑戰賽”推動中國的無人駕駛車輛“駛出實驗室，駛向實際環境”。2012年，軍事交通學院研制出“猛獅3號”智能車，如圖1.14所示，獲得“中國智能車未來挑戰賽”冠軍，在高速公路進行試驗，完成了車輛跟隨、換道、超車等功能。第19頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀不同于國外車企以自主研發為主，我國汽車制造廠商多采取與國內科研院所、高校合作研發無人駕駛技術。一汽集團于2007年與國防科技大學合作，2011年7月，由一汽集團與國防科技大學共同研制的紅旗HQ3無人駕駛汽車，如圖所示，完成了286km的面向高速公路的全程無人駕駛試驗，人工干預的距離僅占總里程的0.78％。2015年4月，一汽集團正式發布了其“摯途”技術戰略，標志著一汽集團的互聯智能汽車技術戰略規劃正式形成。第20頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀2015年8月，宇通大型客車從鄭開大道城鐵賈魯河站出發，在完全開放的道路環境下完成自動駕駛試驗，共行駛32.6km，最高速度為68km/h，全程無人工干預，這是國內首次大型客車高速公路自動駕駛試驗。2018年5月，宇通客車在其2018年新能源全系產品發布會上宣布，已具備面向高速結構化道路和園區開放通勤道路的Level4級別自動駕駛能力。2013年，百度公司開始了百度無人駕駛汽車項目，其技術核心是“百度汽車大腦”，包括高精度地圖、定位、感知、智能決策與控制四大模塊。2015年12月初，百度無人駕駛汽車在北京進行自動駕駛測跑，實現多次跟車減速、變道、超車、上下匝道、調頭等復雜駕駛動作，完成了進入高速到駛出高速不同道路場景的切換，最高車速達到100km/h。第21頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀2015年12月14日，百度宣布正式成立自動駕駛事業部。2016年，百度智能車獲得美國加州車輛管理局的批準，可以進行無人車輛道路測試。2021年下半年，百度正式組建智能汽車事業部，將多年積累的能力和經驗全面應用在量產乘用車領域，助力車企共同擁抱汽車智能化浪潮。自此，百度先后推出了自主泊車ApolloParking、行泊一體領航輔助駕駛ApolloHighwayDrivingPro、城市域領航輔助駕駛ApolloCityDrivingMax等覆蓋低、中、高組合的全系列智駕產品，目前已在多款明星車型上實現量產。第22頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀百度自動駕駛出租車2020年10月11日起在北京開放，約車平臺為“蘿卜快跑”。“蘿卜快跑”是百度Apollo帶來的全新升級的自動駕駛出行服務平臺，主要使用自動駕駛汽車Robotaxi，如圖所示，開展自動駕駛甚至完全無人駕駛運營。截止2023年，蘿卜快跑已在北京、上海、廣州、深圳、重慶、武漢、長沙、陽泉、烏鎮等城市開通。第23頁汽車自動駕駛技術發展現狀國內自動駕駛汽車的發展現狀我國還有不少科技公司在自動駕駛領域取得了不錯的成績“經緯恒潤”的產品覆蓋智能泊車、智能行車、安全預警三大領域。

“地平線”是國內率先實現大規模前裝量產的車載智能芯片公司，領跑ADAS一體機、智能座艙、智能駕駛（行泊一體）域控制器等細分市場。“蘑菇車聯”采取“單車智能+車路協同”技術路線，以系統性思維打造了“車路云一體化”自動駕駛方案，實現技術與數據閉環，在自動駕駛行業競爭中形成優勢。“輕舟智航”采取“技術應用深度和廣度”雙擎發展戰略。一方面，以公開道路L4級別自動駕駛能力為“動力引擎”，不斷探索更多落地場景，驅動城市交通出行效率提升；另一方面，以自動駕駛量產規模化落地為“創新引擎”，借助更多裝機量實現產品和技術的打磨。專注于礦區自動駕駛技術的“踏歌智行”，入選為國家級專精特新“小巨人”企業，自研感知、規控、協同、云控、運維五大核心技術，有效應對極端自然環境、特殊路面、龐大車輛、復雜路況與生產工藝流程等礦區獨有的應用場景。第24頁DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第25頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3自動駕駛領域深度學習應用概述汽車自動駕駛技術架構第26頁汽車自動駕駛技術架構環境感知環境感知技術是自動駕駛系統中至關重要的組成部分，它負責通過傳感器獲取車輛周圍環境的信息，以實時感知和理解道路條件、障礙物、交通標志、行人和其他車輛等各種元素。這些感知信息是自動駕駛決策和規劃的基礎，幫助車輛做出正確和安全的駕駛決策。第27頁汽車自動駕駛技術架構環境感知攝像頭：攝像頭是被動式傳感器，它的基本工作原理是通過光學透鏡和圖像傳感器，將周圍環境的光線轉化為數字圖像信號。相比于其他傳感器，攝像頭通常成本較低，適用于廣泛應用和大規模生產。但攝像頭產生的圖像數據龐大，對計算機視覺算法和硬件的要求較高，需要高效的圖像處理和分析能力，在強光、弱光和惡劣天氣條件下可能性能下降。激光雷達：激光雷達是一種主動式傳感器，它通過發射一束激光脈沖，并通過接收返回的激光反射信號來計算目標物體的距離和位置。激光雷達的傳感器通常旋轉或使用多束激光來掃描周圍環境來獲取周圍環境的三維點云數據，這些點云數據可以用于構建高精度的地圖、檢測障礙物和進行目標識別，從而實現全方位的感知。但激光雷達成本高、價格昂貴、對不透明物體的感知能力有限。第28頁汽車自動駕駛技術架構環境感知毫米波雷達：毫米波雷達也是一種主動式傳感器，它使用毫米波頻段（通常是24GHz或77GHz）的電磁波來探測周圍環境，從而提供高精度、長距離的障礙物檢測和距離測量。相比于激光雷達，其空間分辨率較低、通常無法穿透非金屬、不透明的物體、角度分辨率相對較低，無法提供精細的目標識別和輪廓信息。超聲波傳感器：是一種常用于測量距離和檢測障礙物的被動式傳感器。它利用超聲波在空氣中傳播的特性，測量從傳感器發射到目標物體反射回來的超聲波的時間差，從而計算出目標物體與傳感器的距離。相比于其他傳感器，超聲波傳感器通常成本較低，適用于經濟實惠的自動駕駛解決方案。然而，超聲波傳感器的探測范圍相對有限，通常在幾米到十幾米之間，因而它不適用于高速駕駛和大范圍感知。第29頁汽車自動駕駛技術架構環境感知全球衛星導航系統：常用的有美國的全球定位系統（GlobalPositioningSystem，GPS）、俄羅斯的GLONASS、歐盟的Galileo和中國的北斗系統。這些衛星導航系統共同為全球用戶提供了更加準確和可靠的導航和定位服務，可用于獲取車輛的精確位置信息，并與高精度地圖相匹配，從而提供更準確的定位和導航。但衛星導航系統可能會受到信號干擾或遮擋，導致定位誤差增大。慣性導航系統（InertialNavigationSystem，INS）：是一種能夠獨立地、持續地、實時地提供車輛的位置、速度和方向信息的導航系統，它利用加速度計和陀螺儀等慣性傳感器來測量車輛的加速度和角速度，估計車輛的位置和姿態。慣性導航系統不依賴于外部信號源，如衛星定位系統或地面基站，因此在遭遇信號中斷或干擾時仍然可以提供導航信息，而且慣性導航系統能夠實時地提供導航信息，不需要預先建立地圖或進行數據處理。但慣性導航系統的測量誤差會隨著時間累積，導致位置和方向信息的誤差逐漸增大。第30頁汽車自動駕駛技術架構環境感知車聯網：通過無線通信技術將車輛與互聯網連接起來，比如借助5G通信技術在高速、大容量、低延遲等方面優勢，為車聯網提供更快速、可靠的數據傳輸，實現車輛與車輛（V2V）、車輛與基礎設施（V2I）、車輛與云端（V2C）之間的實時數據交換。第31頁汽車自動駕駛技術架構決策規劃技術在自動駕駛汽車中，決策規劃是一個關鍵的環節，它根據車輛的感知信息和環境狀況做出決策，規劃出車輛的行駛路徑和行為，以實現預定的目標和任務。決策規劃的主要任務包括路徑規劃、速度規劃、交通行為決策和沖突處理等。

第32頁汽車自動駕駛技術架構決策規劃技術路徑規劃：路徑規劃是決策規劃的核心部分，它決定車輛的行駛路徑。路徑規劃算法根據車輛的當前位置、目標位置和環境信息，計算出一條安全且符合規則的路徑。考慮到不同的場景和交通條件，路徑規劃可以是全局路徑規劃（從起點到目標點的整體路徑規劃）或局部路徑規劃（針對避障和動態障礙物的路徑調整）。速度規劃：速度規劃決定車輛的行駛速度。根據當前交通情況、道路條件、障礙物等信息，速度規劃算法可以調整車輛的速度，以保持安全距離、避免碰撞，并盡可能地提高行駛效率。車道規劃：車道規劃決定車輛在道路上的行駛車道。車道規劃算法可以根據交通標志、道路標線和導航目標，將車輛引導至合適的車道。交通行為決策涉及到車輛在復雜交通環境中的行為。第33頁汽車自動駕駛技術架構控制執行技術自動駕駛汽車的控制執行是指將經過決策規劃階段得出的行駛路徑和行為決策轉化為實際的車輛操作，使汽車能夠按照規劃的路徑和速度進行行駛。控制執行是自動駕駛系統中的最終環節，負責將決策轉換成車輛的物理動作。自動駕駛汽車的控制執行主要任務包括縱向（驅動、制動）、橫向（轉向）和橫縱向綜合控制。第34頁汽車自動駕駛技術架構控制執行技術縱向控制：縱向控制是指通過對驅動和制動的協同控制，實現利用加速度或減速度對目標車速或目標扭矩的精確響應。橫向控制：橫向控制主要是指通過對電動助力轉向系統（EPS）進行轉角或轉矩控制，實現汽車的自動轉向功能。控制執行：控制執行要根據車輛當前的狀態和位置，確保車輛按照規劃的路徑準確行駛，避免偏離或碰撞障礙物。第35頁DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第36頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述深度學習與傳統機器學習的區別傳統機器學習方法下，一般需要獨立的特征提取階段；而在深度學習下，只需要輸入原始的圖像、語音和文本信息，即可直接訓練。第37頁深度學習的研究及應用進展第38頁自動駕駛領域深度學習應用概述第39頁自動駕駛領域深度學習應用概述深度學習在自動駕駛環境感知中的應用自動駕駛汽車環境感知包括：可行駛路面檢測、車道線檢測、路緣檢測、護欄檢測、行人檢測、機動車檢測、非機動車檢測、路標檢測、交通標志檢測、交通信號燈檢測等。對于如此復雜的路況檢測，環境感知技術是利用攝像機、激光雷達、毫米波雷達、超聲波等車載傳感器，以及V2X和5G網絡等獲取汽車所處的交通環境信息和車輛狀態信息等多源信息。這些多源信息需要通過深度學習方法進行處理。第40頁自動駕駛領域深度學習應用概述深度學習在自動駕駛環境感知中的應用深度學習按照模型的不同可以分為CNN、RNN、LSTM、DBN和Autoencoder等類型。CNN（卷積神經網絡）在處理圖像和視頻上擁有很好的效果，幫助車輛準確地感知和理解周圍環境，從而為安全、高效的駕駛決策提供支撐。CNN可以用于實時檢測和識別道路上的各種目標，如車輛、行人、自行車、交通標志等。CNN通過訓練，它可以從傳感器（如攝像頭）捕獲的圖像中提取特征，并準確地標記和分類目標。CNN可以用于圖像的語義分割，即將圖像中的每個像素點標記為屬于不同的類別，例如車道線、道路、行人、建筑物等。這有助于自動駕駛車輛更好地理解和解釋環境。CNN可以進行實例分割，實例分割能夠將同一類別的目標分別標記出來，有助于更精確地識別和跟蹤目標。CNN可以用于檢測和提取道路邊緣的特征，幫助車輛在復雜道路環境中準確地定位和行駛。第41頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛決策規劃中的應用自動駕駛汽車的規劃分為全局規劃和局部規劃兩種。全局規劃是根據獲取到的地圖信息，規劃出一條無碰撞最優路徑，以滿足特定的行駛條件。局部規劃則是根據全局規劃，在一些局部環境信息的基礎之上，避免碰撞一些未知的障礙物，最終達到目的地的過程。在自動駕駛汽車決策規劃中，車輛需要根據環境感知數據和當前狀態來做出決策，如選擇合適的行駛速度、路徑規劃、超車、變道、避障等，以確保安全、高效和舒適的駕駛。第42頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛決策規劃中的應用深度學習在自動駕駛汽車決策規劃中發揮著關鍵的作用。深度學習模型可以用于預測其他交通參與者（如其他車輛、行人）的行為，包括變道、加速、減速等。這些預測能夠幫助自動駕駛車輛更好地理解周圍車輛和行人的動態，從而做出合理的決策。深度學習模型可以用于路徑規劃，根據車輛的當前位置、目的地和環境條件，選擇最優的行駛路徑。這有助于車輛避開擁堵路段、選擇安全路線，并使駕駛更高效。深度學習模型可以用于制定合適的跟車策略，包括與前車的距離維持、速度調節等，以確保安全且平滑的跟車行駛。自動駕駛車輛需要能夠識別并規避障礙物，如其他車輛、行人、障礙物等。深度學習可以幫助車輛做出及時的避障決策，避免潛在的碰撞。深度學習還可以用于交通信號燈的識別和狀態預測，從而幫助車輛做出合適的行駛策略，避免違規或浪費時間。第43頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執行中的應用自動駕駛汽車的控制核心技術涵蓋汽車的縱向、橫向、驅動和制動控制。縱向控制負責汽車前后運動的控制，而橫向控制則負責方向盤角度和輪胎力的調整。只有同時實現縱向和橫向自動控制，才能使汽車按照預設目標和約束自主行駛。在自動駕駛控制執行中，深度學習通常與傳統的控制方法和規則引擎相結合，形成一個全面有效的控制系統，以確保自動駕駛汽車的安全和可靠性。第44頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執行中的應用在汽車自動駕駛控制執行中，深度學習應用廣泛，發揮著重要的作用。深度學習模型可以用于設計自動駕駛控制器，將環境感知數據和規劃決策結果作為輸入，輸出具體的汽車控制指令。深度學習可以通過行為克隆的方法，從人類駕駛員的行駛數據中學習駕駛行為，并在自動駕駛中模仿這些行為。深度強化學習在自動駕駛控制執行中也得到廣泛應用。通過強化學習，車輛可以在不斷的嘗試和學習中優化控制策略，以最大化預設的獎勵函數，實現更智能和適應性強的駕駛控制。第45頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執行中的應用深度學習應用于汽車自動駕駛還有一種被稱為“端到端”自動駕駛的方法，它直接從原始傳感器數據中學習駕駛策略，不需要顯式地提取特征或規劃路徑。這種方法尚在研究和探索階段，但有望實現更高級別的自動駕駛。第46頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執行中的應用總的來說，自動駕駛與深度學習技術都處于快速發展階段，在汽車自動駕駛領域，深度學習廣泛用于解決感知、決策、控制算法中面臨的難題，以提高自動駕駛系統的智能化水平，深度學習在自動駕駛領域的應用為自動駕駛技術的發展提供了強大的支持，使得自動駕駛汽車能夠更準確、更智能地感知和理解交通環境，從而實現更安全和高效的駕駛體驗。隨著深度學習技術的不斷進步，預計自動駕駛技術在未來將繼續取得更大的進展。第47頁Thanks!DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第48頁第一章汽車自動駕駛技術概述謝謝！本章總結與答疑Chapter2深度學習基礎第二章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第50頁2.4Drop—out2.1神經網絡的定義2.3神經網絡步驟2.2神經網絡的框架目錄Content車的識別一個經典的定義：神經網絡是由具有適應性的簡單單元組成的廣泛并行互連網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。神經網絡的定義生物神經元結構人腦視覺機理視覺影像反射光線神經脈沖雙極細胞i.視感覺階段-信息采集紋狀皮層初級視覺信息輸入人體神經網絡人腦視覺機理ii.視知覺階段-信息認知紋狀皮層紋外視覺皮層初級視覺信息中級視覺信息海馬體長短時記憶信息神經脈沖輸入人體神經網絡從原始信號攝入（瞳孔攝入像素Pixels）

初步處理（大腦皮層某些細胞發現邊緣和方向）

抽象（大腦判定，眼前的物體的形狀，是圓形的）

進一步抽象（大腦進一步判定該物體是人臉）從原始信號，做低級抽象，逐漸向高級抽象迭代人腦視覺機理：神經-中樞-大腦測量空間（表象）特征空間（概念）人體神經網絡圖像在計算機中的存儲方式神經網絡最初是在圖像識別中取得了很好的效果。

一張圖片被表示成三維數組的形式，每個像素的值從0到255例如：300*100*3表示圖像的長寬和顏色通道數列矩陣人工神經網絡模仿人類的視覺系統底層特征中層特征高層特征像素矩陣可訓練的分類器圖像識別基本框架（場景識別、目標識別、人臉識別…）測量空間特征空間類別空間人工神經網絡目的使用深度學習的目的：尋找一個合適的函數數字圖片識別機器翻譯自動問答“3”“傾盆大雨”“上海”“Rain

cats

and

dogs”“姚明是哪里人？”人工神經網絡目的圖像識別“燙燙燙燙”“8”“2”學習任務:尋找手寫識別函數，候選函數集合為：人工神經網絡目的學習過程確定函數集合如何評價好壞挑出最好函數=“2”=“3”….=“0”=“5”答案人人機器怎么做：對答案人工神經網絡框架學習過程建立模型損失函數參數學習=“2”=“3”….=“0”=“5”訓練數據人人機器監督學習（SupervisedLearning）人工神經網絡框架學習過程建立模型損失函數參數學習答案人人機器

XY0

人工神經網絡框架建立模型損失函數“0”“2”“5”參數學習Using“羅紅霉素”TrainingTesting監督學習任務:手寫識別訓練數據圖像識別測試數據Step1Step2Step3人工神經網絡框架建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法人工神經網絡步驟建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法人工神經網絡步驟單層感知器輸入節點：x1,x2,x3輸出節點：y權向量：w1,w2,w3偏置因子：b激活函數：sign(x)=1 x>=0-1 x<0單層感知器（SingleLayerPerceptron）是最簡單的神經網絡。它包含輸入層和輸出層，而輸入層和輸出層是直接相連的。y

=1 (0.5x1+0.5x2+0.5x3-0.6>=0)-1 (0.5x1+0.5x2+0.5x3-0.6<0)單層感知器舉例權值w都設成0.5，偏置b設為-0.6單層感知器單層感知器學習過程i

=

0,1,2…y是網絡輸出f是sign函數η表示學習率t是標簽值t和y的取值為±1權值調整公式假設：t=1，η=1，x1=1，w1=-5，b=0:單層感知器學習過程簡化演示，假設只有一個樣本，一個特征??取值一般取0-1之間;學習率太大容易造成權值調整不穩定;學習率太小，權值調整太慢，迭代次數太多。單層感知器學習過程1.誤差小于某個預先設定的較小的值2.兩次迭代之間的權值變化已經很小3.設定最大迭代次數，當迭代超過最大次數就停止模型收斂條件單層感知器學習過程題目：假設平面坐標系上有四個點，(3,3),(4,3)這兩個點的標簽為1，(1,1),(0,2)這兩個點的標簽為-1。構建單層感知器來分類。單層感知器實例思路：我們要分類的數據是2維數據，所以只需要2個輸入節點，我們可以把神經元的偏置值也設置成一個節點，偏置也是一個輸入，恒等于1，這樣我們需要3個輸入節點。輸入數據有4個(1,3,3),(1,4,3),(1,1,1),(1,0,2)數據對應的標簽為(1,1,-1,-1)初始化權值w0,w1,w2取-1到1的隨機數，學習率(learning

rate)設置為0.11，激活函數為sign函數。單層感知器程序實現單層感知器分類.ipynb建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法人工神經網絡步驟單個神經元y神經元…偏置bias權重weights………激活函數理解：簡單線性函數f(x)=kx+b(x是向量，表示多維，k是斜率，b是截距)建立模型

網絡結構神經元不同的連接方式構成不同的網絡結構每個神經元都有自己的權重和偏置參數建立模型

建立模型—淺層神經網絡建立模型—淺層神經網絡建立模型—深度神經網絡為什么引入激活函數為了增強網絡的表達能力，我們需要激活函數來將線性函數->非線性函數深層神經網絡中最常用的是ReLU，Sigmoid使用較少。建立模型神經元CNN在卷積層盡量不要使用Sigmoid和Tanh，將導致梯度消失。首先選用ReLU，使用較小的學習率，以免造成神經元死亡的情況。??如果ReLU失效，考慮使用LeakyReLU、PReLU、ELU或者Maxout，此時一般情況都可以解決。激活函數表達式以及對應的微分函數建立模型Google神經網絡演示平臺http://playground.tensorflow.org/前饋神經網絡建立模型1-11-21-10激活函數1

0.980.124-2

自左向右依次計算建立模型1-11-21-101

0.980.124-2

2-1-1-20.860.113-14-10.620.8300-22

前饋神經網絡輸出層隱藏層輸入層隱藏層數很多意味著網絡越深神經元建立模型……………………………………y1y2ymx1x2xn…………前饋神經網絡神經網絡其實就是按照一定規則連接起來的多個神經元。輸出層常用softmax函數作為輸出層激活函數：容易理解、便于計算

32.7200.05建立模型1-30.880.12≈0應用示例：手寫識別輸入每一個輸出值代表其對應標簽的概率值輸出神經網絡is1is2is8……0.10.10.716x16=256……黑色像素點→1白色像素點→0建立模型“8”……神經網絡圖片被識別成數字“8”應用示例：手寫體識別設置合適的網絡結構：層數和結點個數、激活函數問題：應該設置多少層，多少結點？是否需要選擇其他網絡結構如CNN/RNN？建立模型is1is2is0…………………………………………y1y2ymx1x2xn…………X建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法使用步驟損失函數分類損失回歸損失損失函數的設計依賴于具體的任務16x16=256y1

值最大；對于數字識別任務，設計用于分類的損失函數，使得學習目標變為：輸入:y8

值最大······輸入:損失函數………………………………y1y2y10x1x2x256…………is1is2……is0Softmax

“1”……100常用損失函數：平方損失函數、交叉熵損失函數目標盡可能接近好的參數使得所有訓練數據的損失越小越好損失函數………………………………y1y2y10x1x2x256…………Softmax

學習一組參數損失函數對所有訓練數據：

即確定參數使得總損失L最小總損失:盡可能小找到一個函數使得總損失L最小神經網絡樣本x1y1

樣本x2y2

神經網絡樣本x3y3

神經網絡樣本xRyR

……神經網絡建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法使用步驟參數學習

枚舉所有可能的取值例如：語音識別模型有8層，每層1000神經元參數個數巨大L+1層……L層……106權重參數1000神經元1000神經元

參數學習梯度下降法總損失神經網絡參數w初始值下的總損失總損失值最小總損失變小通過調節參數w，逐步逼近總損失最小值參數學習初始值w選擇一個初始值w，Random,RBMpre-train

梯度為正梯度為負減小w增加w

梯度下降法選擇一個初始值w，Random,RBMpre-train

η

是“學習率”迭代參數學習

梯度下降法總損失神經網絡參數w在平坦區變化非常緩慢

停在鞍點

參數學習全局最優值停在局部最優值梯度下降法初始值影響選取不同的初始值，可能到達不同的局部最小值參數學習ABCDACBD例如：使用步驟建立模型選擇什么樣的網絡結構選擇多少層數，每層選擇多少神經元損失函數選擇常用損失函數，平方誤差，交叉熵….參數學習梯度下降反向傳播算法BP(Back

Propagation)神經網絡1986年，由McClelland和Rumelhart為首的科學家小組提出，解決了多層神經網絡的學習問題，極大促進了神經網絡的發展。BP神經網絡也是整個人工神經網絡體系中的精華，廣泛應用于分類識別、逼近、回歸、壓縮等領域。在實際應用中，大約80%的神經網絡模型都采取了BP網絡或BP網絡的變化形式。……………………………………y1y2ymx1x2xn…………反向傳播算法輸入：x

總誤差L

隱藏層參數學習InputLayer1Layer2Output反向傳播的基本思想就是通過計算輸出層與期望值之間的誤差來調整網絡參數，從而使得誤差變小。信號正向傳播

…

參數學習

…

參數學習

信號正向傳播

…

參數學習

信號正向傳播

…

參數學習

信號正向傳播

…

參數學習

信號正向傳播

…

參數學習

信號正向傳播

…

參數學習