高職高專人工智能通識課規劃教材人工智能概論本章學習目標第3章人工智能軟硬平臺【素養目標】通過芯片制造工藝的學習，培養學生精益求精的專業精神、職業精神和工匠精神；通過智能芯片產業發展狀況的學習，激發學生自主創新、科技報國的家國情懷和使命擔當；通過對我國智能芯片相關公司和產品的了解，培養學生的創新創業意識，激發愛國熱情。本章學習目標第3章人工智能軟硬平臺【知識目標】掌握芯片的定義、分類和制造工藝；掌握智能芯片的概念、分類和特點；了解摩爾定律；了解智能芯片產業發展狀況；了解人工智能開發框架及其核心特征；了解國內外人工智能開發框架的發展進程及其優缺點。本章學習目標第3章人工智能軟硬平臺【能力目標】能夠正確認識我國芯片的發展水平、產業現狀和國際地位；能夠理解人工智能開發框架的作用；能夠闡述我國人工智能芯片領域的企業及其特點和優勢。本章學習目標第3章人工智能軟硬平臺【思維導圖】第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎3.2智能芯片3.3人工智能開發框架高職高專人工智能通識課規劃教材3.4本章實訓3.5拓展知識人工智能三要素第3章人工智能軟硬件平臺人工智能的目的就是讓機器能夠像人一樣思考，讓機器擁有智能。人工智能是新一輪科技革命和產業變革的重要驅動力。當前，人工智能技術已全面滲透到制造、醫療、交通、金融、教育、安防等眾多領域。人工智能三要素是數據、算力和算法。其中，算力主要由人工智能芯片支撐，是承載人工智能核心技術的硬件基礎。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.1什么是芯片芯片，又稱微電路、微芯片、集成電路，是指內含集成電路的硅片，芯片的體積很小，通常是作為計算機或其他電子設備的一部分。晶體管被發明并大量生產之后，各式固態半導體組件，如二極管、三極管等被大量使用，取代了真空管（電子管）在電路中的功能與角色。到了20世紀中后期，半導體制造技術的進步使得集成電路成為可能。相對于手工組裝電路使用個別分立電子組件，集成電路可以把很大數量的微晶體管集成到一個芯片中，這是一個巨大的進步。集成電路具有規模生產能力、高可靠性，以及集成電路設計的模塊化方法等特點，從而推動標準化集成電路代替了離散晶體管。真空管晶體管（二極管）集成電路晶體管（三極管）3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.1什么是芯片集成電路相對于離散晶體管主要有兩個優勢：成本低和性能高。成本低是由于芯片把所有的組件通過照相平版技術，作為一個單位印刷，而不是在一個時間只制作一個晶體管。性能高是因為組件很小且彼此靠近，組件快速開關，從而提高了性能，并且能耗消耗更低。現如今，芯片面積通常為幾平方毫米到幾百平方毫米，每平方毫米可以容納上億個晶體管。世界上第一塊集成電路是由杰克·基爾比（JackKilby）于1958年完成的，該電路包括一個雙極性晶體管、三個電阻和一個電容器。杰克·基爾比因此榮獲2000年諾貝爾物理學獎。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.2芯片的分類1.按照處理信號方式分類芯片按照處理信號方式可以劃分為：模擬芯片、數字芯片。信號分為模擬信號和數字信號，數字芯片就是處理數字信號的，比如CPU、邏輯電路等；模擬芯片是處理模擬信號的，比如運算放大器、線性穩壓器、基準電壓源等。如今，大多數芯片都可以同時處理數字信號和模擬信號，一塊芯片到底歸屬為哪類產品是沒有絕對標準的，通常會根據芯片的核心功能來區分。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.2芯片的分類2.按照應用場景分類芯片按照應用場景可以劃分為：軍工級芯片、汽車級芯片、工業級芯片、民用級芯片。領域軍工級汽車級工業級民用級工作溫度范圍-55℃～125℃-40℃～125℃-40℃～85℃0℃～70℃電路設計輔助電路和備份電路設計，多級防雷設計，雙變壓器設計，抗干擾技術，多重短路保護，多重熱保護，超高壓保護等多級防雷設計，雙變壓器設計，抗干擾技術，多重短路保護，多重熱保護，超高壓保護等多級防雷設計，雙變壓器設計，抗干擾技術，短路保護，熱保護，超高壓保護等防雷設計，短路保護，熱保護等工藝處理耐沖擊，耐高低溫，耐霉菌增強封裝設計和散熱處理防水，防潮，防腐，防霉變處理防水處理系統成本造價非常高，維護費用也高積木式結構，每個電路均帶有自檢功能并增強了散熱處理，造價較高，維護費用也較高積木式結構，每個電路均帶有自檢功能，造價稍高，但維護費用低線路板一體化設計，價格低廉但維護費用較高3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.2芯片的分類3.按照集成度分類芯片按照集成度可以劃分為：小規模集成電路（SSI）、中規模集成電路（MSI）、大規模集成電路（LSI）、超大規模集成電路（VLSI）。評判集成度的根據是芯片上集成的元器件個數。目前，智能手機里的芯片基本都是超大規模集成電路了，芯片里面集合了數以億計的元器件。其實這屬于早期來表述芯片集成度的方式，在隨后的發展過程中，通常以特征線寬（設計基準）的尺寸來表述芯片集成度，比如微米、納米。也可以理解為我們現在所常說的工藝制程。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.2芯片的分類4.按照工藝制程分類芯片按照工藝制程可以劃分為：3nm、5nm、7nm、14nm、28nm等。這里的nm(1nm＝10-９m)是長度單位，是指CMOS器件的柵長，也可以理解為最小布線寬度或者最小加工尺寸。目前，比較先進的制程有臺積電和三星的3nm，國內較先進的制程是中芯國際的14nm。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.2芯片的分類5.按照使用功能分類3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.3芯片的制造工藝芯片的制造工藝需要經過多個步驟，主要包括晶圓制備、晶圓清洗、光刻、蝕刻、沉積、離子注入、退火、測試等過程。（1）晶圓制備。通常首先使用高純度的硅材料制作晶圓，然后對其進行切割和拋光等工藝處理，制備成具有一定厚度和平整度的硅片。（2）晶圓清洗。對晶圓進行化學清洗和去除表面污染物的處理。（3）光刻。利用光刻機，將芯片上的電路圖形投影到光刻膠層上，形成圖形模板。（4）蝕刻。使用蝕刻機，將光刻膠層中未被遮住的部分進行蝕刻，形成電路線路。（5）沉積。使用化學氣相沉積設備，將金屬等材料沉積在芯片表面，形成電路元件。（6）離子注入。使用離子注入機，將雜質注入硅片中，形成PN結，以形成晶體管等元器件。（7）退火。對芯片進行高溫退火處理，使晶圓中的雜質分布均勻，以提高芯片的電性能。（8）測試。檢測芯片的性能和可靠性，發現缺陷和故障，以保證芯片的質量。3.1芯片是人工智能的算力基礎第3章人工智能軟硬件平臺3.1.4摩爾定律1965年，英特爾公司創始人之一戈登·摩爾（GordonMoore）在繪制一份發展報告的圖表時發現了一個驚人的趨勢：每一顆芯片所能容納的晶體管數目，約每隔18個月到24個月就會增加一倍，性能也將提升一倍。這就是業內非常著名的“摩爾定律”，其預言了芯片的規模和性能的發展速度。1971年，英特爾公司開發出第一代微處理器，集成了2300個晶體管。2007年，45nm的處理器集成了8億多晶體管。現如今，麒麟9000處理器采用的是5nm工藝制程，集成了153億晶體管。在過往的50多年中，芯片行業一直在遵循著“摩爾定律”發展。工藝制程不可能無限縮小，現在，芯片工藝已經逼近“極限”，近幾年，芯片的發展速度也已經放緩。隨著技術發展，芯片發展歷程也定然會遇到瓶頸。2023年3月24日，戈登?摩爾結束了輝煌的一生，享年94歲。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎3.2智能芯片3.3人工智能開發框架高職高專人工智能通識課規劃教材3.4本章實訓3.5拓展知識3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片1.智能芯片的概念從廣義上講，只要能夠運行人工智能算法的芯片都可以稱為智能芯片（AI芯片），但是，通常意義上的智能芯片指的是，針對人工智能領域設計的芯片，其架構和指令集針對人工智能領域中的各類算法和應用作了專門優化，從而可以高效地支持視覺、語音、自然語言處理和傳統機器學習等智能處理任務。因此，智能芯片也稱為人工智能加速器（AI加速器）或計算卡。3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片2.智能芯片與傳統芯片的區別傳統的中央處理器芯片（CPU）不適合執行人工智能算法。傳統CPU計算指令遵循串行執行的方式，背負著指令調度、指令寄存、指令翻譯、編碼、運算核心和緩存等與人工智能算法無關的任務，運算能力受限。圖形處理器芯片（GPU）在傳統CPU的基礎上做了簡化，因此可以處理的數據類型單一，但是由于加入了更多的浮點運算單元，因此更加適合大量算術計算而邏輯運算較少的場合。在進行AI運算時，GPU在性能、功耗等很多方面遠遠優于CPU，所以才經常被拿來“兼職”進行AI運算，但GPU的功耗較大，且成本昂貴。3.2

智能芯片第3章人工智能軟硬件平臺3.2.1什么是智能芯片2.智能芯片與傳統芯片的區別智能芯片的設計思想基于算法的角度精簡GPU架構，為其加入更多的運算單元，在應用場景和算法相對確定的基礎上，使得硬件更加專門化。因此，傳統芯片和智能芯片最大的不同是，前者是為通用功能設計的架構，后者是為專用功能優化的架構。這一區別決定了即便是最高效的GPU，與智能芯片相比，在時延、性能、功耗、能效比等方面也是有差距的，因而研發智能芯片是人工智能發展的必然趨勢。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類智能芯片分類通常有按技術架構分類、按功能分類、按部署位置分類三種分類方式。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術架構分類智能芯片按照技術架構，可以劃分為圖形處理器芯片、半定制化芯片、全定制化芯片和類腦芯片。（1）圖形處理器芯片（GPU）。GPU是相對較早期的加速計算處理器，具有速度快、通用性強等特點。由于傳統CPU的計算指令遵循串行執行方式，不能發揮芯片的全部潛力，而GPU具有高并行結構，在處理圖形數據和復雜算法方面擁有比CPU更高的效率。英偉達公司（NVIDIA）和AMD公司在GPU領域處于領先位置，我國的長沙景嘉微公司是國內唯一擁有自主知識產權和成熟產品的GPU芯片公司。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術架構分類在結構上，CPU主要由控制器（Control）、算術邏輯單元（ALU）、高速緩存（Cache）等組成，而GPU則擁有更多ALU用于數據處理，這樣的結構更適合對密集型數據進行并行處理，程序在GPU系統上的運行速度相較于單核CPU可以提升幾十倍乃至上千倍。同時，GPU擁有更加強大的浮點運算能力，可以緩解深度學習算法的訓練難題，釋放人工智能的潛能。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類1.按技術架構分類（2）半定制化芯片。即現場可編程門陣列（FieldProgrammableGateArray，FPGA），其內部包括邏輯塊、輸入/輸出塊、可編程內部連線等，如圖所示。FPGA通過編程可以把計算邏輯映射到硬件上，通過編程調整內部連線，把不同的邏輯塊和輸入/輸出塊連通在一起去完成計算任務。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類FPGA允許多次編程，具有可編程、高性能和低功耗三大特性。FPGA的可編程性帶來高性能和低功耗，開發成本低但芯片成本高。CPU、GPU等常用計算芯片由于架構固定，因此硬件原生支持的指令也是固定的。而FPGA是可編程的，因此可以靈活地針對算法修改電路，提前把固定算法的數據流以及執行指令寫在硬件里，節約了指令獲取和解碼時間從而大幅提高運算效率。FPGA非常適合在芯片功能尚未完全定型、算法仍需不斷迭代完善的情況下使用。使用FPGA芯片需要通過定義硬件去實現軟件算法，對使用者的技術水平要求較高，因此在設計并實現復雜的人工智能算法方面難度較高。賽靈思公司和英特爾公司在FPGA領域具有較大的優勢。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類（3）全定制化芯片。即專用集成電路（ApplicationSpecificIntegratedCircuits，ASIC），是一種根據特殊應用場景要求進行全定制化的專用人工智能芯片。與FPGA相比，ASIC無法通過修改電路進行功能擴展；而與CPU、GPU等通用計算芯片相比，ASIC性能高、功耗低、成本低，適合應用于對性能功耗比要求極高的移動設備端。谷歌公司發布的張量處理器（TensorProcessingUnit，TPU）是專為機器學習定制的，也是當前最知名也最有實用價值的ASIC。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類（4）類腦芯片。類腦芯片是一種對人腦的神經網絡結構進行物理模擬的新型芯片架構，通過模擬人腦的神經網絡工作機理實現感知和認知等功能。真正的人工智能芯片未來發展的方向是類腦芯片。IBM公司研發的TrueNorth芯片就是一種典型的類腦芯片，其計算架構顛覆了經典的馮·諾依曼體系架構。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類TrueNorth芯片的架構模仿生物大腦神經網絡，采用神經形態器件構建，如下圖所示，主要由神經元、突觸以及網絡互聯而成。類腦芯片把定制化的數字處理內核當作神經元，把內存當作突觸，將CPU、內存及通信元件等完全集成在本地，實現了算存一體，突破了馮·諾依曼架構中CPU與內存之間的“內存墻”瓶頸，但目前多數仍是實驗室產品。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類表3-2不同技術架構的智能芯片對比對比內容GPUFPGAASIC類腦芯片定制化程度通用型半定制化全定制化定制化開發難度較易中等較高很高開發工具OpenCL、CUDAOpenCL、Verilog/VHDLEDA工具EDA工具開發周期幾個月半年到一年一年以上一年以上應用場景神經網絡訓練、神經網絡推斷、數據中心神經網絡推斷、數據中心神經網絡推斷、數據中心、嵌入式/邊緣計算尚處于研究階段優點高性能、開發簡單、框架成熟、成本最低高性能、靈活性相對較強、成本較低高性能、低功耗、體積小、可用于移動場景目前表現出的智能程度最高，功耗低缺點高功耗、僅適用于數據中心峰值效率較低、有一定的開發難度開發難度較高、成本較高、技術風險大目前無成熟算法，處于研究階段3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類2.按功能分類智能芯片根據功能任務，可以分為訓練（Training）芯片和推斷（Inference）芯片。（1）訓練芯片。訓練是指向人工智能算法模型中輸入大量已標注好的數據和素材，以進行“學習”，對模型的參數不斷進行優化調整，最終形成一個具備某種特定功能、結果最優的神經網絡算法模型。人工智能訓練芯片是指專門對人工智能訓練算法進行優化加速的芯片。由于訓練所需的數據量大，算法復雜度高，因此，訓練芯片對算力、能效、精度等要求非常高，而且還需要具備較高的通用性，以支持已有的多種算法，甚至還要考慮未來的算法的訓練。由于對算力有著極高要求，訓練芯片一般更適合部署在大型云端設施中，而且多采用“CPU＋GPU”“CPU＋GPU＋加速芯片”等異構模式，加速芯片可以是GPU、FPGA或ASIC專用芯片等。目前，人工智能訓練芯片的市場主要被英偉達的GPU和谷歌的TPU所占據，英特爾和AMD正在積極搶占該市場。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類2.按功能分類（2）推斷芯片。推斷是指向已經訓練好的人工智能算法模型中輸入新的數據和素材，經過計算后獲得符合人們預期的相應的輸出。人工智能推斷芯片即是指專門對人工智能推斷算法進行優化加速的芯片，其更加關注能耗、算力、時延、成本等綜合因素。推斷芯片可以部署在云端和邊緣端，實現難度和市場門檻相對較低，因此，這一領域的市場競爭者較多。在云端推斷芯片領域，英偉達、谷歌、AMD、賽靈思等傳統芯片廠商是主要的領導者，我國的寒武紀、燧原科技、比特大陸等廠商也推出了性能較高、市場反響不錯的自主研發的芯片。在終端推斷芯片領域，應用場景豐富，市場集中度不高，產品有一定的多樣性，英偉達、英特爾、高通、ARM等傳統芯片大廠在該領域布局較早，我國的寒武紀、地平線、阿里平頭哥、云天勵飛等新興企業在垂直行業也有不俗表現。3.2

智能芯片第3章人工智能軟硬件平臺3.2.2智能芯片的分類3.按部署位置分類智能芯片按照部署位置，可以分為云端智能芯片、設備端智能芯片。（1）云端智能芯片。這類芯片運算能力強大，功耗較高，一般部署在公有云、私有云、混合云、以及數據中心、超級計算機（超算）等計算基礎設施領域，主要用于深度神經網絡模型的訓練和推斷，處理語音、視頻、圖像等海量數據，支持大規模并行計算，通常以加速卡的形式集成多個芯片模塊，并行完成相關計算任務。（2）設備端智能芯片。這類芯片一般功耗低、體積小、性能要求不高、成本也較低，相比于云端智能芯片來說，設備端智能芯片不需要運行特別復雜的算法，只需具備少量的人工智能計算能力即可，一般部署在智能手機、無人機、攝像頭、邊緣計算設備、工控設備等移動設備或嵌入式設備上。3.2

智能芯片第3章人工智能軟硬件平臺3.2.3智能芯片的發展歷程智能芯片的發展歷程可分為四個階段。第一階段（2006年前）：在這一階段，尚未出現突破性的人工智能算法，并且能夠獲取的數據也較為有限，傳統通用CPU已經能夠完全滿足當時的計算需要，學術界和產業界均對人工智能芯片沒有特殊需求。因此，人工智能芯片產業的發展一直較為緩慢。第二階段（2006～2009年）：在這一階段，游戲、高清視頻等行業快速發展，同時也助推了GPU產品的迭代升級。2006年，GPU廠商英偉達發布了統一計算設備架構，（CUDA），第一次使GPU具備了可編程性，同時使GPU的核心流式處理器既具有處理像素、頂點、圖形等渲染能力，又同時具備通用的單精度浮點處理能力，即令GPU既能做游戲和渲染，也能做并行度很高的通用計算，英偉達將其稱為GPCPU。GPU所具有的并行計算特性比通用CPU的計算效率更高，更加適用于深度學習等人工智能先進算法所需的“暴力計算”場景。在GPU的助力下，人工智能算法的運算效率可以提高幾十倍，由此，研究人員開始大規模使用GPU開展人工智能領域的研究和應用。3.2

智能芯片第3章人工智能軟硬件平臺3.2.3智能芯片的發展歷程第三階段（2010～2015年）：2010年之后，以云計算、大數據等為代表的新一代信息技術高速發展并逐漸開始普及，云端采用“CPU+GPU”混合計算模式，使得研究人員開展人工智能所需的大規模計算更加便捷高效，進一步推動了人工智能算法的演進和人工智能芯片的廣泛使用，同時也促進了各種類型的人工智能芯片的研究與應用。第四階段（2016年至今）：2016年，采用TPU架構的谷歌旗下DeepMind公司研發的人工智能系統阿爾法圍棋（AlphaGo）擊敗了世界冠軍韓國棋手李世石，使得以深度學習為核心的人工智能技術得到了全球范圍內的極大關注。此后，業界對于人工智能算力的要求越來越高，而GPU價格昂貴、功耗高的缺點也使其在場景各異的應用環境中受到諸多限制，因此，研究人員開始研發專門針對人工智能算法進行優化的定制化芯片。大量人工智能芯片領域的初創公司在這一階段涌現，傳統互聯網巨頭也迅速入局該領域并開始爭奪市場，專用人工智能芯片呈現出百花齊放的格局，在應用領域、計算能力、能耗比等方面都有了極大的提升。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀1.

傳統芯片企業在人工智能芯片領域優勢地位明顯英偉達、英特爾、AMD、高通等傳統芯片廠商憑借在芯片領域多年的領先地位，迅速切入人工智能領域，積極布局，目前處于引領產業發展的地位（見表3-3），在GPU和FPGA方面則基本位于壟斷地位。英偉達推出了Tesla系列GPU芯片，專門用于深度學習算法加速；還推出了Tegra處理器，應用于自動駕駛領域，并提供配套的研發工具包。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀序號公司典型智能芯片發布年份技術架構功能任務1英偉達TeslaV100TeslaA10020172020GPUGPU云端訓練、云端推斷云端訓練、云端推斷2英特爾NervanaNNP-TNervanaNNP-I20192019NNP-T1000NNP-I1000云端訓練云端推斷3IBMTrueNorth2014類腦芯片設備端推斷4谷歌TPUv4EdgeTPU20202018ASICASIC云端訓練、云端推斷設備端推斷5蘋果A172023ARM架構SoC設備端推斷6AMDEPYC42022Zen4架構云端推斷7ARMARMCortex-M55ARMEthos-U5520202020ARMHeliummicroNPU設備端推斷設備端推斷8高通驍龍8Gen2CloudAI10020222020ARM架構SoCASIC設備端推斷云端推斷9三星Exynos22002022ARM架構SoC設備端推斷10賽靈思VersalACAP2019SoC云端推斷等表3-3不同技術架構的智能芯片對比SoC(SystemonChip?)稱為系統級芯片，也稱片上系統，是一個產品，是一個有專用目標的集成電路，其中包含完整系統并有嵌入軟件的全部內容3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀1.

傳統芯片企業在人工智能芯片領域優勢地位明顯AMD于2018年推出了RadeonInstinct系列GPU，主要應用在數據中心、超算等人工智能算力基礎設施上，用于深度學習算法加速。當前，GPU作為業界使用最為廣泛、人工智能計算最成熟的通用型芯片，成為數據中心、超算等大型算力設施的首選，占據了人工智能芯片的主要市場份額。在效率和場景應用要求大幅提升和變化之前，GPU仍將是人工智能芯片領域的主要領導者。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀2.互聯網及IT巨頭紛紛加大人工智能芯片自主研發定制力度自2015年以來，谷歌、IBM、臉書（Facebook）、微軟、蘋果、亞馬遜等國際互聯網界及IT界巨頭紛紛跨界研發人工智能芯片，力圖突破算力瓶頸，并把核心部件掌握在自己手中。谷歌公司于2016年發布了專門針對開源框架TensorFlow開發的芯片TPU，并幫助AlphaGo擊敗李世石；近幾年，谷歌公司還推出了可在GoogleCloudPlatform中使用的云端芯片CloudTPU，以及設備端推斷芯片EdgeTPU，以打造閉環生態。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀2.互聯網及IT巨頭紛紛加大人工智能芯片自主研發定制力度微軟公司于2017年發布了基于FPGA芯片組建的ProjectBrainwave低時延深度學習系統，以使微軟公司的各種服務可以更迅速地支持人工智能功能。2018年，亞馬遜公司發布了高性能推斷芯片AWSInferentia，該芯片支持TensorFlow、Caffe2等主流框架。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀3.國內人工智能芯片行業發展迅猛，但仍處在起步階段目前，在CPU、GPU等高端通用芯片領域，我國的設計能力與國外先進水平仍然差距較大，部分自主研發芯片采用了ARM架構等國外成熟芯片架構和IP核等進行設計。隨著人工智能技術大規模應用于金融、政務、自動駕駛、智能家居、安防等領域，促進了各類專用人工智能芯片的發展，我國的一些初創型企業，如寒武紀、地平線、云天勵飛、深鑒科技等已經開始在人工智能芯片領域有所建樹。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀3.國內人工智能芯片行業發展迅猛，但仍處在起步階段我國人工智能芯片企業基本都圍繞設備端的語音或視覺芯片進行開發，從事云端芯片研發，尤其是云端訓練芯片的企業較少，僅華為、百度等公司有產品推出，我國云端芯片與國外技術水平差距仍然較大。此外，我國還尚未形成有影響力的“芯片—算法—平臺—應用—生態”的產業生態環境，企業多熱衷于追逐市場熱點，缺乏基礎技術積累，研發后勁不足。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀3.國內人工智能芯片行業發展迅猛，但仍處在起步階段3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀4.類腦芯片領域呈現異軍突起之勢IBM公司率先在類腦芯片領域取得突破，2014年推出了TrueNorth類腦芯片，該芯片采用28nm工藝，集成了54億個晶體管，包括4096個內核、100萬個神經元和2.56億個神經突觸。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀4.類腦芯片領域呈現異軍突起之勢2019年，清華大學發布了其自主研發的類腦芯片“天機芯”，該芯片使用28nm工藝，包含約40000個神經元和1000萬個突觸，支持同時運行卷積神經網絡、循環神經網絡以及神經模態脈沖神經網絡等多種神經網絡，是全球首款既能支持脈沖神經網絡又可以支持人工神經網絡的異構融合類腦計算芯片。“天機芯”還登上了世界頂級期刊《Nature》封面。3.2

智能芯片第3章人工智能軟硬件平臺3.2.4智能芯片產業發展現狀4.類腦芯片領域呈現異軍突起之勢上海西井科技公司發布的DeepSouth芯片，采用FPGA模擬神經元以實現脈沖神經網絡的工作方式，其包含約5000萬個神經元和高達50多億個神經突觸，可以直接在芯片上完成計算。浙江大學與杭州電子科技大學共同研發了“達爾文”芯片，該芯片集成了500萬個晶體管，包含2048個硅材質的仿生神經元和約400萬個神經突觸，可從外界接收并累積刺激，從而產生脈沖信號，并處理和傳遞信息。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎3.2智能芯片3.3人工智能開發框架高職高專人工智能通識課規劃教材3.4本章實訓3.5拓展知識3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.1開發框架的作用隨著計算機技術的發展和應用范圍的不斷延伸，作為計算機靈魂的軟件系統的規模也在不斷擴大，并且其結構越來越復雜，代碼越來越冗長，幾萬、幾十萬甚至幾百萬行代碼的軟件系統比比皆是。為了解決這些問題，系統開發者在軟件開發過程中，將基礎代碼進行封裝，以形成模塊化的代碼，并提供相應的應用程序編程接口（ApplicationProgrammingInterface，API），其他開發者在軟件開發過程中直接調用API，不必再考慮太多底層功能的操作，并可以在此基礎上進行后續的軟件開發設計。這種在軟件開發中對通用功能進行封裝并且可重用的設計就是開發框架。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.1開發框架的作用開發框架在軟件開發的過程中起著不可或缺的作用。開發框架能夠屏蔽掉底層繁瑣的開發細節，給開發者提供簡單的開發接口，在軟件開發時只需調用框架就可以實現一定的功能。由于開發框架具有可復用特點，利用開發框架實現軟件開發時，不僅編程過程容易，而且軟件的可讀性很好，極大地降低了軟件開發的復雜度，提高了開發效率與軟件質量。人工智能軟件比傳統的計算機軟件更加復雜，但更具智能性。人工智能的智能化主要依靠算法來實現。由于人工智能算法具有復雜性，因此在構建開發框架之前，只有具有專業知識的人才具備開發人工智能軟件的能力，一般的軟件開發人員進行人工智能軟件開發是一件望塵莫及的事。開發框架的出現，為人工智能開發提供了智能單元，實現了對人工智能算法的封裝、數據的調用以及計算資源的調度，提升了開發效率，極大地降低了人工智能系統開發的復雜性。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.2開發框架的核心特征人工智能開發框架的核心特征有如下幾點。（1）規范化。一個良好的開發框架應嚴格執行代碼開發規范要求，便于使用者理解與掌握。（2）代碼模塊化。開發框架一般都有統一的代碼風格，同一分層的不同類代碼，具有相似的模板化結構，可以使用模板工具統一生成，從而可以減少大量重復代碼的編寫。（3）可重用性。無須對開發框架進行修改或改動，就可以在不同環境下重復使用。（4）封裝性（高內聚）。開發人員將各種需要的功能代碼進行集成，調用時不需要考慮功能的實現細節，只需要關注功能的實現結果。（5）可維護性。對一個成熟的開發框架進行二次開發或維護時，添加、修改或刪除某個功能不會對整體框架產生不利影響。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架使用人工智能開發框架能夠降低人工智能系統開發的復雜性。人工智能開發人員對人工智能開發框架的依賴程度非常高，人工智能開發框架在人工智能行業處于核心地位。幾乎所有人工智能項目，包括商業和學術項目，都是建立在一個或多個開源框架之上的，例如TensorFlow、PyTorch、MXNet、MindSpore、PaddlePaddle等。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架1.TensorFlowTensorFlow是由GoogleBrain團隊開發的一款開源的機器學習開發框架，是目前廣泛應用于各種深度學習領域的重要工具之一。此開發框架可以在任何CPU、GPU、TPU，以及任何桌面或邊緣設備上進行計算。TensorFlow由Tensor（張量）和Flow（流）組成：Tensor代表N維數組，Flow代表基于數據流圖的計算，TensorFlow指的是張量從數量流圖的一端流動到另一端的計算過程。TensorFlow可以處理各種不同類型的數據，如圖像、語音、文本等，具有很高的靈活性和可擴展性。TensorFlow使用基于數據流圖的計算模型來構建機器學習模型，用戶可以通過在數據流圖上定義操作和變量來搭建自己的神經網絡模型，同時，TensorFlow提供了大量的優化器、損失函數、數據處理工具等，使得用戶可以方便地進行模型訓練和優化。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架1.TensorFlow優點：（1）TensorFlow具有廣泛的應用領域，可以應用于自然語言處理、圖像識別、語音識別等多個領域。（2）TensorFlow擁有豐富的文檔和大量的教程，使得開發者易于上手。（3）TensorFlow可以靈活地運行在多種硬件平臺上，包括CPU、GPU和TPU等。（4）TensorFlow提供了高層次的API，使得開發者可以快速地構建、訓練和部署深度學習模型。缺點：（1）TensorFlow的學習曲線較為陡峭，需要花費較長時間學習。（2）TensorFlow的部分功能需要使用較為復雜的API實現，需要較高的技能水平。（3）在某些任務上，TensorFlow的性能不如其他一些深度學習框架，如PyTorch。（4）TensorFlow有時候會因為版本更新等原因導致代碼不兼容。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架2.PyTorchPyTorch是一個由臉書公司（Facebook）開發的一款開源深度學習框架，它提供了一種靈活的用于構建和訓練神經網絡的方法。PyTorch支持多種編程語言，如Python、C++和Java，可以在多種硬件平臺上運行，如CPU、GPU和TPU。可以支持大規模的數據集、自動微調、多種深度學習模型，可以提供高效的計算性能等。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架2.PyTorch優點：（1）靈活性高。PyTorch的動態圖機制使得模型構建非常靈活。（2）易于使用。PyTorch的API設計非常直觀，易于上手和使用。（3）優秀的性能。PyTorch的計算圖構建方式使得它可以高效地在GPU上運行。（4）強大的社區支持。由于PyTorch被廣泛使用，因此有一個龐大而活躍的社區，該社區內提供了大量的文檔、教程和示例代碼。缺點：（1）不夠穩定。由于使用動態圖機制，PyTorch在訓練大型模型時可能會因為內存不足而崩潰，導致需要進行更多的手動內存管理。（2）部署相對困難。相對于TensorFlow，PyTorch的部署相對困難，這主要是因為PyTorch缺乏與TensorFlow相似的生產級別工具鏈和部署方式。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架3.MXNetMXNet是一款基于神經網絡的深度學習框架，由亞馬遜公司創建并開源。MXNet支持多種深度學習模型的訓練，包括卷積神經網絡（CNN）、循環神經網絡（RNN）和生成對抗網絡（GAN）等。

MXNet擁有多種高級特性，如自動混合精度、模型并行等。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架3.MXNet優點：（1）自動混合精度訓練。MXNet可以自動選擇使用FP32或者混合精度FP16進行訓練，以提高訓練速度并減少內存使用。（2）動態計算圖。MXNet的計算圖是動態的，這使得MXNet能夠處理變長序列的輸入。（3）高效的計算性能。MXNet通過MXNet庫的多語言支持，使用CUDA、OpenMP和MKL等高效的計算庫進行計算。缺點：（1）前沿功能不夠發達。MXNet的前沿功能可能不如TensorFlow和PyTorch發達，因此一些最新的技術和模型可能無法在MXNet上使用。（2）模型性能較弱。在某些特定的任務上，MXNet的性能可能比TensorFlow和PyTorch差一些，但是這種情況很少出現。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架4.MindSporeMindSpore(昇思)是華為公司推出的一款開源AI計算框架，在國產框架中認知度名列第一。MindSpore具備全方位能力，既能提供特定的能力（如開發大模型，進行科學計算），又能實現全生命周期的開發（端到端開發，從訓練到部署）。MindSpore是一個全場景深度學習框架，旨在實現易開發、高效執行、全場景統一部署三大目標。其中，易開發表現為API友好、調試難度低；高效執行包括計算效率、數據預處理效率和分布式訓練效率（運行態）；全場景是指框架同時支持云、邊緣及端側場景。3.3

人工智能開發框架第3章人工智能軟硬件平臺MindSpore總體架構3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架4.MindSpore(1)ModelZoo（模型庫）：提供可用的深度學習算法網絡。(2)MindSporeExtend（擴展庫）：MindSpore的領域擴展庫，支持拓展新領域場景，如強化學習、圖神經網絡（GNN）、深度概率編程等。(3)MindSporeScience（科學計算）：基于MindSpore架構打造的科學計算行業套件，如電磁仿真、分子模擬、量子計算等，加以加速科學行業應用開發。(4)MindExpression（全場景統一API）：基于Python的前端表達與編程接口，支持兩個融合（函數/OOP編程范式融合、AI＋數值計算表達融合）以及兩個統一（動靜表達統一、單機分布式表達統一）。(5)第三方前端：支持第三方多語言前端表達，未來計劃陸續提供C/C++、Java等第三方前端的對接工作，MindSpore也在考慮自研編程語言前端——倉頡。同時，內部也在做與Julia（面向科學計算的高性能動態編程語言）等第三方前端的對接工作，引入更多的第三方生態。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架4.MindSpore(6)MindSporeData（數據處理層）：提供高效的數據處理、常用數據集加載等功能和編程接口。(7)MindCompiler（AI編譯器）：圖層的核心編譯器，主要基于端云統一的MindIR（中間表達層）實現三大功能，包括硬件無關的優化（類型推導、自動微分等）、硬件相關優化（自動并行、二階優化、內存優化、圖算融合、流水線執行等）、部署推理相關的優化（量化、剪枝、蒸餾等）。(8)MindRT（全場景運行時系統）：MindSpore的運行時系統，包含云側運行時系統、端側以及更小IoT（物聯網）的輕量化運行時系統。(9)MindSporeInsight（可視化調試調優工具）：MindSpore的可視化調試調優工具，能夠可視化地查看網絡調試、性能調優、精度調優等。(10)MindSporeArmour（安全增強庫）：面向企業級運用時，提供安全與隱私保護相關增強功能，如對抗魯棒性、模型安全測試、差分隱私訓練、隱私泄露風險評估等。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架4.MindSpore優點：（1）易于使用。MindSpore提供了豐富的API和內置算法，用戶可以快速上手并進行模型訓練和推理。（2）支持多種硬件。MindSpore支持多種硬件加速器，包括華為自研的昇騰AI加速器，可以在不同的硬件平臺上運行模型，從而提高模型的效率和性能。（3）強大的分布式訓練支持。MindSpore可以實現分布式模型訓練，支持多種分布式訓練策略和參數服務器，從而提高了訓練速度和效率。缺點：（1）生態相對較小。與TensorFlow和PyTorch相比，MindSpore的生態相對較小，社區支持和第三方庫相對較少。（2）文檔相對不足。MindSpore的文檔相對不足，對于初學者來說，在使用時會有一些困難。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架5.PaddlePaddlePaddlePaddle（飛槳）以百度多年的深度學習技術研究和業務應用為基礎，是中國首款自主研發、功能完備、開源開放的產業級深度學習平臺，集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件和豐富的工具組件于一體。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架5.PaddlePaddle優點：（1）分布式訓練。PaddlePaddle支持數據并行和模型并行兩種分布式訓練模式，可加速模型訓練。（2）動態圖模式。PaddlePaddle支持靜態圖和動態圖兩種模式，動態圖模式使得模型開發和調試更加靈活和高效。（3）高效的模型推理。PaddlePaddle提供了高效的模型推理引擎，支持多種硬件平臺上的高速推理，包括CPU、GPU和FPGA等。（4）強大的工具集。PaddlePaddle提供了一系列豐富的工具集，包括自動化數據處理、高效的數據增強、高可視化的模型訓練過程及高效的模型轉換工具等。3.3

人工智能開發框架第3章人工智能軟硬件平臺3.3.3典型的人工智能開發框架5.PaddlePaddle缺點：（1）算子庫較少。PaddlePaddle的算子庫相對于TensorFlow和PyTorch等框架來說較少，不支持一些新型的算子實現。（2）API相對復雜。PaddlePaddle的API較為復雜，學習曲線相對較陡峭，對于初學者來說，可能會有一定難度。第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎3.2智能芯片3.3人工智能開發框架高職高專人工智能通識課規劃教材3.4本章實訓3.5拓展知識3.4

本章實訓第3章人工智能軟硬件平臺

人工智能芯片相關企業調研近年來，在國家政策的引導下，我國人工智能產業得到了蓬勃發展，出現了不少高質量的研究機構，也涌現出了一大批極具競爭力的、與人工智能芯片相關的科技公司，例如華為海思、中科寒武紀、海光信息、景嘉微、平頭哥、地平線、燧原科技、云天勵飛、摩爾線程、黑芝麻智能等。這些公司在人工智能芯片領域的發展各有不同且各有所長，既提升了我國的產品和服務在國際和國內的競爭力，又提升了國內人民生活的滿意度。請以此為背景，對在人工智能芯片領域極具代表性的企業進行調研，比較其在人工智能芯片領域的特點和優勢、并將結論填寫在表3-4中。3.4

本章實訓第3章人工智能軟硬件平臺企業名稱特點和優勢（包括但不限于技術體系、產業鏈、應用領域等）

表3-4人工智能芯片領域的企業及其特點和優勢

人工智能芯片相關企業調研第三章人工智能軟硬件平臺3.1芯片是人工智能的算力基礎3.2智能芯片3.3人工智能開發框架高職高專人工智能通識課規劃教材3.4本章實訓3.5拓展知識3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學家研制出首個全模擬光電智能計算芯片經長期聯合攻關，清華大學研究團隊突破傳統芯片的物理瓶頸，創造性提出光電融合的全新計算框架，并研制出國際首個全模擬光電智能計算芯片（簡稱ACCEL）。經實測，該芯片在智能視覺目標識別任務方面的算力可達目前高性能商用芯片的3000余倍，為超高性能芯片的研發開辟全新路徑。該成果近日發表于《自然》雜志上。3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學家研制出首個全模擬光電智能計算芯片近年來，如何構建新的計算架構，發展新型人工智能計算芯片，是國際關注的前沿熱點。利用光波作為載體進行信息處理的光計算，因高速度、低功耗等優點成為科學界研究熱點。然而，計算載體從電變為光，還要替代現有電子器件實現系統級應用，面臨諸多難題。為此，清華大學信息科學技術學院院長戴瓊海院士、自動化系助理教授吳嘉敏，以及電子工程系副教授方璐、副研究員喬飛，結合光計算、純模擬電子計算等技術，突破傳統芯片架構中數據轉換速度、精度與功耗相互制約的物理瓶頸，提出一種全新的計算框架，有望解決大規模計算單元集成、光計算與電子信號計算的高效接口等國際性難題。3.5

拓展知識第3章人工智能軟硬件平臺3.5拓展知識：我國科學家研制出首個全模擬光電智能計算芯片“我們是在全模擬信號下發揮光和電的優勢，避免了模擬-數字轉換問題，突破了功耗和速度的瓶頸。”方璐表示，除算力優勢外，在智能視覺目標識別任務和無人系統（如自動駕駛）場景計算中，ACCEL的系統級能效（單位能量可進行的運算數）經實測是現有高性能芯片的400萬余倍，“這一超低功耗的優勢將有助于改善限制芯片集成的芯片發熱問題，有望為未來芯片設計帶來突破。”ACCEL未來有望在無人系統、工業檢測和人工智能大模型等方面實現應用。感謝聆聽高職高專人工智能通識課規劃教材人工智能概論本章學習目標第4章機器學習【素養目標】通過學習機器學習算法思想，對學生進行科學思維方法訓練、激發學習熱情；通過學習機器學習算法，提高學生分析與解決復雜問題的能力；通過學習拓展知識，培養學生的團隊合作精神和精益求精的專業精神。本章學習目標第4章機器學習【知識目標】掌握機器學習的概念及發展歷程；掌握監督學習、無監督學習、半監督學習、強化學習等機器學習類型；理解線性回歸、支持向量機、決策樹、K近鄰算法、K均值聚類算法、關聯分析、深度學習等機器學習算法的工作原理；了解機器學習的應用。本章學習目標第4章機器學習【能力目標】能夠針對機器學習具體應用功能，闡述其實現原理；能夠針對工作生活場景中的具體需求，選擇合適的機器學習算法；會使用“形色”工具識別植物。本章學習目標第4章機器學習【思維導圖】第四章機器學習4.1機器學習概述4.2機器學習類型4.3機器學習常用算法高職高專人工智能通識課規劃教材4.4本章實訓4.5拓展知識4.1

機器學習概述第4章機器學習4.1.1什么是機器學習1.機器學習的定義機器學習（MachineLearning，ML）是人工智能的一個重要分支與核心研究內容，是目前實現人工智能的一條重要途徑。機器學習專門研究機器如何模擬或實現人類的學習行為，以獲取新的知識或技能，同時能夠重新組織已有的知識結構，并不斷改善自身的性能。這是的“機器”是指包含硬件和軟件的計算機系統。機器學習的應用已遍及人工智能的各個分支，如專家系統、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領域。機器學習是一個多領域交叉學科，涉及計算機科學、概率論、統計學、逼近論、算法復雜度理論等多門學科。4.1

機器學習概述第4章機器學習4.1.1什么是機器學習機器學習任務可以簡單地理解為“總結經驗、發現規律、掌握規律、預測未來”。人類的學習過程可以描述為，對在工作、生活中積累的歷史經驗進行歸納，以獲得一些規律。如果有新的問題出現，就需要根據歸納的規律來預測未來未知的事情，如右上圖所示。機器的學習過程可以描述為，利用歷史數據，經過訓練得到一個模型。如果有新的數據出現，就使用習得的模型來預測未來未知的事情，如右下圖所示。圖4-1人類學習過程圖4-2機器學習過程4.1

機器學習概述第4章機器學習4.1.1什么是機器學習2.機器學習術語機器學習處理的對象是數據。數據集是一組具有相似結構的數據樣本的合集；學習算法將經驗（數據）轉化為最終“模型”；樣本是對某個對象的描述，也叫示例；屬性或特征是對象的某個方面表現；屬性值或特征值是屬性上的取值；維數是描述樣本屬性參數的個數。計算機判斷西瓜是否好瓜4.1

機器學習概述第4章機器學習4.1.1什么是機器學習3.數據集劃分機器學習中，需要將數據分為訓練集（上課）和測試集（作業），分別用來對模型進行訓練和測試。（1）訓練集。訓練（Train）集是讓算法學習出一個模型，通過優化參數，以訓練模型。（2）測試集。測試（Test）集是通過訓練集得出模型后，使用測試集進行模型測試，來查看模型的好壞。4.1

機器學習概述第4章機器學習4.1.1什么是機器學習3.數據集劃分舉例來說，若擬合直線y＝wx＋b，則根據新的x數據，就可以知道y的值。訓練集的作用是，通過已知的x和y，學習出或者訓練出合適的w和b，使得實際值和預測值盡可能接近。但是如果將所有已知的x和y全部用作訓練，則根據新的數據x，無法知道預測出的y有多么接近真實數據。這怎么辦？此時就需要測試集了。4.1

機器學習概述第4章機器學習4.1.1什么是機器學習3.數據集劃分將所有已知數據分為兩部分，多數（比如80%）作為訓練集，少數（比如20%）作為測試集。測試集還需要滿足以下兩個條件：規模足夠大，可產生具有統計意義的結果。能代表整個數據集。只有測試集滿足上述兩個條件，才有可能得到一個很好的泛化到新數據的模型。注意：絕對禁止使用測試數據進行訓練。數據集測試集訓練集4.1

機器學習概述第4章機器學習4.1.1什么是機器學習4.過擬合和欠擬合過擬合是指模型完美地或者很好地擬合了數據集的某一部分(訓練集)，但是此模型很可能并不能用來預測數據集的其他部分(測試集)。欠擬合指的是模型無法很好地擬合訓練數據，無法捕捉到數據中的真實模式和關系。在這種情況下，模型過于簡單或者復雜度不足，無法充分學習數據中的特征和模式。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程自從20世紀50年代開始研究機器學習以來，不同時期的研究途徑和目標也不同，機器學習的發展歷程大致分為四個階段：熱烈時期、冷靜時期、復興時期、最新階段。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程第一階段是20世紀50年代到60年代中葉，稱為機器學習發展的熱烈時期。在這個階段，機器學習所研究的是“沒有知識”的學習，即“無知”學習。該階段的研究目標是各類自組織系統和自適應系統，其主要研究方法是不斷修改系統的控制參數和改進系統的執行能力，不涉及與具體任務有關的知識。本階段的代表性工作是1952年IBM科學家亞瑟·塞繆爾（ArthurSamuel）開發的西洋跳棋程序；1958年羅森·布拉特設計的第一個計算機神經網絡——感知機（Perceptron），它模擬了人類大腦的運作方式。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程第二階段是20世紀60年代中葉到70年代中葉，稱為機器學習發展的冷靜時期。該階段的研究目標是模擬人類的概念學習過程，并采用邏輯結構或圖結構作為機器的內部描述。該階段的代表性工作有溫斯頓（Winston）的結構學習系統和海斯·羅思(HayesRoth)等人的基于邏輯的歸納學習系統，但這些學習系統只能學習單一概念，而且未能投入實際應用。事實上，在這個時期，整個AI領域都遭遇了瓶頸。當時，計算機的有限內存和處理速度不足以解決任何實際的AI問題。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程第三階段是20世紀70年代中葉到80年代中葉，稱為機器學習發展的復興時期。在此階段，機器學習從學習單一概念擴展到學習多個概念，并探索不同的學習策略和方法，且在該階段已開始把學習系統與各種應用結合起來，并且取得了很大的成功。1980年，在美國的卡內基梅隆大學(CMU)召開了第一屆機器學習國際研討會，標志著機器學習研究已在全世界興起。此后，機器學習得到了大量應用。1981年，偉博斯（Weibos）基于神經網絡反向傳播(BP)算法提出多層感知器(MLP)的概念；1986年，昆蘭（Quinlan）提出決策樹算法。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程第四階段是20世紀80年代中葉至今，這是機器學習發展的最新階段。1995年，機器學習領域中一個最重要的突破，由瓦普尼克（Vapnik）和科爾特斯（Cortes）在大量理論和實證的條件下提出的支持向量機(SVM)，從此將機器學習社區劃分為神經網絡社區和支持向量機社區。2006年，神經網絡研究領域領軍者辛頓(Hinton)提出了神經網絡深度學習（DeepLearning）算法，使神經網絡的能力大大提高，并向支持向量機發出挑戰。4.1

機器學習概述第4章機器學習4.1.2機器學習的發展歷程這個階段的機器學習具有如下特點。（1）機器學習已成為新的邊緣學科，它綜合應用了心理學、生物學、神經生理學、數學、自動化和計算機科學等學科，形成了機器學習理論基礎。（2）整合了各種學習方法，且形式多樣的集成學習系統研究正在興起。（3）機器學習與人工智能各種基礎問題的統一性觀點正在形成。（4）各種學習方法的應用范圍不斷擴大，部分應用研究成果已轉化為產品。（5）與機器學習有關的學術活動空前活躍。第四章機器學習4.1機器學習概述4.2機器學習類型4.3機器學習常用算法高職高專人工智能通識課規劃教材4.4本章實訓4.5拓展知識4.2機器學習類型第4章機器學習機器學習的核心是“使用算法分析數據，從數據中學習，然后對未知的某件事情做出決定或預測”。這意味著，機器學習不是直接地編寫程序來執行某些任務，而是指導機器如何獲得一個模型來完成任務。機器通過學習可以提取數據規律、創建模型。根據數據類型的不同，與之對應的機器學習類型也不同，主要有監督學習、無監督學習、半監督學習和強化學習等。4.2

機器學習類型第4章機器學習4.2.1監督學習監督學習就是根據已有的大量的輸入數據與輸出數據（結果）之間的關系，去尋找合適的模型（函數），并使用模型去預測未來的結果。每個訓練數據樣本都有特征值和對應的標簽，機器學習時從有標簽的訓練數據中學習并獲得模型，以便對未知或未來的數據做出預測。“監督”指的是已經知道樣本的輸出信號或標簽。監督學習猶如學生在學習過程中有老師講授一樣，會事先知道相關答案。例如，有兩朵鮮花圖片，并已知鮮花的名稱（玫瑰花、格桑花），即鮮花的標簽。事先要對計算機要學習的數據樣本進行標注（打標簽），如圖所示，即事先知道明確的結果（答案），這相當于監督了計算機的學習過程。4.2

機器學習類型第4章機器學習4.2.1監督學習監督學習常用于解決生活中分類和回歸的問題，如垃圾郵件分類、判斷腫瘤是良性還是惡性等問題。（1）分類。帶有離散分類標簽的監督學習也稱為分類任務，這些分類標簽是離散值。分類任務的常見算法包括：邏輯回歸、支持向量機(SVM)、決策樹、隨機森林、樸素貝葉斯、神經網絡等。分類示意圖如圖所示。4.2

機器學習類型第4章機器學習4.2.1監督學習（2）回歸。監督學習的另一個子類是回歸，其結果信號是連續的數值。回歸的任務是預測目標數值，如在給定一組特性（房屋大小、房間數等）的情況下，來預測房屋的售價。回歸分析的常見算法包括：線性回歸、神經網絡、AdaBoosting等。線性回歸如圖所示。4.2

機器學習類型第4章機器學習4.2.2無監督學習無監督學習又稱為歸納性學習。在無監督學習中，數據樣本事先是無標簽的，也就是沒有分類的，需要從大量數據中自行獲得新方法或新發現，機器需要直接對無標簽的數據建立模型，然后對觀察數據進行分類或者區分。“無監督”指的是事先不知道樣本的輸出信號或標簽。無監督學習猶如學生自學的過程，沒有老師的講授，學生需要通過自覺尋找答案。無監督學習的應用模式主要包括聚類算法和關聯規則抽取。4.2

機器學習類型第4章機器學習4.2.2無監督學習聚類算法又分為K-means聚類和層次聚類。聚類算法的目標是創建對象分組，使得同一組內的對象盡可能相似，而處于不同組內的對象盡可能相異。聚類算法如圖所示。4.2

機器學習類型第4章機器學習4.2.3半監督學習半監督學習是模式識別領域研究的重點問題，是監督學習和無監督學習相結合的一種學習方法。在現實生活中，有時對數據進行標記的代價很高，大量的數據往往是未經過標記的，而僅有一小部分數據是經過標記的。半監督學習使用大量的未標記數據，同時使用少量的標記數據，來進行模式識別工作。使用未標記的數據的目的是獲得對數據結構的更多理解。4.2

機器學習類型第4章機器學習4.2.4強化學習強化學習，又稱再勵學習、評價學習或增強學習，用于描述和解決智能體（Agent）在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題。強化學習是從動物學習、參數擾動自適應控制等理論發展而來的，其基本原理是：如果智能體的某個行為策略導致環境正的獎賞（強化信號），那么智能體以后產生這個行為策略的趨勢便會加強。智能體的目標是在每個離散狀態發現最優策略，以使期望的折扣獎賞和達到最大。與監督學習和無監督學習不同，強化學習不涉及提供“正確”答案或輸出，相反，它只關注性能和行為，這類似于人類根據積極或消極的結果來學習。例如，一個小孩剛開始時并不知道玩火會被灼傷，一旦不小心被火灼傷了，以后就會小心避開火源。4.2

機器學習類型第4章機器學習4.2.4強化學習強化學習的經典應用是玩游戲。例如，一款下棋軟件可以學會不把它的國王移到對手的棋子可以進入的空間。剛開始，軟件完全不知道如何將棋子放到正確的地方，但是，一旦軟件將棋子放在正確的地方，系統就向其反饋獎勵（如增加分值），一旦放到會被對方攻擊到的地方，系統就向其反饋懲罰（如扣掉分值）。經過大量的訓練后，軟件逐漸在獎勵和懲罰中，學會了正確放置棋子。這一基本訓練可以被擴展和推斷出來，直到軟件能夠打敗人類頂級玩家為止。第四章機器學習4.1機器學習概述4.2機器學習類型4.3機器學習常用算法高職高專人工智能通識課規劃教材4.4本章實訓4.5拓展知識4.3機器學習常用算法第4章機器學習4.3.1線性回歸1.什么是一元線性回歸“回歸”這一術語