第二章機器學習本章目標了解機器學習的應用領域掌握機器學習的分類掌握機器學習的流程掌握機器學習的算法理解機器學習的意義2.1機器學習簡介人工智能、機器學習、深度學習三者之間的關系人工智能是目標，機器學習是手段，深度學習是方法。2.1.1機器學習定義

機器學習就是一種通過計算機系統利用數據進行自動學習的方法。目標就是要讓計算機系統通過不斷學習和優化，從數據中發現規律、提取特征，并能夠在未來的數據中做出智能決策。定義一：湯姆·米切爾給出機器學習一個具象化定義假設用P（Performace）來評估計算機程序在某類任務T（Task）上的性能，若一個程序通過利用經驗E（Experience）在T中任務上獲得了性能改善，則我們就說關于T和P，該程序對E進行了學習。定義二：Nvidia給出機器學習定義最基本的機器學習是使用算法解析數據，從中學習，然后對世界上某事做出決定或預測的做法。定義三：斯坦福給出機器學習定義機器學習是讓計算機在沒有明確編程的情況下采取行動的科學。定義四：麥肯錫公司給出機器學習定義機器學習基于可以從數據中學習而不依賴于基于規則的編程的算法。定義五：卡內基梅隆大學給出機器學習定義機器學習領域旨在回答這樣一個問題：”我們如何建立能夠根據經驗自動改進的計算機系統，以及管理所有學習過程的基本法則是什么？“2.1.1機器學習定義

機器學習使用大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。

機器學習通過算法，使得機器能夠從大量歷史數據中學習規律，并利用規律對新的樣本做智能識別或對未來做預測。2.1.1機器學習定義

機器學習與人類學習的對應關系

“人類的經驗”對應于“機器的歷史數據”，“人類通過經驗歸納出的規律”對應于“機器通過歷史數據訓練出來的模型”，“人類利用規律解決新問題并預測未來”對應于“機器利用模型預測新數據對應的結果”。通過這樣的對應可以發現，機器學習的思想并不復雜，僅僅是對人類在生活中學習、成長過程的一種模擬。2.1.2機器學習發展史知識推理期始于20世紀50年代中期，這時的人工智能主要通過專家系統賦予計算機邏輯推理能力，赫伯特·西蒙和艾倫·紐厄爾實現的自動定理證明了邏輯學家拉賽爾（Russell）和懷特黑德（Whitehead）編寫的《數學原理》中的52條定理。20世紀70年代開始，人工智能進入知識工程期，費根鮑姆作為“知識工程之父”在1994年獲得了圖靈獎。2006年，辛頓發表了深度信念網絡論文，本希奧等人發表了論文“GreedyLayer-WiseTrainingofDeepNetworks”（深層網絡的貪婪層智慧訓練），楊立昆團隊發表了論文“EfficientLearningofSparseRepresentationswithanEnergy-BasedModel”（基于能量模型的稀疏表示的高效學習），標志著人工智能進入了深層網絡的實踐階段。

機器學習的發展可分為知識推理期、知識工程期、淺層學習和深度學習幾個階段。在20世紀50年代，機器學習的研究代表性工作主要是羅森布拉特《基于神經感知科學提出的計算機神經網絡（即感知機）》。在隨后的10年中，淺層學習的神經網絡曾經風靡一時，特別是馬文·明斯基提出了著名的XOR問題和感知機線性不可分的問題。k近鄰（K-NearestNeighbor，KNN）等算法的相繼提出，淺層模型在模型理解、準確率、模型訓練等方面被超越。云計算和GPU（GraphicsProcessingUnit，圖形處理單元）并行計算為深度學習的發展提供了基礎保障。2.1.2機器學習發展史

機器學習算法理論大致演變過程機器學習階段年份主要成果代表人物人工智能起源1936自動機模型理論阿蘭·圖靈（AlanTuring）1943MP(McCulloch-Pitts)模型（神經元模型）沃倫·麥卡洛克（WarrenMcCulloch）、沃爾特·皮茨(WalterPitts)1951符號演算約翰·馮·諾依曼（JohnvonNeumann）1956人工智能約翰·麥卡錫（JohnMcCarthy）、馬文·明斯基（MarvinMinsky）、克勞德·香農（ClaudeShannon）人工智能初期1958LISP約翰·麥卡錫1962感知機收斂理論弗蘭克·羅森布拉特（FrankRosenblatt）1972GPS(General-ProblemSolver,通用問題求解程序）艾倫·紐厄爾（AllenNewell）赫伯特·西蒙（HerbertSimon)1975框架知識表示馬文·明斯基進化計算1965進化策略英戈·雷興貝格（IngoRechenberg）1975遺傳算法約翰·霍蘭（JohnHolland）1992基因計算約翰·科扎（JohnKoza）

專家系統和知識工程1965模糊邏輯、模糊集盧特菲·扎德（LotfiZadeh）1969DENDRAL、MYCIN愛德華·費根鮑姆（EdwardFeigenbaum）、布魯斯·布坎南（BruceBuchanan）、約書亞·萊德伯格（JoshuaLederberg)1979ROSPECTOR杜達（Duda）神經網絡1982霍普菲爾德神經網絡約翰·霍普菲爾德（JohnHopfield）1982自組織網絡圖沃·科霍寧（TeuvoKohonen）1986BP算法魯姆哈特（Rumelhart）、麥克萊蘭（McClelland）1989LeNet楊立昆（YannLeCun）1997RNN(RecurrentNeuralNetwork,循環神經網絡）、LSTM（LongShort-TermMemory，長短期記憶）

澤普·霍赫賴特（SeppHochreiter）、尤爾根·施米德胡貝（JurgenSchmidhuber）1998CNN(ConvolutionalNeuralNetwork，卷積神經網絡） 楊立昆機器學習階段年份主要成果代表人物分類算法1986ID3（IterativeDichotomiser3，迭代二叉樹3代）算法羅斯·昆蘭（RossQuinlan）1988Boosting算法約夫·弗雷德（YoavFreund）、邁克爾·卡恩斯（MichaelKearns)1993C4.5算法羅斯·昆蘭1995AdaBoost算法弗雷德、羅伯特·夏普（RobertSchapire）1995支持向量機科琳娜·科爾特斯（CorinnaCortes）、萬普尼克（Vapnik）2001隨機森林利奧·布賴曼（LeoBreiman）、阿黛爾·卡特勒（AdeleCutler）深度學習2006深度信念網絡杰弗里·辛頓（GeoffreyHinton）2012谷歌大腦吳恩達（AndrewNg）2014GAN(GenerativeAdversarialNetwork，生成對抗網絡）伊恩·古德費洛（IanGoodfellow）2014注意力機制約書亞·本希奧（YoshuaBengio）2014VGG/GoolgleNet牛津大學和克里斯蒂安·塞格迪（ChristianSzegedy）2015ResNet何愷明等2017Transformer谷歌（Google）公司2018BERT(BidirectionalEncoderRepresentationsfromTransformers,基于轉換器的雙向編碼表征）谷歌公司2.1.3機器學習的應用領域1.數據分析與挖掘2.計算機視覺3.自然語言處理4.語音識別

數據分析與挖掘技術是機器學習算法和數據存取技術的結合，是利用機器學習提供的統計分析、知識發現等手段分析，從大量的業務數據中挖掘隱藏、有用的、正確的知識促進決策的執行。計算機視覺的主要技術基礎是圖像處理和機器學習。自然語言處理是讓機器理解人類語言的一門技術。語音識別是利用自然語言處理、機器學習等相關技術識別人類語言的技術。1.1.3人工智能起源和發展

機器學習是人工智能的重要研究方向，它包含著豐富的知識體系，因此按照一定的規則對其進行細分顯得尤為必要。60年代，星際迷航80年代，終結者21世紀，人工智能2.2.1機器學習分類?機器學習的主要分類有兩種：

基于學習方式的分類和基于學習任務的分類。?根據學習方式的不同可分為監督學習、無監督學習和強化學習。?根據學習任務的不同可分為分類、回歸、聚類和降維。

機器學習

強化學習

無監督學習

降維

聚類

回歸

分類

監督學習

不同的分類方式彼此又存在著聯系，分類和回歸屬于監督學習，而聚類和降維屬于無監督學習。2.2.2機器學習基本術語1)模型

模型是機器學習中的核心概念。2)數據集

數據集就是樣本的集合。3)樣本&特征

樣本指的是數據集中的數據，一行數據被稱為“一個樣本”，一個樣本包含一個或多個特征。一行一樣本，一列一特征2.2.2機器學習基本術語4)向量“向量”是機器學習的關鍵術語。5）矩陣矩陣是一個常用的數學術語，可以把矩陣看成由向量組成的二維數組，數據集就是以二維矩陣的形式存儲數據的。6）假設函數和損失函數

假設函數和損失函數并非某個模塊下的函數方法，而是根據實際應用場景確定的一種函數形式，就像解決數學的應用題目一樣，根據題意寫出解決問題的方程組。2.2.2機器學習基本術語①假設函數

假設函數（HypothesisFunction）可表述為：

y=f(x)

其中x表示輸入數據，而y表示輸出的預測結果。2.2.2機器學習基本術語②損失函數

損失函數（LossFunction）又叫目標函數，簡寫為L(x)，x是假設函數得出的預測結果“Y”。

?L(x)的返回值越大表示預測結果與實際偏差越大，越小則證明預測值越“逼近”真實值，這就是機器學習的最終目的。

損失函數就像一個度量尺，通過“假設函數”預測結果的優劣，做出相應的優化策略。2.2.2機器學習基本術語③優化方法“優化方法”可以理解為假設函數和損失函數之間的溝通橋梁。

f(x)假設函數

L(x)損失函數

輸入數據通過L(x)可以得知假設函數輸出的預測結果與實際值的偏差值，當該值較大時就需要對其做出相應的調整，這個調整的過程叫做“參數優化”。輸出預測結果輸出“偏差值”優化方法2.2.2機器學習基本術語7）擬合、過擬合和欠擬合欠擬合過擬合擬合2.2.3機器學習流程問題定義數據準備模型選擇與開發模型訓練和調優模型評估測試一個完整的機器學習流程包括：

問題定義、數據準備、模型選擇與開發、模型訓練和調優、模型評估測試等5個步驟。

分析問題，確定問題的類型。分析它是監督學習還是無監督學習，是分類問題還是回歸問題等。

數據采集，數據預處理，特征提取，數據集拆分。

模型的作用是根據輸入的特征給出輸出的結果。選擇合適的機器學習算法模型，編寫對應的模型代碼。

使用數據集對模型進行訓練，調整模型參數，得到一個最優的函數，然后將待預測的特征自變量輸入模型即可得到預測的結果。

對訓練好的模型進行評估和測試，驗證模型是否滿足業務需求。2.2.4機器學習常用算法這些算法可以使用Python中的scikit-learn中內置的相應函數實現。機器學習常用的算法有K近鄰、線性回歸、邏輯回歸、樸素貝葉斯、決策樹、支持向量機、K均值聚類等。2.2.4機器學習常用算法1.K近鄰（K-NearestNeighbor，KNN）

K近鄰算法的核心思想就是距離的比較，即離誰近，就和誰屬于同一分類。依據

K近鄰算法，假設K代表鄰居的個數：?如果K=3，圓點最鄰近的3個鄰居是2個小三角形和1個小正方形，少數從服多數，基于統計的方法，判定圓點屬于三角形一類。?如果K=5，圓點最鄰近的5個鄰居是2個三角形和3個正方形，少數服從多數，基于統計的方法，判定圓點屬于正方形一類。在KNN算法中，所選擇的鄰居都是已經正確分類的對象，對于新來的待分樣本，只要找到離它最近的K個實例，按照少數服從多數原則，哪個類別多就把它歸為哪一類。2.2.4機器學習常用算法2.線性回歸（LinearRegression）

線性回歸是一種用于建立變量之間線性關系的監督學習算法。它通過擬合一條直線來最小化預測值與實際值的差距。如果預測的變量是離散的，稱之為分類；如果預測的變量是連續的，稱之為回歸。線性回歸假設目標值與特征之間線性相關，即滿足一個多元一次方程。在二維空間中，通過擬合一條直線建立自變量與因變量之間的關系，在三維空間中則擬合一個平面。

表示樣本，表示每個樣本都有個特征，其中是在第個特征上的取值。表示樣本，每個樣本都有個特征。2.2.4機器學習常用算法3.邏輯回歸（LogisticRegression）邏輯回歸是一種用于處理分類問題的監督學習算法。盡管名字中帶有“回歸”，但實際上邏輯回歸是一種分類算法。二分類的邏輯回歸的本質是用一個映射函數Sigmoid將一個線性模型得到的連續結果映射到離散模型上。邏輯回歸的目的就是尋找一個非線性函數Sigmoid的最佳擬合參數，求解過程可以由最優化算法來完成。Sigmoid函數也稱邏輯函數，該函數公式：

由Sigmoid函數的圖像知：當z趨近于無窮大時，

趨近于1；當z趨近于無窮小時，

趨近于0。的值映射到（0，1）。當z趨近于無窮大時，趨近于1；當z趨近于無窮小時，趨近于0。2.2.4機器學習常用算法4.樸素貝葉斯（NaiveBayes）

樸素貝葉斯是一種基于貝葉斯定理與特征條件獨立假設的分類算法。它假設所有特征相互獨立、互不影響，每個特征同等重要。樸素貝葉斯算法是以貝葉斯定理為基礎并且假設特征條件之間相互獨立的方法，先通過已給定的訓練集，以特征詞之間獨立作為前提假設，學習從輸入到輸出的聯合概率分布，再基于學習到的模型，輸入x求出使得后驗概率最大的輸出y。貝葉斯定理是描述隨機事件A和B的條件概率（或邊緣概率）的一則定理：由于

的大小是固定不變的，因此在比較后驗概率時，只比較上式的分子部分即可。因此可以得到一個樣本數據屬于類別

的樸素貝葉斯計算式：2.2.4機器學習常用算法5.決策樹（DecisionTree）決策樹是一種基于樹狀結構進行決策的算法，它是一種監督學習，可用于分類和回歸問題。決策樹是在已知各種情況發生概率的基礎上，通過構成決策樹來求取凈現值的期望值大于等于零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。2.2.4機器學習常用算法6.支持向量機（SupportVectorMachine，SVM）支持向量機是一種監督機器學習算法，可用于分類或回歸任務。支持向量機使用一種稱為內核技巧的技術來轉換數據，然后基于這些轉換找到可能輸出之間的最佳邊界。也就是找到一個超平面，最大化樣本點到該超平面的間隔。如何將圓點數據與五角星數據進行分割？SVM的核函數能夠將數據從二維空間投射至高維空間。?如果將二維空間變成三維空間，如果圓點泡泡上浮，五角星下沉，這樣就可以在浮起的圓點數據和沉下的五角星數據之間找到一個超平面將兩類數據進行分割。2.2.4機器學習常用算法7.K均值聚類（K-MeansClustering）聚類算法是指將一堆沒有標簽的數據自動劃分成幾類的方法，屬于無監督學習方法。1）k值如何確定？

采用“肘”方法（elbowmethod）確定k值。2）初始的k個質心怎么選？

第一種方法是選擇彼此距離最遠的點，先選第一個點；然后選離第一個點最遠的點當第二個點；再選第三個點，第三個點到第一、第二兩點的距離之和最大；以此類推，直到選出k個質心。第二種方法是先根據其他聚類算法得到聚類結果，再從結果中的每個分類選一個點。K-Means算法關鍵：2.2.4機器學習常用算法8.隨機森林（RandomForest）隨機森林是一種集成學習方法，通過組合多個決策樹來進行預測。每個決策樹都是在不同的數據子集上訓練的，同時引入了隨機性，使得每棵樹都有差異。2.3深度學習與神經網絡深度學習可以理解成用深度神經網絡（DNN，DeepNeuralNetwork）來進行機器學習。深度學習的概念源于人工神經網絡的研究，含多個隱藏層的多層感知器就是一種深度學習結構。2.3.1深度學習（DL，DeepLearning）深度學習從字面理解包含兩個意思，“深度”和“學習”。為了模擬人腦中的“學習策略”和“學習方法”。學術界研究出使用計算機去模擬這一學習過程的方法，被稱為“神經網絡”。1)學習學習就是一個認知的過程，從學習未知開始，到對已知的總結、歸納、思考與探索。

“神經網絡”這個詞從字面上看和人腦有著一點關系。在人腦中負責活動的基本單元是“神經元”，它以細胞體為主體，由許多向周圍延伸的不規則樹枝狀纖維構成的神經細胞。人腦中含有上百億個神經元，而這些神經元互相連接成一個更龐大的結構，稱為“神經網絡”。2.3.1深度學習（DL，DeepLearning）深度學習從字面理解包含兩個意思，“深度”和“學習”。

深度學習是一個復雜的機器學習算法，其模型使用包含大量層的神經網絡。它是人為地使用不同層次不同任務目標的“分層”神經元，去模擬整個輸入、輸出過程的一種手段。2)深度

input_layer是輸入層，hidden_layer_1到hidden_layer_n是隱藏層，output_layer是輸出層。深度指的是隱藏的層數。2.3.1深度學習（DL，DeepLearning）深度學習模型：主要的思想就是模擬人的神經元，每個神經元接收到信息，處理完后傳遞給與之相鄰的所有神經元。?卷積神經網絡（convolutionalneuralnetwork，CNN）?深度置信網絡（deepbelievenet，DBN）?堆棧自編碼網絡（stackedauto-encodernetwork，SAEN）模型2.3.2神經網絡

神經網絡技術起源于20世紀50年代到20世紀60年代，經過許多科學家的努力，人腦神經元的這種處理信息模式最終演化為神經元模型，也叫感知機（perceptron）。它是一種多輸入、單輸出的非線性閾值器件，包含輸入層、輸出層和一個隱藏層。

在一個神經網絡中，神經元是構成神經網絡的最小單元，如果一個神經元的輸出等于n個輸入的加權和，則網絡模型是一個線性輸出。在每個神經元加權求和后經過一個激活函數（ActivationFunction），則引入了非線性因素，神經網絡就可以應用到任意非線性模型中。2.3.2神經網絡1．神經網絡的原理2.3.2神經網絡1．神經網絡的原理

神經網絡中，每一層都有不同的神經元，且每個神經元都會接收來自上一層神經元的信號，并且產生新的輸出信號傳到下一層神經元中。神經元接收上一層的輸入并輸出到下一層的方式被稱為前向傳播，這種神經網絡被稱為前饋神經網絡或多層感知器（multilayerperceptron，MLP）。1）神經網絡結構2.3.2神經網絡2）激活函數

神經網絡能解決復雜問題的能力主要取決于網絡所采用的激活函數。

激活函數決定該神經元接收輸入與偏差信號以何種方式輸出，輸入通過激活函數轉換為輸出。

常用的3種激活函數：2.3.2神經網絡2.神經網絡的決策1）決策因素2）權重設置3）設定閾值4）加入偏置項b思政小課堂：向著建設世界科技強國的偉大目標奮勇前進“中國要強盛、要復興，就一定要大力發展科學技術，努力成為世界主要科學中心和創新高地。”中共中央總書記、國家主席、中央軍委主席習近平在中國科學院第十九次院士大會、中國工程院第十四次院士大會上的重要講話是新時代建設世界科技強國的新的“動員令”。從“向科學進軍”到“迎來創新的春天”，從“占有一席之地”到“成為具有重要影響力的科技大國”……中國創新的旋律越來越激越、昂揚。“只有把關鍵核心技術掌握在自己手中，才能從根本上保障國家經濟安全、國防安全和其他安全。”中國科協黨組書記懷進鵬院士說，要以關鍵共性技術、前沿引領技術、現代工程技術、顛覆性技術創新為突破口，敢于走前人沒走過的路，努力實現關鍵核心技術自主可控。參加大會的兩院院士和科技工作者表示，要認真學習領會習近平總書記的重要講話精神，肩負起歷史賦予的重任，勇做新時代科技創新的排頭兵，努力建設世界科技強國。2.3.2神經網絡思政小課堂：中國在機器學習領域的突破浙江大學控制學院智能駕駛與未來交通中心主任、教授劉勇在中國人工智能大會上強調，近年來，隨著傳感器技術和SLAM理論的突破，自主移動機器人已經從研究邁向市場應用，涉及的領域包括無人駕駛、智慧城市、腿足機器人、火星車等等。谷歌、蘋果、Met