《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》chap1-緒論chap2-機(jī)器學(xué)習(xí)基礎(chǔ)概念chap3-線性模型chap4-前饋神經(jīng)網(wǎng)絡(luò)chap5-卷積神經(jīng)網(wǎng)絡(luò)chap6-循環(huán)神經(jīng)網(wǎng)絡(luò)chap7-圖神經(jīng)網(wǎng)絡(luò)chap8-案例全套可編輯PPT課件

本課件是可編輯的正常PPT課件第1章緒論《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》本課件是可編輯的正常PPT課件更詳細(xì)的課程概括本課件是可編輯的正常PPT課件1.緒論2.機(jī)器學(xué)習(xí)基礎(chǔ)概述3.經(jīng)典線性模型4.前饋神經(jīng)網(wǎng)絡(luò)5.卷積神經(jīng)網(wǎng)絡(luò)6.循環(huán)神經(jīng)網(wǎng)絡(luò)7.圖神經(jīng)網(wǎng)絡(luò)8.機(jī)器學(xué)習(xí)模型的應(yīng)用課程大綱本課件是可編輯的正常PPT課件預(yù)備知識(shí)線性代數(shù)微積分?jǐn)?shù)學(xué)優(yōu)化概率論信息論本課件是可編輯的正常PPT課件1.1引言人工智能（artificialintelligence，AI）就是讓機(jī)器具有人類的智能?！坝?jì)算機(jī)控制”+“智能行為”人工智能這個(gè)學(xué)科的誕生有著明確的標(biāo)志性事件，就是1956年的達(dá)特茅斯（Dartmouth）會(huì)議。在這次會(huì)議上，“人工智能”被提出并作為本研究領(lǐng)域的名稱。人工智能就是要讓機(jī)器的行為看起來就像是人所表現(xiàn)出的智能行為一樣。JohnMcCarthy（1927-2011）本課件是可編輯的正常PPT課件1.1引言人工智能的一個(gè)子領(lǐng)域機(jī)器學(xué)習(xí)：是一種通過數(shù)學(xué)模型和算法從觀測(cè)數(shù)據(jù)中學(xué)習(xí)規(guī)律的方法。神經(jīng)網(wǎng)絡(luò)：是一種以（人工）神經(jīng)元為基本單元的模型深度學(xué)習(xí)：是一類機(jī)器學(xué)習(xí)問題，主要解決貢獻(xiàn)度分配問題。本課件是可編輯的正常PPT課件圖靈測(cè)試AlanTuring“一個(gè)人在不接觸對(duì)方的情況下，通過一種特殊的方式，和對(duì)方進(jìn)行一系列的問答。如果在相當(dāng)長(zhǎng)時(shí)間內(nèi)，他無法根據(jù)這些問題判斷對(duì)方是人還是計(jì)算機(jī)，那么就可以認(rèn)為這個(gè)計(jì)算機(jī)是智能的”。---AlanTuring[1950]《ComputingMachineryandIntelligence》本課件是可編輯的正常PPT課件人工智能的研究領(lǐng)域讓機(jī)器具有人類的智能機(jī)器感知（計(jì)算機(jī)視覺、語音信息處理）學(xué)習(xí)（模式識(shí)別、機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)）語言（自然語言處理）記憶（知識(shí)表示）決策（規(guī)劃、數(shù)據(jù)挖掘）本課件是可編輯的正常PPT課件發(fā)展歷史本課件是可編輯的正常PPT課件如何開發(fā)一個(gè)人工智能系統(tǒng)？開發(fā)人工智能系統(tǒng)的過程通常包括以下步驟：確定目標(biāo)、收集和準(zhǔn)備數(shù)據(jù)、選擇和訓(xùn)練模型、測(cè)試和調(diào)整模odel、部署和監(jiān)控。確定AI系統(tǒng)的目標(biāo)是一個(gè)至關(guān)重要的步驟，因?yàn)樗苯佑绊懙较到y(tǒng)設(shè)計(jì)和實(shí)施的方法。數(shù)據(jù)是訓(xùn)練AI系統(tǒng)的基礎(chǔ)。你需要收集大量的數(shù)據(jù)，這些數(shù)據(jù)能夠反映出你希望系統(tǒng)學(xué)習(xí)的模式和關(guān)系。數(shù)據(jù)的質(zhì)量和數(shù)量直接影響到AI系統(tǒng)的性能。在收集和準(zhǔn)備了數(shù)據(jù)之后，你需要選擇一個(gè)適合你的任務(wù)的AI模型，并用你的數(shù)據(jù)來訓(xùn)練它。AI模型的選擇取決于你的任務(wù)類型，例如，如果你的任務(wù)是圖像識(shí)別，你可能會(huì)選擇卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型；如果你的任務(wù)是文本處理，你可能會(huì)選擇循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型在模型訓(xùn)練完成后，你需要在測(cè)試集上測(cè)試模型的性能，看看模型是否能夠很好地泛化到未見過的數(shù)據(jù)。你可能需要調(diào)整模型的參數(shù)，或者嘗試不同的模型，以達(dá)到最佳的性能。最后，你需要將訓(xùn)練好的AI系統(tǒng)部署到實(shí)際的環(huán)境中，看看它在實(shí)際的任務(wù)中是否能夠達(dá)到預(yù)期的效果。你需要對(duì)系統(tǒng)的性能進(jìn)行持續(xù)的監(jiān)控和調(diào)整，以確保系統(tǒng)的穩(wěn)定性和效果。本課件是可編輯的正常PPT課件規(guī)則?機(jī)器學(xué)習(xí)本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)≈構(gòu)建一個(gè)映射函數(shù)語音識(shí)別圖像識(shí)別圍棋機(jī)器翻譯“9”“你好”“6-5”“Hello!”“你好！”(落子位置)本課件是可編輯的正常PPT課件芒果解釋機(jī)器學(xué)習(xí)如果判斷芒果是否甜蜜？某天你去買芒果。你挑選后，小販會(huì)稱重，你需要根據(jù)根據(jù)重量乘以標(biāo)記的固定單價(jià)來付錢。毋庸置疑，你會(huì)選擇那些最甜、最熟的芒果（因?yàn)槭前粗亓坑?jì)費(fèi)而不是按質(zhì)量）。那么你要怎么挑選呢？你依稀記得，外婆告訴你，那些有光澤的黃芒果會(huì)比沒光澤的黃芒果更甜。所以你就定下了一個(gè)挑選標(biāo)準(zhǔn)：只在那些有光澤的黃芒果里挑選。然后，你仔細(xì)觀察了芒果的顏色，然后從中選出了那些有光澤的黃芒果，給錢，回家！然后，幸福和快樂是結(jié)局？本課件是可編輯的正常PPT課件芒果機(jī)器學(xué)習(xí)從市場(chǎng)上隨機(jī)選取的芒果樣本（訓(xùn)練數(shù)據(jù)），列出每個(gè)芒果的所有特征：如顏色，大小，形狀，產(chǎn)地，品牌以及芒果質(zhì)量（輸出變量）：甜蜜，多汁，成熟度。設(shè)計(jì)一個(gè)學(xué)習(xí)算法來學(xué)習(xí)芒果的特征與輸出變量之間的相關(guān)性模型。下次從市場(chǎng)上買芒果時(shí)，可以根據(jù)芒果（測(cè)試數(shù)據(jù)）的特征，使用前面計(jì)算的模型來預(yù)測(cè)芒果的質(zhì)量。本課件是可編輯的正常PPT課件知識(shí)知道怎么做專家系統(tǒng)…不知道怎么做容易做機(jī)器學(xué)習(xí)圖像識(shí)別自然語言處理語音識(shí)別不容易做強(qiáng)化學(xué)習(xí)圍棋如何開發(fā)一個(gè)人工智能系統(tǒng)？規(guī)則本課件是可編輯的正常PPT課件標(biāo)記、特征及樣本標(biāo)記（Label）是我們要預(yù)測(cè)的內(nèi)容。特征（Feature）是與其他事物明顯區(qū)分的顯著特點(diǎn)，也就是機(jī)器學(xué)習(xí)模型的輸入變量。樣本（Sample）是特定事物數(shù)據(jù)的實(shí)例。本課件是可編輯的正常PPT課件數(shù)據(jù)集一組樣本構(gòu)成的集合被稱為數(shù)據(jù)集（DataSet）數(shù)據(jù)集通常被分為兩個(gè)部分：訓(xùn)練集和測(cè)試集。訓(xùn)練集（TrainingSet）包含用于模型訓(xùn)練的數(shù)據(jù)樣本，也被稱為訓(xùn)練樣本（TrainingSample）。測(cè)試集（TestSet）用于評(píng)估最終模型的性能好壞，也被稱為測(cè)試樣本（TestSample）。本課件是可編輯的正常PPT課件模型

本課件是可編輯的正常PPT課件4.向量在數(shù)學(xué)中，向量（也稱為歐幾里得向量、幾何向量），指具有大小（magnitude）和方向的量。。在機(jī)器學(xué)習(xí)中，向量常用于表示數(shù)據(jù)樣本和特征。向量在機(jī)器學(xué)習(xí)中扮演著重要的角色，它們提供了一種有效的數(shù)據(jù)表示形式，使得機(jī)器學(xué)習(xí)算法能夠?qū)?shù)據(jù)進(jìn)行建模和分析。本課件是可編輯的正常PPT課件4.向量在數(shù)學(xué)中，向量（也稱為歐幾里得向量、幾何向量），指具有大小（magnitude）和方向的量。。在機(jī)器學(xué)習(xí)中，向量常用于表示數(shù)據(jù)樣本和特征。向量在機(jī)器學(xué)習(xí)中扮演著重要的角色，它們提供了一種有效的數(shù)據(jù)表示形式，使得機(jī)器學(xué)習(xí)算法能夠?qū)?shù)據(jù)進(jìn)行建模和分析。本課件是可編輯的正常PPT課件一個(gè)生活中的例子：顏色本課件是可編輯的正常PPT課件1.2概念本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是一種通過數(shù)學(xué)模型和算法從觀測(cè)數(shù)據(jù)中學(xué)習(xí)規(guī)律的方法。當(dāng)我們用機(jī)器學(xué)習(xí)來解決一些模式識(shí)別任務(wù)時(shí)，一般的流程包含以下幾個(gè)步驟：機(jī)器學(xué)習(xí)的基本思路本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)的流程機(jī)器學(xué)習(xí)解決問題的通用流程包括問題建模、特征處理（工程）、模型選擇和模型融合。當(dāng)我們用機(jī)器學(xué)習(xí)來解決一些模式識(shí)別任務(wù)時(shí)，一般的流程包含以下幾個(gè)步驟：機(jī)器學(xué)習(xí)的流程圖本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)模型的分類機(jī)器學(xué)習(xí)模型分成4類：監(jiān)督學(xué)習(xí)（SupervisedLearning）模型無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）模型半監(jiān)督學(xué)習(xí)（Semi-SupervisedLearning）模型強(qiáng)化學(xué)習(xí)（ReinforcementLearning）模型。本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域介紹AlphaGo是由GoogleDeepMind公司開發(fā)的人工智能圍棋程序。自動(dòng)駕駛智能制造業(yè)智慧醫(yī)療與健康金融服務(wù)媒體和娛樂本課件是可編輯的正常PPT課件1.3常用術(shù)語本課件是可編輯的正常PPT課件假設(shè)函數(shù)和損失函數(shù)假設(shè)函數(shù)：損失函數(shù)損失函數(shù)（LossFunction）又叫目標(biāo)函數(shù)本課件是可編輯的正常PPT課件擬合、過擬合和欠擬合模型對(duì)訓(xùn)練數(shù)據(jù)的預(yù)測(cè)誤差稱為訓(xùn)練誤差，也稱為經(jīng)驗(yàn)誤差。對(duì)測(cè)試數(shù)據(jù)的預(yù)測(cè)誤差稱為測(cè)試誤差，也稱為泛化誤差。過擬合和欠擬合圖解本課件是可編輯的正常PPT課件1.4機(jī)器學(xué)習(xí)環(huán)境構(gòu)建和常用工具本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)環(huán)境構(gòu)建和常用工具PythonAnaconda+JupyterNotebookNumPyMatplotlibPandasScikit-learnPyTorch

…本課件是可編輯的正常PPT課件推薦其他教材邱錫鵬,神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí),機(jī)械工業(yè)出版社,2020，ISBN9787111649687https://nndl.github.io/提供配套練習(xí)阿斯頓·張等,動(dòng)手學(xué)深度學(xué)習(xí),ISBN:9787115505835https://d2l.ai/有PyTorch版Bishop,C.M.(2006).PatternrecognitionandMachineLearning.Springer.ISBN9780387310732.網(wǎng)上有中文版by馬春鵬本課件是可編輯的正常PPT課件推薦教材Wright,S.,&Nocedal,J.(1999).Numericaloptimization.SpringerScience,35(67-68),7.Boyd,S.,&Vandenberghe,L.(2004).Convexoptimization.Cambridgeuniversitypress.本課件是可編輯的正常PPT課件推薦課程斯坦福大學(xué)CS224n:DeepLearningforNaturalLanguageProcessing/class/archive/cs/cs224n/cs224n.1194/ChrisManning主要講解自然語言處理領(lǐng)域的各種深度學(xué)習(xí)模型斯坦福大學(xué)CS231n:ConvolutionalNeuralNetworksforVisualRecognition/Fei-FeiLiAndrejKarpathy主要講解CNN、RNN在圖像領(lǐng)域的應(yīng)用加州大學(xué)伯克利分校CS294:DeepReinforcementLearning/deeprlcourse/本課件是可編輯的正常PPT課件推薦材料林軒田“機(jī)器學(xué)習(xí)基石”“機(jī)器學(xué)習(xí)技法”.tw/~htlin/mooc/李宏毅

“1天搞懂深度學(xué)習(xí)”.tw/~tlkagk/slide/Tutorial_HYLee_Deep.pptx李宏毅“機(jī)器學(xué)習(xí)2020”/video/av94519857/本課件是可編輯的正常PPT課件人工智能頂會(huì)論文NeurIPS、ICLR、ICML、AAAI、IJCAIACL、EMNLPCVPR、ICCV…本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)基礎(chǔ)概述《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容機(jī)器學(xué)習(xí)概念原理線性回歸定義經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化最小均方誤差結(jié)構(gòu)風(fēng)險(xiǎn)最小化最大似然估計(jì)最大后驗(yàn)估計(jì)機(jī)器學(xué)習(xí)的幾個(gè)關(guān)鍵點(diǎn)本課件是可編輯的正常PPT課件數(shù)據(jù)特征表示“狗”“大家好”“X-Y”“我有什么可以幫你嗎”“你好”用戶輸入機(jī)器(落子位置)語音識(shí)別圖像識(shí)別圍棋對(duì)話系統(tǒng)特征是被觀測(cè)對(duì)象的一個(gè)獨(dú)立可觀測(cè)的屬性或特點(diǎn)。本課件是可編輯的正常PPT課件特征工程和特征學(xué)習(xí)特征學(xué)習(xí)（或表征學(xué)習(xí)）是一種將原始數(shù)據(jù)轉(zhuǎn)換為能夠被機(jī)器學(xué)習(xí)并有效開發(fā)的數(shù)據(jù)的一種技術(shù)，即如何讓機(jī)器自動(dòng)地學(xué)習(xí)出有效的特征。特征工程利用領(lǐng)域知識(shí)和現(xiàn)有樣本數(shù)據(jù)，創(chuàng)造出新的特征。主要包括特征選擇（FeatureSelection）、特征提?。‵eatureExtraction）和特征構(gòu)建（FeatureConstruction）。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：準(zhǔn)確率（Accuracy）、準(zhǔn)確率的定義是預(yù)測(cè)正確的結(jié)果占總樣本的百分比，真正例（TruePositive，TP）：被模型預(yù)測(cè)為正的正樣本；假正例（FalsePositive，F(xiàn)P）：被模型預(yù)測(cè)為正的負(fù)樣本；假負(fù)例（FalseNegative，F(xiàn)N）：被模型預(yù)測(cè)為負(fù)的正樣本；真負(fù)例（TrueNegative，TN）：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：精確率（Precision）、本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：召回率（Recall）、本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、P-R曲線是描述精確率/召回率變化的曲線。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：F1-Score是精確率和召回率的加權(quán)調(diào)和平均。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：ROC、ROC曲線圖本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：AUC、AUC曲線圖本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：混淆矩陣（ConfuseMatrix）：混淆矩陣又稱為錯(cuò)誤矩陣，它可以直觀地反映算法的效果?；煜仃嚳梢晥D本課件是可編輯的正常PPT課件損失函數(shù)本課件是可編輯的正常PPT課件損失函數(shù)常見損失函數(shù)，曲線圖如圖0-1損失函數(shù)（0-1LossFunction）平方損失函數(shù)（QuadraticLossFunction）指數(shù)損失函數(shù)（Exp-LossFunction）交叉熵?fù)p失函數(shù)（Cross-EntropyLossFunction）Hinge損失函數(shù)（HingeLossFunction）本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)機(jī)器學(xué)習(xí)分類任務(wù)的常用評(píng)價(jià)指標(biāo)：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)≈構(gòu)建一個(gè)映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯(cuò)”“你好”用戶輸入機(jī)器(落子位置)語音識(shí)別圖像識(shí)別圍棋對(duì)話系統(tǒng)本課件是可編輯的正常PPT課件現(xiàn)實(shí)世界的問題都比較復(fù)雜很難通過規(guī)則來手工實(shí)現(xiàn)為什么要“機(jī)器學(xué)習(xí)”？本課件是可編輯的正常PPT課件什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)：通過算法使得機(jī)器能從大量數(shù)據(jù)中學(xué)習(xí)規(guī)律從而對(duì)新的樣本做決策。規(guī)律：決策（預(yù)測(cè)）函數(shù)獨(dú)立同分布p(x,y)本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)的三要素

本課件是可編輯的正常PPT課件常見的機(jī)器學(xué)習(xí)問題分類聚類回歸本課件是可編輯的正常PPT課件模型以線性回歸（LinearRegression）為例模型：本課件是可編輯的正常PPT課件學(xué)習(xí)準(zhǔn)則損失函數(shù)0-1損失函數(shù)平方損失函數(shù)本課件是可編輯的正常PPT課件學(xué)習(xí)準(zhǔn)則

本課件是可編輯的正常PPT課件最優(yōu)化問題機(jī)器學(xué)習(xí)問題轉(zhuǎn)化成為一個(gè)最優(yōu)化問題本課件是可編輯的正常PPT課件梯度下降法（GradientDescent）搜索步長(zhǎng)α中也叫作學(xué)習(xí)率（LearningRate）本課件是可編輯的正常PPT課件學(xué)習(xí)率是十分重要的超參數(shù)！本課件是可編輯的正常PPT課件隨機(jī)梯度下降法隨機(jī)梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每個(gè)樣本都進(jìn)行更新小批量（Mini-Batch）隨機(jī)梯度下降法本課件是可編輯的正常PPT課件隨機(jī)梯度下降法Why?本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)=優(yōu)化？機(jī)器學(xué)習(xí)=優(yōu)化？過擬合：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則很容易導(dǎo)致模型在訓(xùn)練集上錯(cuò)誤率很低，但是在未知數(shù)據(jù)上錯(cuò)誤率很高。過擬合問題往往是由于訓(xùn)練數(shù)據(jù)少和噪聲等原因造成的。NO！本課件是可編輯的正常PPT課件泛化錯(cuò)誤期望風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)泛化錯(cuò)誤

本課件是可編輯的正常PPT課件如何減少泛化錯(cuò)誤？正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗(yàn)風(fēng)險(xiǎn)最小本課件是可編輯的正常PPT課件正則化（regularization）L1/L2約束、數(shù)據(jù)增強(qiáng)權(quán)重衰減、隨機(jī)梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程本課件是可編輯的正常PPT課件提前停止我們使用一個(gè)驗(yàn)證集（ValidationDataset）來測(cè)試每一次迭代的參數(shù)在驗(yàn)證集上是否最優(yōu)。如果在驗(yàn)證集上的錯(cuò)誤率不再下降，就停止迭代。本課件是可編輯的正常PPT課件線性回歸本課件是可編輯的正常PPT課件線性回歸（LinearRegression）模型：增廣權(quán)重向量和增廣特征向量本課件是可編輯的正常PPT課件優(yōu)化方法經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（最小二乘法）結(jié)構(gòu)風(fēng)險(xiǎn)最小化（嶺回歸）最大似然估計(jì)最大后驗(yàn)估計(jì)本課件是可編輯的正常PPT課件經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化本課件是可編輯的正常PPT課件矩陣微積分標(biāo)量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)本課件是可編輯的正常PPT課件經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化模型學(xué)習(xí)準(zhǔn)則本課件是可編輯的正常PPT課件經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化優(yōu)化本課件是可編輯的正常PPT課件結(jié)構(gòu)風(fēng)險(xiǎn)最小化結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則得到嶺回歸（RidgeRegression）本課件是可編輯的正常PPT課件最大似然估計(jì)本課件是可編輯的正常PPT課件關(guān)于概率的一些基本概念概率（Probability）一個(gè)隨機(jī)事件發(fā)生的可能性大小，為0到1之間的實(shí)數(shù)。隨機(jī)變量（RandomVariable）比如隨機(jī)擲一個(gè)骰子，得到的點(diǎn)數(shù)就可以看成一個(gè)隨機(jī)變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個(gè)隨機(jī)變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗(yàn)中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項(xiàng)分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項(xiàng)式系數(shù)，表示從n個(gè)元素中取出k個(gè)元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對(duì)于離散隨機(jī)向量(X,Y)，已知X=x的條件下，隨機(jī)變量Y=y的條件概率為：貝葉斯公式兩個(gè)條件概率p(y|x)和p(x|y)之間的關(guān)系本課件是可編輯的正常PPT課件例子性別\行業(yè)計(jì)算機(jī)教育男0.40.10.5女0.10.40.50.60.4p(男|計(jì)算機(jī))=MarginalProbabilityMarginalProbability本課件是可編輯的正常PPT課件似然（Likelihood）

似然likelihood先驗(yàn)prior后驗(yàn)posterior貝葉斯公式：本課件是可編輯的正常PPT課件從概率角度來看線性回歸

本課件是可編輯的正常PPT課件線性回歸中的似然函數(shù)參數(shù)w在訓(xùn)練集D上的似然函數(shù)（Likelihood）為本課件是可編輯的正常PPT課件最大似然估計(jì)最大似然估計(jì)（MaximumLikelihoodEstimate，MLE）是指找到一組參數(shù)w使得似然函數(shù)p(y|X;w,σ)最大本課件是可編輯的正常PPT課件最大后驗(yàn)估計(jì)本課件是可編輯的正常PPT課件最大后驗(yàn)估計(jì)似然likelihood先驗(yàn)prior后驗(yàn)posterior正則化系數(shù)本課件是可編輯的正常PPT課件總結(jié)無先驗(yàn)引入先驗(yàn)平方誤差經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化結(jié)構(gòu)風(fēng)險(xiǎn)最小化概率最大似然估計(jì)最大后驗(yàn)估計(jì)本課件是可編輯的正常PPT課件多項(xiàng)式回歸本課件是可編輯的正常PPT課件一個(gè)例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型損失函數(shù)本課件是可編輯的正常PPT課件WhichDegreeofPolynomial?AmodelselectionproblemM=9→E(w)=0:Thisisoverfitting本課件是可編輯的正常PPT課件ControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!對(duì)大的系數(shù)進(jìn)行懲罰本課件是可編輯的正常PPT課件ControllingOverfitting:Regularization本課件是可編輯的正常PPT課件ControllingOverfitting:Datasetsize本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)的幾個(gè)關(guān)鍵點(diǎn)本課件是可編輯的正常PPT課件常見的機(jī)器學(xué)習(xí)類型本課件是可編輯的正常PPT課件如何選擇一個(gè)合適的模型？模型選擇擬合能力強(qiáng)的模型一般復(fù)雜度會(huì)比較高，容易過擬合。如果限制模型復(fù)雜度，降低擬合能力，可能會(huì)欠擬合。偏差與方差分解期望錯(cuò)誤可以分解為本課件是可編輯的正常PPT課件模型選擇：偏差與方差集成模型：有效的降低方差的方法本課件是可編輯的正常PPT課件線性模型《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容線性回歸模型、邏輯回歸模型、樸素貝葉斯模型、決策樹模型、支持向量機(jī)模型、KNN模型隨機(jī)森林模型。本課件是可編輯的正常PPT課件矩陣微積分標(biāo)量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)本課件是可編輯的正常PPT課件關(guān)于概率的一些基本概念概率（Probability）一個(gè)隨機(jī)事件發(fā)生的可能性大小，為0到1之間的實(shí)數(shù)。隨機(jī)變量（RandomVariable）比如隨機(jī)擲一個(gè)骰子，得到的點(diǎn)數(shù)就可以看成一個(gè)隨機(jī)變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個(gè)隨機(jī)變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗(yàn)中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項(xiàng)分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項(xiàng)式系數(shù)，表示從n個(gè)元素中取出k個(gè)元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對(duì)于離散隨機(jī)向量(X,Y)，已知X=x的條件下，隨機(jī)變量Y=y的條件概率為：貝葉斯公式兩個(gè)條件概率p(y|x)和p(x|y)之間的關(guān)系本課件是可編輯的正常PPT課件線性回歸模型本課件是可編輯的正常PPT課件模型：增廣權(quán)重向量和增廣特征向量線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第1步，我們需要導(dǎo)入所需的包。增廣權(quán)重向量和增廣特征向量1．from

sklearn

import

datasets

#導(dǎo)入sklearn

中的數(shù)據(jù)集

2．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分模塊

3．from

sklearn.linear_model

import

LinearRegression

#導(dǎo)入線性回歸模型

4．from

sklearn.metrics

import

mean_squared_error

#導(dǎo)入均方差評(píng)價(jià)指標(biāo)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第2步，首先加載數(shù)據(jù)集增廣權(quán)重向量和增廣特征向量1．#加載波士頓房?jī)r(jià)數(shù)據(jù)集

2．boston_data=datasets.load_boston()

3．#獲取波士頓房?jī)r(jià)數(shù)據(jù)集的特征集

4．bonston_x=boston_data.data

5．#獲取波士頓房?jī)r(jià)數(shù)據(jù)集的目標(biāo)值

6．bonston_y=boston_data.target

7．#查看數(shù)據(jù)集鍵值對(duì)

8．print(boston_data.keys())

9．#查看數(shù)據(jù)集描述

10．print(boston_data.DESCR)

11．#查看數(shù)據(jù)集特征值形狀，可以看出有506個(gè)樣本，每個(gè)樣本有13個(gè)特征

12．print(bonston_x.shape)

13．#查看數(shù)據(jù)集目標(biāo)值形狀，有506個(gè)目標(biāo)值?？梢园l(fā)現(xiàn)沒有缺失值

14．print(bonston_y.shape)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件通過結(jié)果可以知道共有506個(gè)樣本，特征向量維度為13，也就是說房?jī)r(jià)有13個(gè)影響因素。增廣權(quán)重向量和增廣特征向量

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第3步，劃分訓(xùn)練集和測(cè)試集，其中測(cè)試集占數(shù)據(jù)集的20%。1．#對(duì)數(shù)據(jù)集進(jìn)行劃分，其中測(cè)試集占數(shù)據(jù)集的20%

2．features_train,features_test,target_train,target_test

=train_test_split(bonston_x,bonston_y,test_size=0.2)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第4步，實(shí)例化模型并進(jìn)行訓(xùn)練。1．#實(shí)例化模型

2．model

=LinearRegression()

3．#進(jìn)行模型訓(xùn)練

4．model.fit(features_train,target_train)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第5步，對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并輸出預(yù)測(cè)目標(biāo)值和真實(shí)目標(biāo)值，從而直觀地感受預(yù)測(cè)目標(biāo)值與真實(shí)值目標(biāo)的差距。1．#進(jìn)行預(yù)測(cè)

2．target_test_predict=model.predict(features_test)

3．#查看預(yù)測(cè)目標(biāo)值4．print(target_test_predict)

5．#查看真實(shí)目標(biāo)值

6．print(target_test)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第6步，對(duì)模型進(jìn)行評(píng)價(jià)，采用的是均方差評(píng)價(jià)函數(shù)：1．#

對(duì)模型效果進(jìn)行評(píng)價(jià)

2．error=mean_squared_error(target_test,target_test_predict)

3．print('測(cè)試數(shù)據(jù)的誤差：',error)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件邏輯回歸模型本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測(cè)試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的邏輯回歸模型

7．from

sklearn.linear_model

import

LogisticRegression

邏輯回歸模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據(jù)集，查看數(shù)據(jù)集鍵值對(duì)，查看數(shù)據(jù)集描述，查看特征集形狀。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

3．#查看鳶尾花數(shù)據(jù)集的鍵值對(duì)

4．print(iris_data.keys())

5．#查看鳶尾花數(shù)據(jù)集的描述

6．print(iris_data.DESCR)

7．#查看鳶尾花特征集的形狀

8．print(iris_data.data.shape)

邏輯回歸模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件接下來劃分?jǐn)?shù)據(jù)集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集，使用默認(rèn)劃分比例，測(cè)試集占數(shù)據(jù)集的25%，查看劃分后訓(xùn)練集的形狀

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

3．print(features_train.shape)

邏輯回歸模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件實(shí)例化模型，訓(xùn)練模型，對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并輸出預(yù)測(cè)結(jié)果和真實(shí)結(jié)果，簡(jiǎn)單直觀地觀察模型性能。1．#實(shí)例化模型，默認(rèn)迭代次數(shù)為1000，這里我們?cè)O(shè)置為2500，迭代次數(shù)就是尋找損失函數(shù)最小值所迭代的次數(shù)

2．logstic_model=LogisticRegression(max_iter=2500)

3．#訓(xùn)練模型

4．logstic_model.fit(features_train,target_train)

5．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，打印預(yù)測(cè)結(jié)果，打印真實(shí)結(jié)果，直觀感受模型性能

6．target_pre=logstic_model.predict(features_test)

7．print(target_pre)

8．print(target_test)

邏輯回歸模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件最后對(duì)模型進(jìn)行評(píng)價(jià)，并輸出其結(jié)果。1．#對(duì)模型進(jìn)行評(píng)價(jià)，使用自帶的性能評(píng)價(jià)器評(píng)價(jià)其準(zhǔn)確率

2．score=logstic_model.score(features_test,target_test)

3．print(score)

邏輯回歸模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化本課件是可編輯的正常PPT課件樸素貝葉斯是一種有監(jiān)督學(xué)習(xí)的分類算法。

樸素貝葉斯（NaiveBayesianAlgorithm）面

貌舉

止聲

音穿

著是否有好感好看優(yōu)雅好聽得體有好看粗魯不好聽得體沒有不好看優(yōu)雅好聽得體有不好看優(yōu)雅不好聽不得體沒有好看優(yōu)雅好聽不得體有不好看粗魯不好聽不得體沒有好看粗魯好聽得體有不好看粗魯好聽不得體沒有

本課件是可編輯的正常PPT課件首先導(dǎo)入需要使用的包1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測(cè)試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的樸素貝葉斯模型，使用的是高斯分類器

7．from

sklearn.naive_bayes

import

GaussianNB

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據(jù)集。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件劃分?jǐn)?shù)據(jù)集為測(cè)試集和訓(xùn)練集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集，使用默認(rèn)劃分比例，測(cè)試集占數(shù)據(jù)集的25%

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件接下來實(shí)例化一個(gè)樸素貝葉斯模型并進(jìn)行訓(xùn)練。1．#實(shí)例化一個(gè)樸素貝葉斯模型

2．naive_bayes_model=GaussianNB()

3．#訓(xùn)練模型

4．naive_bayes_model.fit(features_train,target_train)

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并查看預(yù)測(cè)結(jié)果和真實(shí)結(jié)果。1．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，打印預(yù)測(cè)結(jié)果，打印真實(shí)結(jié)果，直觀感受模型效果

2．target_pre=naive_bayes_model.predict(features_test)3．#打印預(yù)測(cè)結(jié)果

4．print(target_pre)5．#打印真實(shí)結(jié)果6．print(target_test)

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件最后評(píng)價(jià)模型，打印模型分?jǐn)?shù)（準(zhǔn)確率）。1．#對(duì)模型進(jìn)行評(píng)估

2．score=naive_bayes_model.score(features_test,target_test)

3．#打印模型分?jǐn)?shù)

4．print(score)

樸素貝葉斯模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件決策樹模型本課件是可編輯的正常PPT課件決策樹算法是指一類算法，它以樹形結(jié)構(gòu)呈現(xiàn)邏輯模型。決策樹模型本課件是可編輯的正常PPT課件導(dǎo)入需要的庫1．#導(dǎo)入需要使用的包

2．from

sklearn.datasets

import

load_wine

#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分工具

4．from

sklearn.tree

import

DecisionTreeClassifier

#導(dǎo)入決策樹模型

5．import

numpy

as

np

#導(dǎo)入NumPy

決策樹模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件加載紅酒數(shù)據(jù)集，并查看數(shù)據(jù)集形狀、描述和鍵值對(duì)1．#加載紅酒數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對(duì)

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

決策樹模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target

決策樹模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件實(shí)例化決策樹模型，并進(jìn)行訓(xùn)練。1．#實(shí)例化一個(gè)ID3決策樹模型

2．DecisionTree_Model=DecisionTreeClassifier(criterion='entropy')

3．#進(jìn)行模型訓(xùn)練

4．DecisionTree_Model.fit(features_train,target_train)

決策樹模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件評(píng)價(jià)指標(biāo)為準(zhǔn)確率，輸出評(píng)價(jià)分?jǐn)?shù)。1．#對(duì)模型進(jìn)行評(píng)價(jià)

2．print(DecisionTree_Model.score(features_test,target_test))

決策樹模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件支持向量機(jī)模型本課件是可編輯的正常PPT課件支持向量機(jī)是有監(jiān)督學(xué)習(xí)算法中最有影響力的機(jī)器學(xué)習(xí)算法之一。支持向量機(jī)的概念本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包。1．from

sklearn

import

svm

#導(dǎo)入支持向量機(jī)模型

2．from

sklearn.datasets

import

load_iris

#導(dǎo)入鳶尾花數(shù)據(jù)集

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分需要使用的包

4．from

sklearn.metrics

import

confusion_matrix

#導(dǎo)入混淆矩陣評(píng)價(jià)指標(biāo)

5．from

sklearn.metrics

import

accuracy_score

#導(dǎo)入準(zhǔn)確率評(píng)

支持向量機(jī)模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件加載鳶尾花數(shù)據(jù)集，并查看其形狀。1．#加載鳶尾花數(shù)據(jù)集，其結(jié)果是個(gè)字典

2．iris=load_iris()

3．#查看數(shù)據(jù)集的形狀，有多少個(gè)樣本，每個(gè)樣本有多少個(gè)特征

4．print(iris.data.shape)

輸出結(jié)果如下，總共有150個(gè)樣本，每個(gè)樣本有4個(gè)特征。(150,4)

支持向量機(jī)模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件劃分?jǐn)?shù)據(jù)集。1．#劃分訓(xùn)練集和測(cè)試集，將隨機(jī)數(shù)種子設(shè)置為1，便于復(fù)現(xiàn)模型，訓(xùn)練集占數(shù)據(jù)集的70%，剩下的為測(cè)試集

2．train_data,test_data=train_test_split(iris.data,random_state=1,train_size=0.7,test_size=0.3)

3．train_label,test_label=train_test_split(iris.target,random_state=1,train_size=0.7,test_size=0.3)

支持向量機(jī)模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件實(shí)例化模型并進(jìn)行訓(xùn)練。1．#實(shí)例化模型，C是正則化程度，C的數(shù)值越大，懲罰力度越小，默認(rèn)為1，使用rbf核函數(shù)

2．model=svm.SVC(C=2.0,kernel='rbf',gamma=10,decision_function_shape='ovr')3．#訓(xùn)練模型，ravel將維度變?yōu)橐痪S

4．model.fit(train_data,train_label.ravel())

支持向量機(jī)模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件進(jìn)行預(yù)測(cè)，并評(píng)價(jià)，采用混淆矩陣和準(zhǔn)確率進(jìn)行評(píng)價(jià)。1．#模型預(yù)測(cè)

2．pre_test=model.predict(test_data)

3．#準(zhǔn)確率評(píng)價(jià)

4．score=accuracy_score(test_label,pre_test)

5．print(score)

6．#混淆矩陣評(píng)價(jià)

7．cm=confusion_matrix(test_label,pre_test)

8．print(cm)

支持向量機(jī)模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件KNN模型本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)分類算法——K最近鄰算法，簡(jiǎn)稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個(gè)原則就好了。第1個(gè)原則是“少數(shù)服從多數(shù)”；第2個(gè)原則是“資格”，就是是否有資格進(jìn)行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)分類算法——K最近鄰算法，簡(jiǎn)稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個(gè)原則就好了。第1個(gè)原則是“少數(shù)服從多數(shù)”；第2個(gè)原則是“資格”，就是是否有資格進(jìn)行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件KNN算法主要包括4個(gè)步驟，（1）準(zhǔn)備數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。（2）計(jì)算測(cè)試樣本點(diǎn)（也就是待分類點(diǎn)）到其他每個(gè)樣本點(diǎn)的距離（選定度量距離的方法）。（3）對(duì)每個(gè)距離進(jìn)行排序，選出距離最小的K個(gè)點(diǎn)。（4）對(duì)K個(gè)點(diǎn)所屬的類進(jìn)行比較，按照“少數(shù)服從多數(shù)”的原則（多數(shù)表決思想），將測(cè)試樣本點(diǎn)歸入K個(gè)點(diǎn)中占比最高的一類中。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包，這里以紅酒數(shù)據(jù)集為例。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入NumPy

3．import

numpy

as

np

4．#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_wine

6．#導(dǎo)入劃分?jǐn)?shù)據(jù)集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

8．#導(dǎo)入KNN算法需要使用的包

9．from

sklearn.neighbors

import

KNeighborsClassifier

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據(jù)集并查看數(shù)據(jù)集形狀、數(shù)據(jù)集鍵值對(duì)、數(shù)據(jù)集描述。1．#加載數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對(duì)

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件劃分?jǐn)?shù)據(jù)集為測(cè)試集和訓(xùn)練集，使用默認(rèn)的劃分比例，也就是數(shù)據(jù)集的25%為測(cè)試集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target)

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件實(shí)例化KNN模型，并進(jìn)行訓(xùn)練。這里使用的K值為5，讀者可以試試其他不同的K值對(duì)模型的影響。1．#實(shí)例化一個(gè)KNN模型，n_neighbors為超參數(shù)，就是K值

2．KNN_Classifier_Model=KNeighborsClassifier(n_neighbors=5)

3．#進(jìn)行訓(xùn)練

4．KNN_Classifier_Model.fit(features_train,target_train)

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并打印預(yù)測(cè)結(jié)果和真實(shí)結(jié)果。1．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)

2．target_pre=KNN_Classifier_Model.predict(features_test)

3．#打印預(yù)測(cè)結(jié)果

4．print(target_pre)

5．#打印真實(shí)結(jié)果

6．print(target_test)

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件最后對(duì)模型進(jìn)行評(píng)價(jià)。1．#對(duì)模型進(jìn)行評(píng)價(jià)

2．KNN_Classifier_Model_score=KNN_Classifier_Model.score(features_test,target_test)

3．print(KNN_Classifier_Model_score)

輸出結(jié)果如下。0.7777777777777778

KNN的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件隨機(jī)森林模型本課件是可編輯的正常PPT課件隨機(jī)森林，顧名思義，即使用隨機(jī)的方式建立一個(gè)森林，這個(gè)森林由很多的決策樹組成，并且每一棵決策樹之間是相互獨(dú)立的。如果訓(xùn)練集有M個(gè)樣本，則對(duì)于每棵決策樹而言，以隨機(jī)且有放回的方式從訓(xùn)練集中抽取N個(gè)訓(xùn)練樣本（N<M），作為該決策樹的訓(xùn)練集。除采用樣本隨機(jī)外，隨機(jī)森林還采用了特征隨機(jī)。假設(shè)每個(gè)樣本有K個(gè)特征，從所有特征中隨機(jī)選取k個(gè)特征（k≤K），選擇最佳分割特征作為節(jié)點(diǎn)建立CART決策樹，重復(fù)該步驟，建立m棵CART決策樹。這些樹就組成了森林，這便是隨機(jī)森林名字的由來。

隨機(jī)森林算法（RandomForestAlgorithm)本課件是可編輯的正常PPT課件導(dǎo)入需要使用的庫。1．#導(dǎo)入需要使用的庫

2．#導(dǎo)入隨機(jī)森林算法

3．from

sklearn.ensemble

import

RandomForestClassifier

4．#導(dǎo)入鳶尾花數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入劃分?jǐn)?shù)據(jù)集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據(jù)集，查看數(shù)據(jù)集的鍵值對(duì)、形狀，數(shù)據(jù)集的描述在前面的內(nèi)容中已經(jīng)查看過了，為節(jié)約篇幅，此處就不再進(jìn)行查看。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data

=load_iris()

3．#查看數(shù)據(jù)集的鍵值對(duì)

4．print(iris_data.keys())

5．#查看數(shù)據(jù)集的形狀，數(shù)據(jù)集的描述部分在前面的內(nèi)容中已經(jīng)查看過了，這里就不再查看

6．print(iris_data.data.shape)

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件劃分?jǐn)?shù)據(jù)集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件實(shí)例化隨機(jī)森林模型，使用默認(rèn)的基尼指數(shù)，并進(jìn)行訓(xùn)練。1．#實(shí)例化隨機(jī)森林模型，使用默認(rèn)的基尼指數(shù)

2．random_forest_cls_model=RandomForestClassifier()

3．#對(duì)模型進(jìn)行訓(xùn)練

4．random_forest_cls_model.fit(features_train,target_train)

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，打印預(yù)測(cè)結(jié)果和真實(shí)結(jié)果。1．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)

2．iris_pre=random_forest_cls_model.predict(features_test)

3．#打印預(yù)測(cè)結(jié)果

4．print(iris_pre)

5．#打印真實(shí)結(jié)果

6．print(target_test)

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件對(duì)模型進(jìn)行評(píng)價(jià)，打印模型分?jǐn)?shù)。1．#對(duì)模型進(jìn)行評(píng)價(jià)

2．score=random_forest_cls_model.score(features_test,target_test)

3．#打印模型分?jǐn)?shù)

4．print(score)

輸出結(jié)果如下。0.9736842105263158

隨機(jī)森林模型的代碼實(shí)現(xiàn)本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)的幾個(gè)關(guān)鍵點(diǎn)本課件是可編輯的正常PPT課件常見的機(jī)器學(xué)習(xí)類型本課件是可編輯的正常PPT課件前饋神經(jīng)網(wǎng)絡(luò)《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容概念基本特征網(wǎng)絡(luò)模型應(yīng)用分析本課件是可編輯的正常PPT課件機(jī)器學(xué)習(xí)≈構(gòu)建一個(gè)映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯(cuò)”“你好”用戶輸入機(jī)器(落子位置)語音識(shí)別圖像識(shí)別圍棋對(duì)話系統(tǒng)本課件是可編輯的正常PPT課件神經(jīng)元與感知機(jī)一個(gè)生物的神經(jīng)元的結(jié)構(gòu)分為細(xì)胞體和突起兩部分，具有聯(lián)絡(luò)和整合輸入信息并輸出信息的作用。突起包含樹突和軸突，樹突用來接收其他的神經(jīng)元傳遞過來的信號(hào)，其一端連接軸突用來給其他的神經(jīng)元傳遞信號(hào)，軸突的末端連接到其他神經(jīng)元的樹突或軸突上。神經(jīng)元結(jié)構(gòu)圖感知機(jī)的工作原理本課件是可編輯的正常PPT課件激活函數(shù)激活函數(shù)（ActivationFunction）是在神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元上運(yùn)行的函數(shù)，負(fù)責(zé)將神經(jīng)元的輸入映射到輸出端。激活函數(shù)在神經(jīng)元中是非常重要的。為了增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力，激活函數(shù)需要具備以下幾點(diǎn)性質(zhì)。（1）連續(xù)可導(dǎo)（允許少數(shù)點(diǎn)上不可導(dǎo)）的非線性函數(shù)?？蓪?dǎo)的激活函數(shù)可以直接利用數(shù)值優(yōu)化的方法來學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。（2）激活函數(shù)及其導(dǎo)數(shù)要盡可能的簡(jiǎn)單，這樣有利于提高網(wǎng)絡(luò)計(jì)算效率。（3）激活函數(shù)的導(dǎo)數(shù)的值域要在一個(gè)合適的區(qū)間內(nèi)，不能太大也不能太小，否則會(huì)影響訓(xùn)練的效率和穩(wěn)定性。本課件是可編輯的正常PPT課件Sigmoid函數(shù)Sigmoid函數(shù)連續(xù)且光滑，嚴(yán)格單調(diào)，關(guān)于(0,0.5)中心對(duì)稱，可以將變量映射到(0,1)之間，是一個(gè)非常良好的閾值函數(shù)。Sigmoid函數(shù)作為激活函數(shù)有以下優(yōu)缺點(diǎn)。優(yōu)點(diǎn)：平滑、易于求導(dǎo)。缺點(diǎn)：①Sigmoid函數(shù)極容易導(dǎo)致梯度消失問題。假設(shè)神經(jīng)元輸入Sigmoid函數(shù)的值特別大或特別小，那么對(duì)應(yīng)的梯度約等于0，即使從上一步傳導(dǎo)來的梯度較大，該神經(jīng)元權(quán)重和偏置的梯度也會(huì)趨近0，導(dǎo)致參數(shù)無法得到有效更新。②計(jì)算費(fèi)時(shí)。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，常常要計(jì)算Sigmoid函數(shù)的值，進(jìn)行冪計(jì)算會(huì)導(dǎo)致耗時(shí)增加。③Sigmoid函數(shù)不是關(guān)于原點(diǎn)中心對(duì)稱的（Zero-centered)。

本課件是可編輯的正常PPT課件Tanh函數(shù)Tanh函數(shù)作為激活函數(shù)有以下優(yōu)缺點(diǎn)。優(yōu)點(diǎn)：①平滑、易于求導(dǎo)。②解決了Sigmoid函數(shù)收斂變慢的問題，相對(duì)于Sigmoid函數(shù)提高了收斂速度。缺點(diǎn)：①梯度消失問題依然存在。②函數(shù)值的計(jì)算復(fù)雜度高，是指數(shù)級(jí)的。本課件是可編輯的正常PPT課件ReLU函數(shù)優(yōu)點(diǎn)：①相比于Sigmoid函數(shù)的兩端飽和，ReLU函數(shù)為左飽和函數(shù)，且在x>0時(shí)導(dǎo)數(shù)為1，這在一定程度上緩解了神經(jīng)網(wǎng)絡(luò)的梯度消失問題。②沒有復(fù)雜的指數(shù)運(yùn)算，計(jì)算簡(jiǎn)單、效率提高。③收斂速度較快，比Sigmoid函數(shù)和Tanh函數(shù)快很多。④單側(cè)抑制、寬興奮邊界使得ReLU函數(shù)比Sigmoid函數(shù)更符合生物學(xué)神經(jīng)激活機(jī)制。缺點(diǎn)：①輸出是非零中心化的，給后一層的神經(jīng)網(wǎng)絡(luò)引入偏置偏移，會(huì)影響梯度下降的效率。②ReLU神經(jīng)元在訓(xùn)練時(shí)比較容易“死亡”。本課件是可編輯的正常PPT課件Swish函數(shù)Swish函數(shù)的主要優(yōu)點(diǎn)如下。（1）Swish函數(shù)的無界性有助于防止在慢速訓(xùn)練期間梯度逐漸接近0并導(dǎo)致飽和。（2）Swish函數(shù)的平滑度在優(yōu)化和泛化中起了重要作用。本課件是可編輯的正常PPT課件Softmax函數(shù)Softmax函數(shù)常在神經(jīng)網(wǎng)絡(luò)輸出層中充當(dāng)激活函數(shù)，將輸出層的值通過激活函數(shù)映射到(0,1)區(qū)間，當(dāng)前輸出可以看作屬于各個(gè)分類的概率，從而用來進(jìn)行多分類。Softmax函數(shù)的映射值越大，則真實(shí)類別的可能性越大。本課件是可編輯的正常PPT課件4.3前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)也經(jīng)常稱為多層感知機(jī)（Multi-LayerPerceptron，MLP），但多層感知機(jī)的叫法并不十分合理。因?yàn)榍梆伾窠?jīng)網(wǎng)絡(luò)其實(shí)是由多層的邏輯回歸模型（連續(xù)的非線性函數(shù)）組成的，而不是由多層的感知機(jī)（不連續(xù)的非線性函數(shù)）組成的。前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)本課件是可編輯的正常PPT課件4.3.1通用近似定理神經(jīng)網(wǎng)絡(luò)最有價(jià)值的地方可能在于，它可以在理論上證明：一個(gè)包含足夠多隱藏層神經(jīng)元的多層前饋神經(jīng)網(wǎng)絡(luò)，能以任意精度逼近任意預(yù)定的連續(xù)函數(shù)。這個(gè)定理即通用近似定理（UniversalApproximationTheorem）。這里的Universal也有人將其翻譯成“萬能的”。本課件是可編輯的正常PPT課件4.3.2應(yīng)用到機(jī)器學(xué)習(xí)根據(jù)通用近似定理，神經(jīng)網(wǎng)絡(luò)在某種程度上可以作為一個(gè)“萬能”函數(shù)來使用，可以用來進(jìn)行復(fù)雜的特征轉(zhuǎn)換，或者近似一個(gè)復(fù)雜的條件分布。在機(jī)器學(xué)習(xí)中，輸入樣本的特征對(duì)分類器的影響很大。以監(jiān)督學(xué)習(xí)為例，好的特征可以極大提高分類器的性能。本課件是可編輯的正常PPT課件4.3.3參數(shù)學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，需要尋找最優(yōu)參數(shù)（權(quán)重和偏置），即尋找使損失函數(shù)的值盡可能小的參數(shù)。為了找到使損失函數(shù)的值盡可能小的參數(shù)，首先需要計(jì)算參數(shù)的梯度（導(dǎo)數(shù)），然后以這個(gè)導(dǎo)數(shù)為指引，逐步更新參數(shù)的值。本課件是可編輯的正常PPT課件4.4反向傳播算法反向傳播（BackPropagation，BP）算法是目前用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的常用且有效的算法。反向傳播算法的主要思想是：將訓(xùn)練集數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過隱藏層，最后到達(dá)輸出層并輸出結(jié)果，這是神經(jīng)網(wǎng)絡(luò)的前向傳播過程。本課件是可編輯的正常PPT課件4.5梯度計(jì)算前面已經(jīng)介紹了神經(jīng)網(wǎng)絡(luò)的最終目標(biāo)，即使所定義的損失函數(shù)的值達(dá)到最小。為了使損失函數(shù)的值最小，常使用的核心方法是“梯度法”。復(fù)合函數(shù)的計(jì)算圖

本課件是可編輯的正常PPT課件4.5梯度計(jì)算本課件是可編輯的正常PPT課件4.6網(wǎng)絡(luò)優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)比線性模型更加困難，當(dāng)前神經(jīng)網(wǎng)絡(luò)模型的難點(diǎn)主要如下。（1）優(yōu)化問題。神經(jīng)網(wǎng)絡(luò)模型是一個(gè)非凸函數(shù)，再加上在深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問題，很難進(jìn)行優(yōu)化。另外，深層神經(jīng)網(wǎng)絡(luò)一般參數(shù)比較多，訓(xùn)練數(shù)據(jù)也比較多，這會(huì)導(dǎo)致訓(xùn)練的效率比較低。（2）泛化問題。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的擬合能力強(qiáng)，反而容易在訓(xùn)練集上產(chǎn)生過擬合。因此在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時(shí)，需要通過一定的正則化方法來改善網(wǎng)絡(luò)的泛化能力。本課件是可編輯的正常PPT課件優(yōu)化算法1．批量梯度下降（BatchGradientDescent，BGD）2．隨機(jī)梯度下降（SGD）3．小批量梯度下降本課件是可編輯的正常PPT課件4.7應(yīng)用實(shí)例向讀者介紹前饋神經(jīng)網(wǎng)絡(luò)模型在PyTorch中的簡(jiǎn)單構(gòu)建。關(guān)于數(shù)據(jù)集的準(zhǔn)備，本節(jié)的示例中使用手寫數(shù)字的MINIST數(shù)據(jù)集。該數(shù)據(jù)集包含60000個(gè)用于訓(xùn)練的示例和10000個(gè)用于測(cè)試的示例。這些數(shù)字已經(jīng)過尺寸標(biāo)準(zhǔn)化并位于圖像中心，圖像是固定大小的（28像素×28像素），其值為0～10。為簡(jiǎn)單起見，每個(gè)圖像都被展平并轉(zhuǎn)換為784（28×28）個(gè)特征的一維NumPy數(shù)組本課件是可編輯的正常PPT課件4.7應(yīng)用實(shí)例代碼實(shí)現(xiàn)如下。1．import

torch

2．import

torch.nn

as

nn

3．import

torchvision

4．import

torchvision.transforms

as

transforms

5．#

配置

6．device=torch.device('cuda'

if

torch.cuda.is_available()

else

'cpu')

7．#

超參數(shù)

8．input_size=784

9．hidden_size=500

10．num_classes=10

11．num_epochs=5

12．batch_size=100

13．learning_rate=0.001

14．

15．#

數(shù)據(jù)集

16．train_dataset=torchvision.datasets.MNIST(root='../../data',

17．

train=True,

18．

transform=transforms.ToTensor(),

19．

download=True)

20．

21．test_dataset=torchvision.datasets.MNIST(root='../../data',

本課件是可編輯的正常PPT課件4.7應(yīng)用實(shí)例22．

train=False,

23．

transform=transforms.ToTensor())

24．

25．#

引入數(shù)據(jù)集26．train_loader=torch.utils.data.DataLoader(dataset=train_dataset,

27．

batch_size=batch_size,

28．

shuffle=True)

29．

30．test_loader=torch.utils.data.DataLoader(dataset=test_dataset,

31．

batch_size=batch_size,

32．

shuffle=False)

33．

34．#

全連接層35．class

NeuralNet(nn.Module):

36．

def

__init__(self,input_size,hidden_size,num_classes):

37．

super(NeuralNet,self).__init__()

38．

self.fc1=nn.Linear(input_size,hidden_size)

39．

self.relu=nn.ReLU()

40．

self.fc2=nn.Linear(hidden_size,num_classes)

本課件是可編輯的正常PPT課件4.7應(yīng)