1、1模式識別與機器學習模式識別與機器學習w 任課教師：李冰鋒w 單位：電氣工程及自動化學院w 辦公室：D507w 電話：156391796902第二章 線性回歸算法模式識別與機器學習模式識別與機器學習2021-12-63實現統計學習方法的步驟如下 ： 1. 得到一個有限的訓練數據集合； 2. 確定包含所有可能的模型的假設空間，即學習模型的集合：3. 確定模型選擇的準則，即學習的策略；4. 實現求解最優模型的算法，即學習的算法；5. 通過學習方法選擇最優模型；6. 利用學習的最優模型對新數據進行預測或分析。 2.4 2.4 線性回歸線性回歸2021-12-64 理想情況下，一個監督式學習算法應當選

2、擇期望損失最小的模型。o 期望損失給定樣本空間 ，特征分布 ，標簽分布 以及損失函數 。對任意模型 ,定義其期望損失為： 2.4 2.4 線性回歸線性回歸2021-12-65 實際中，并通過模型在訓練數據上的經驗損失來近似期望損失。 當訓練數據的規模足夠大時， Hoeffding不等式保證了經驗損失能夠良好近似期望損失。o 經驗損失2.4 2.4 線性回歸線性回歸2021-12-66確定模型選擇的準則，即學習的策略o 損失函數設 為標簽空間。損失函數是一個從 映射到正實數的函數 ，并且要求其具備如下性質：對任意 2.4 2.4 線性回歸線性回歸2021-12-672.4 2.4 線性回歸線性回

3、歸 線性回歸算法實際上是一個其模型為線性模型，損失函數為平方損失函數，且經驗損失最小化算法。 訓練集：訓練集： 線性模型：線性模型： 損失函數：損失函數： 優化目標：優化目標：2021-12-682.4 2.4 線性回歸線性回歸 目標函數：目標函數：均方誤差 目標函數的矩陣化表示：目標函數的矩陣化表示：2021-12-692.4 2.4 線性回歸線性回歸 優化目標：優化目標：全局最優解全局最優解oror局部最優解局部最優解? ?凸函數凸函數or not ?or not ?2021-12-6102.4.1 2.4.1 線性回歸的求解線性回歸的求解 設 是一個 元實函數。如果對任意的 以及任意的

4、，有 則稱 是一個凸函數。凸函數的局部最優解即為全局最優解。 設 處處 階可導。則稱 為凸函數充分必要條件為，對任意的 有 。2021-12-6112.4.1 2.4.1 線性回歸的求解線性回歸的求解2021-12-612o 局限性只有當 可逆時，結論才成立。所選各特征之間相互不獨立或訓練數據的個數小于特征維度時不可逆。對M階方陣求逆算法的時間復雜度為 。當特征的維度比較高時，計算負擔很大。2.4.1 2.4.1 線性回歸的求解線性回歸的求解2021-12-613 - MedInc median income in blockn - MedInc median income in blockn

5、 - HouseAge median house age in blockn - HouseAge median house age in blockn - AveRooms average number of roomsn - AveRooms average number of roomsn - AveBedrms average number of bedroomsn - AveBedrms average number of bedroomsn - Population block populationn - Population block populationn - AveOccu

6、p average house occupancyn - AveOccup average house occupancyn - Latitude house block latituden - Latitude house block latituden - Longitude house block longituden - Longitude house block longituden2.4.2 2.4.2 線性回歸舉例線性回歸舉例california_housing predictcalifornia_housing predict2021-12-6142.4.2 2.4.2 線性回

7、歸舉例線性回歸舉例2021-12-6152.4.3 2.4.3 線性回歸評價指標線性回歸評價指標均方誤差均方誤差MSE（Mean Squared Error）平均絕對誤差平均絕對誤差MAER2_score2021-12-6162.4 2.4 線性回歸線性回歸線性回歸線性回歸能采用梯度下降的方法嗎？能采用梯度下降的方法嗎？2021-12-6172.5 2.5 多項式回歸多項式回歸 訓練集：訓練集： 線性模型：線性模型： 損失函數：損失函數： 優化目標：優化目標：2021-12-6182.5 2.5 多項式回歸多項式回歸1、sklearn.preprocessing.PolynomialFeatu

8、res來 進行特征構造。2、PolynomialFeatures的三個參數degree：控制多項式的度interaction_only：控制特征自己結合的項include_bias：控制是否需要偏置。2021-12-6192.5 2.5 多項式回歸多項式回歸2021-12-6202.5 2.5 多項式回歸多項式回歸2021-12-6212.6 2.6 過擬合過擬合o 過擬合&模型選擇訓練數據集模型損失函數目標函數22 隨著多項式次數（模型復雜度）的增加，訓練誤差逐漸減小，但是測試誤差先減小而后增大。 而最終的目的是使測試誤差達到最小。這樣，在多項式函數擬合中，就要選擇合適的多項式次數。

9、o 過擬合&模型選擇2.6 2.6 過擬合過擬合2021-12-623o 過擬合&模型選擇過擬合是一種現象。當提高模型在訓練數據上的表現時，在測試數據上反而下降，這就被稱為過擬合。2.6 2.6 過擬合過擬合2021-12-624過擬合發生的本質原因，是由于監督學習問題的不適定：在高中數學我們知道，從n個（線性無關）方程可以解n個變量，解 n+1個變量就會解不出。在監督學習中，往往數據（方程）遠遠少于模型空間（變量）。o 過擬合&模型選擇正則化正則化(regularization)(regularization)就是控制模型空間的一種辦法就是控制模型空間的一種辦法如何解

10、決過擬合？如何解決過擬合？2.6 2.6 過擬合過擬合2021-12-625L1/L2約束、數據增強權重衰減、隨機梯度下降、提前停止2.6.1 2.6.1 正則化方法正則化方法2021-12-626正則化優化模型復雜度最小經驗風險最小2.6.1 2.6.1 正則化方法正則化方法2021-12-627o 正則化&交叉驗證正則化是結構風險最小化策略的實現，是在經驗風險上加一個正則化項（regularizer term ）或罰項（ penalty term) 。協調系數 經驗風險正則化項要求正則化項一般是模型復雜度的單調遞增函數，模型越復雜，正則化值就越大。正則化項如何實現呢？正則化項如何實

11、現呢？2.6.1 2.6.1 正則化方法正則化方法2021-12-628正則化項可以是模型參數向量的范數。比如：L0、L1、L2范數。o 正則化&交叉驗證L0范數正則化表示零參數的個數。L1范數正則化表示各個參數絕對值之和。L2范數正則化表示各個參數的平方的和的開方值。正則化項對模型參數添加了先驗正則化項對模型參數添加了先驗最小化,why？2.6.1 2.6.1 正則化方法正則化方法2021-12-629o 正則化&交叉驗證 L0范數正則化可以實現參數的稀疏化； L1和L2范數正則化可以讓參數變的很小；2.6.1 2.6.1 正則化方法正則化方法2021-12-630o 正則化

12、&交叉驗證L0正則化：NP-hard問題L1正則化：坐標軸下降法L2正則化：總結：L1會趨向于產生少量的特征，而其他的特征都是0；L2會選擇更多的特征，這些特征都會接近于0。2.6.1 2.6.1 正則化方法正則化方法2021-12-631o 正則化&交叉驗證K-折交叉驗證（K-fold Cross Validation）2.6.1 2.6.1 正則化方法正則化方法2021-12-6322.6.2 2.6.2 嶺回歸嶺回歸特征個數過多與訓練數據不足通常線性回歸過度擬合的兩大原因。特別是當特征維度大于訓練樣本個數時。 不可逆時，均方誤差目標函數呈現山嶺狀。非嚴格的凸函數常稱為嶺函

13、數。線性回歸的L2正則化o 嶺回歸稱為嶺回歸，其中 為正則化系數。 2021-12-633 是一個嚴格的凸函數 設 是一個 元實函數。如果對任意的 以及任意的 ，有 則稱 是一個嚴格的凸函數。2.6.2 2.6.2 嶺回歸嶺回歸2021-12-634當均方誤差為嶺函數時，通常采用嶺回歸進行線性模型訓練。嶺回歸是 ridge regression中譯，其中 ridge的意思即為山嶺，這就是嶺回歸名字的由來。 2.6.2 2.6.2 嶺回歸嶺回歸2021-12-635通常情況下，正則化算法都具有如上所示的趨勢。繪制算法的趨勢圖，并選擇能使測試數據上誤差最小的正則化系數，是設計正則化算法可采用的一般

14、策略。2.6.2 2.6.2 嶺回歸嶺回歸2021-12-6362.6.2 2.6.2 嶺回歸嶺回歸2021-12-6372.6.3 2.6.3 嶺回歸嶺回歸2021-12-6382.6.3 Lasso2.6.3 Lasso回歸回歸線性回歸的L1正則化稱為Lasso，其中 為正則化系數。 Lasso 是英文 Least Absolute Shrinkage and Selection Operator 的首字母縮寫。隨著Lasso正則化強度的增大，回歸引導算法將參數分量逐個降為0，從而進行特征選擇。o Lasso回歸坐標軸下降法2021-12-639Degree=40Degree=402.6.

15、3 Lasso2.6.3 Lasso回歸回歸2021-12-640o 彈性網回歸其中 ， 為正則化系數。 彈性網回歸算法正則化部分是參數的L1范數與 L2 范數的凸組合。當彈性系數選擇得恰當時，彈性網回歸可以同時具有嶺回歸與 Lasso 回歸的優勢，是一個非常實用的線性回歸正則化方法。2.6.3 Lasso2.6.3 Lasso回歸回歸2021-12-641梯度下降算法要求目標函數可微。當目標函數不可微時，需要將梯度的概念推廣到次梯度。2.6.4 Lasso2.6.4 Lasso回歸的求解回歸的求解2021-12-642設 是一個 元實函數。如果對任意的 ，有： o 次梯度則稱 是 在 處的一