1、1特征工程是什么?有這么一句話在業界廣泛流傳:數據和特征決定了機器學習的上限,而模型和算法只是逼近其本質是一項工程活動，目的是最大限度這個上限而已。 那特征工程到底是什么呢？顧名思義,地從原始數據中提取特征以供算法和模型使用O 通過總結和歸納，人們認為特征工程包括以下方面:r樗行百用言幸二'二=三？心同mt 評毛豆壬號十二-左手J=Lk匕日5Cg-u2.A且m和自百az闿主千將唁;匚丁3 Filler 上1 士Wrmppef思曲；手上器當絲目定送兇寫二二工字口二臺塞-西哆始椒M二二生古宣、的之六把征三挺e福aw也交護-:亍二主特性.門生b KtEjafi r三1總工% 屏 X 胃條,不

2、工ttm宜 可用性iflHE(f=_L6)<KEJO*4-mtt 。送吒產生燈上手隼，舟 占有直受了O 5M性如的自療需要印些fl!國?基于出生理株.EHEJ虻口藝工呈肯型吃壬中白白亙一二三過一賓.鼻號博藝codngGA©質匚捏工-8AA L1 - Lasse 由舊曲，Emtedcfed -,"。L2 自如特征處理是特征工程的核心部分，sklearn提供了較為完整的特征處理方法，包括數據預處理，特征選擇，降維等。首次接觸到sklearn ,通常會被其豐富且方便的算法模型庫吸引，但是這里介紹的特征處理庫也十分強大！本文中使用sklearn中的IRIS （文尾花）數據集來

3、對特征處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含 4個特征（Sepal.Length （花萼長度）、 Sepal.Width （花萼寬 度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度），特征值都為正浮點數，單位為厘米。目標值為鶯尾花的分類（Iris Setosa （山鶯尾）、Iris Versicolour （雜色鶯尾），Iris Virginica（維吉尼亞鶯尾）。導入 IRIS數據集的代碼如下：電1 from sklearn.datasets import load_iris23 #導入IRIS數據集4 iris = load_iri

4、s（） 56 #特征矩陣7 iris.data 89 #目標向量10 iris.target電2數據預處理通過特征提取，我們能得到未經處理的特征，這時的特征可能有以下問題: 不屬于同一量綱：即特征的規格不一樣，不能夠放在一起比較。無量綱化可以解決這一問 題。 信息冗余：對于某些定量特征，其包含的有效信息為區間劃分，例如學習成績，假若只關 心 及格”或不 及格”，那么需要將定量的考分，轉換成 “他“0裝示及格和未及格。二值化 可以解決這一問題。 定性特征不能直接使用：某些機器學習算法和模型只能接受定量特征的輸入，那么需要將 定性特征轉換為定量特征。最簡單的方式是為每一種定性值指定一個定量值，但是

5、這種方 式過于靈活，增加了調參的工作。通常使用啞編碼的方式將定性特征轉換為定量特征：假設有N種定性值，則將這一個特征擴展為N種特征，當原始特征值為第i種定性值時，第i個擴展特征賦值為 1,其他擴展特征賦值為 0。啞編碼的方式相比直接指定的方式，不用 增加調參的工作，對于線性模型來說，使用啞編碼后的特征可達到非線性的效果。 存在缺失值：缺失值需要補充。 信息利用率低：不同的機器學習算法和模型對數據中信息的利用是不同的，之前提到在線 性模型中，使用對定性特征啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。我們使用sklearn中的preprocce

6、ssing庫來進行數據預處理，可以覆蓋以上問題的解決方案。2.1 無量綱化無量綱化使不同規格的數據轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特征值服從正態分布，標準化后，其轉換成標準正態分布。區間縮放法利用了邊界值信息，將特征的取值區間縮放到某個特點的范圍，例如 0, 1等。2.1.1 標準化標準化需要計算特征的均值和標準差，公式表達為：x-XX' -5使用preproccessing 庫的StandardScaler 類對數據進行標準化的代碼如下：1 from sklearn.preprocessing import StandardScaler23雨準化

7、，返回值為標準化后的數據4 StandardScaler().fit_transform(iris.data)2.1.2區間縮放法區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：x - MfnX = Max-Min使用preproccessing 庫的MinMaxScaler 類對數據進行區間縮放的代碼如下:1 from sklearn.preprocessing import MinMaxScaler23 #區間縮放，返回值為縮放到0, 1區間的數據4 MinMaxScaler().fit_transform(iris.data)5 .1.3標準化與歸一化的區別z-sc

8、ore的方法，將樣本的特征 其目的在于樣本向量在點乘運算或單位向量規則為l2的歸-簡單來說，標準化是依照特征矩陣的列處理數據，其通過求 值轉換到同一量綱下。歸一化是依照特征矩陣的行處理數據， 其他核函數計算相似性時，擁有統一的標準，也就是說都轉化為 化公式如下：使用preproccessing 庫的Normalizer 類對數據進行歸一化的代碼如下:1 from sklearn.preprocessing import Normalizer 23 #歸一化，返回值為歸一化后的數據4 Normalizer().fit_transform(iris.data)2.2 對定量特征二值化定量特征二值化

9、的核心在于設定一個閾值，大于閾值的賦值為 1,小于等于閾值的賦值為 0,公式表達如下：,_> threshoitfx 一 fo,戈與 thresh o/d使用preproccessing 庫的Binarizer類對數據進行二值化的代碼如下：1 from sklearn.preprocessing import Binarizer23 #二值化，閾值設置為3,返回值為二值化后的數據4 Binarizer(threshold=3).fit_transform(iris.data)5 .3對定性特征啞編碼由于IRIS數據集的特征皆為定量特征，故使用其目標值進行啞編碼(實際上是不需要的)。使用p

10、reproccessing 庫的OneHotEncoder 類對數據進行啞編碼的代碼如下：1 from sklearn.preprocessing import OneHotEncoder23 #啞編碼,對IRIS數據集的目標值，返回值為啞編碼后的數據4 OneHotEncoder().fit_transform(iris.target.reshape(-1,1)2.4缺失值計算由于IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特征均賦值為 NaN ,表示數據缺失。使用 preproccessing庫的Imputer類對數據進行缺失值計算的代碼如下：由1 from numpy impo

11、rt vstack, array, nan2 from sklearn.preprocessing import Imputer34獻失值計算，返回值為計算缺失值后的數據5整數missing_value為缺失值的表示形式，默認為NaN6整數strategy為缺失值填充方式，默認為mean(均值)7 Imputer().fit_transform(vstack(array(nan, nan, nan, nan), iris.data)2.5數據變換4個特征，度為2的常見的數據變換有基于多項式的、基于指數函數的、基于對數函數的。 多項式轉換公式如下：x 1工工物產42彳產力耳鼻麗網L;心,演工產1

12、47IB J=。，入口小在不,小立,*.工;2,工工* SrJ；1 *工小盤，右,上挈演 *打，若聲學*又4,琢）使用preproccessing 庫的PolynomialFeatures類對數據進行多項式轉換的代碼如下：1 from sklearn.preprocessing import PolynomialFeatures23 #多項式轉換4 整數degree為度，默認值為25 PolynomialFeatures().fit_transform(iris.data)基于單變元函數的數據變換可以使用一個統一的方式完成，使用preproccessing 庫的FunctionTransfor

13、mer對數據進行對數函數轉換的代碼如下：1 from numpy import log1p2 from sklearn.preprocessing import FunctionTransformer34 #自定義轉換函數為對數函數的數據變換5 #第一個參數是單變元函數6 FunctionTransformer(log1p).fit_transform(iris.data)2.6回顧類功能說明StandardScaler無量綱化標準化，基于特征矩陣的列，將特征 值轉換至服從標準正態分布MinMaxScaler無量綱化區間縮放，基于最大最小值，將特征 值轉到0, 1區間上Normalizer歸一

14、化基于特征矩陣的行，將樣本向量轉換 為單位向量”Binarizer二值化基于給定閾值，將定量特征按閾值劃 分OneHotEncoder啞編碼將定性數據編碼為定量數據Imputer缺失值計算計算缺失值，缺失值可填充為均值等PolynomialFeatures多項式數據轉換多項式數據轉換FunctionTransformer自定義單元數據轉換使用單變元的函數來轉換數據3特征選擇當數據預處理完成后，我們需要選擇有意義的特征輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特征： 特征是否發散：如果一個特征不發散，例如方差接近于0,也就是說樣本在這個特征上基本上沒有差異，這個特征對于樣本

15、的區分并沒有什么用。 特征與目標的相關性：這點比較顯見，與目標相關性高的特征，應當優選選擇。除方差法 外，本文介紹的其他方法均從相關性考慮。根據特征選擇的形式又可以將特征選擇方法分為3種： Filter :過濾法，按照發散性或者相關性對各個特征進行評分，設定閾值或者待選擇閾值的 個數，選擇特征。 Wrapper ：包裝法，根據目標函數(通常是預測效果評分)，每次選擇若干特征，或者排 除若干特征。 Embedded :嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特征的權值 系數，根據系數從大到小選擇特征。類似于 Filter方法，但是是通過訓練來確定特征的優 劣。我們使用sklear

16、n中的feature_selection 庫來進行特征選擇。3.1 Filter3.1.1 方差選擇法使用方差選擇法，先要計算各個特征的方差，然后根據閾值，選擇方差大于閾值的特征。使用feature_selection 庫的VarianceThreshold 類來選擇特征的代碼如下：1 from sklearn.feature_selection import VarianceThreshold23 #方差選擇法，返回值為特征選擇后的數據4 #參數threshold 為方差的閾值5 VarianceThreshold(threshold=3)由t_transform(iris.data)P值。

17、用3.1.2相關系數法使用相關系數法，先要計算各個特征對目標值的相關系數以及相關系數的feature_selection 庫的SelectKBest類結合相關系數來選擇特征的代碼如下:1 from sklearn.feature_selection import SelectKBest2 from scipy.stats import pearsonr34 #J¥ K個最好的特征，返回選擇特征后的數據5#第一個參數為計算評估特征是否好的函數，該函數輸入特征矩陣和目標向量，輸出二元組(評分，P值)的數組，數組第i項為第i個特征的評分和P值。在 此定義為計算相關系數6修數k為選擇的特征個

18、數7 SelectKBest( lambda X, Y: array(map( lambda x:pearsonr(x, Y), X.T).T, k=2).fit_transform(iris.data, iris.target) 電3.1.3卡方檢驗經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等于i且因變量等于j的樣本頻數的觀察值與期望的差距，構建統計量：v (八 一 ggX -上 E這個統計量的含義簡而言之就是自變量對因變量的相關性。用feature_selection 庫的SelectKBest類結合卡方檢驗來選擇特征的代碼如下：

19、1 from sklearn.feature_selectionimport SelectKBest2 from sklearn.feature_selectionimport chi234 #J? K個最好的特征，返回選擇特征后的數據5 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)3.1.4互信息法經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式如下：I(X；y)= £ Yp卑平r分缶pam力為了處理定量數據，最大信息系數法被提出，使用feature_selection 庫的Select

20、KBest類結 合最大信息系數法來選擇特征的代碼如下：電1 from sklearn.feature_selection import SelectKBest2 from minepy import MINE34 #由于MINE的設計不是函數式的，定義 mic方法將其為函數式的，返回一個 二元組，二元組的第2項設置成固定的P值0.55 def mic(x, y):6 m = MINE()7 pute_score(x, y)8 return (m.mic(), 0.5) 910 #選;f¥ K個最好的特征，返回特征選擇后的數據11 SelectKBest( lambda X, Y: a

21、rray(map( lambda x:mic(x, Y), X.T).T, k=2).fit_transform(iris.data, iris.target) 電12 2 Wrapper3.2.1遞歸特征消除法遞歸消除特征法使用一個基模型來進行多輪訓練，每輪訓練后，消除若干權值系數的特征， 再基于新的特征集進行下一輪訓練。使用feature_selection 庫的RFE類來選擇特征的代碼如下：電1 from sklearn.feature_selection import RFE2 from sklearn.linear_model import LogisticRegression 34

22、 #遞歸特征消除法，返回特征選擇后的數據5 #參數estimator為基模型6整數n_features_to_select為選擇的特征個數7 RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target) 電3.3 Embedded3.3.1 基于懲罰項的特征選擇法使用帶懲罰項的基模型，除了篩選出特征外，同時也進行了降維。使用feature_selection庫的SelectFromModel 類結合帶L1懲罰項的邏輯回歸模型，來選擇特征的代碼如下：1 from

23、sklearn.feature_selection import SelectFromModel2 from sklearn.linear_model import LogisticRegression 34 #帶L1懲罰項的邏輯回歸作為基模型的特征選擇5 SelectFromModel(LogisticRegression(penalty= "l1", C=0.1).fit_transform(iris.data, iris.target)L1懲罰項降維的原理在于保留多個對目標值具有同等相關性的特征中的一個,所以沒選到 的特征不代表不重要。故，可結合 L2懲罰項來優化。具

24、體操作為：若一個特征在 L1中的權值 為1,選擇在L2中權值差別不大且在 L1中權值為0的特征構成同類集合， 將這一集合中的特征 平分L1中的權值，故需要構建一個新的邏輯回歸模型：View Code使用feature_selection 庫的SelectFromModel類結合帶L1以及L2懲罰項的邏輯回歸模型, 來選擇特征的代碼如下：1 from sklearn.feature_selection import SelectFromModel 23 #帶L1和L2懲罰項的邏輯回歸作為基模型的特征選擇4 #參數threshold為權值系數之差的閾值5 SelectFromModel(LR(th

25、reshold=0.5, C=0.1)fit_transform(iris.data, iris.target)3.3.2基于樹模型的特征選擇法樹模型中GBDT也可用來作為基模型進彳f特征選擇，使用 feature_selection 庫的 SelectFromModel 類結合 GBDT模型，來選擇特征的代碼如下：1 from sklearn.feature_selection import SelectFromModel2 from sklearn.ensemble import GradientBoostingClassifier34 #GBD昨為基模型的特征選擇5SelectFromModel(GradientBoostingClassifier().fit_transform(iris.data, iris.target)6 .4回顧類所屬方式說明VarianceThresholdFilter方差選擇法SelectKBestFilter可選關聯系數、卡方校驗、最大信息系數作為得分計算 的方法RFEWrapper遞歸地訓練基模型，將權值系數較小的特征從特征集合 中消除SelectFromModelEmbedded訓練基模型，選擇權值系數較高的特征4降維當特征選擇完成后，可以直接訓練