


下載本文檔
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
機器學習特征選擇常用算法1.綜述(1)什么是特征選擇特征選擇(FeatureSelection)也稱特征子集選擇(FeatureSubsetSelection,FSS),或屬性選擇(AttributeSelection),是指從全部特征中選取一個特征子集,使構造出來的模型更好。(2)為什么要做特征選擇在機器學習的實際應用中,特征數量往往較多,其中可能存在不相關的特征,特征之間也可能存在相互依賴,容易導致如下的后果:特征個數越多,分析特征、訓練模型所需的時間就越長。特征個數越多,容易引起“維度災難”,模型也會越復雜,其推廣能力會下降。特征選擇能剔除不相關(irrelevant)或亢余(redundant)的特征,從而達到減少特征個數,提高模型精確度,減少運行時間的目的。另一方面,選取出真正相關的特征簡化了模型,使研究人員易于理解數據產生的過程。2.特征選擇過程2.1特征選擇的一般過程
特征選擇的一般過程可用圖1表示。首先從特征全集中產生出一個特征子集,然后用評價函數對該特征子集進行評價,評價的結果與停止準則進行比較,若評價結果比停止準則好就停止,否則就繼續產生下一組特征子集,繼續進行特征選擇。選出來的特征子集一般還要驗證其有效性。綜上所述,特征選擇過程一般包括產生過程,評價函數,停止準則,驗證過程,這4個部分。(1)產生過程(GenerationProcedure)
產生過程是搜索特征子集的過程,負責為評價函數提供特征子集。搜索特征子集的過程有多種,將在2.2小節展開介紹。(2)評價函數(EvaluationFunction)
評價函數是評價一個特征子集好壞程度的一個準則。評價函數將在2.3小節展開介紹。(3)停止準則(StoppingCriterion)
停止準則是與評價函數相關的,一般是一個閾值,當評價函數值達到這個閾值后就可停止搜索。(4)驗證過程(ValidationProcedure)
在驗證數據集上驗證選出來的特征子集的有效性。
圖1.特征選擇的過程(M.DashandH.Liu1997)2.2產生過程
產生過程是搜索特征子空間的過程。搜索的算法分為完全搜索(Complete),啟發式搜索(Heuristic),隨機搜索(Random)3大類,如圖2所示。
圖2.產生過程算法分類(M.DashandH.Liu1997)下面對常見的搜索算法進行簡單介紹。2.2.1完全搜索
完全搜索分為窮舉搜索(Exhaustive)與非窮舉搜索(Non-Exhaustive)兩類。(1)廣度優先搜索(BreadthFirstSearch)
算法描述:廣度優先遍歷特征子空間。
算法評價:枚舉了所有的特征組合,屬于窮舉搜索,時間復雜度是O(2n),實用性不高。(2)分支限界搜索(BranchandBound)
算法描述:在窮舉搜索的基礎上加入分支限界。例如:若斷定某些分支不可能搜索出比當前找到的最優解更優的解,則可以剪掉這些分支。(3)定向搜索(BeamSearch)
算法描述:首先選擇N個得分最高的特征作為特征子集,將其加入一個限制最大長度的優先隊列,每次從隊列中取出得分最高的子集,然后窮舉向該子集加入1個特征后產生的所有特征集,
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年中國機座拼塊鋁膜數據監測研究報告
- 1.6函數的連續性基礎課部85課件
- 2025年中國旋轉烤叉數據監測報告
- 2025年中國方型蚊帳數據監測報告
- 2025年中國數控萬能銑床數據監測研究報告
- 2025-2030年中國二氧化鋯全瓷牙行業運營格局及投資策略研究報告
- 2025-2030年中國不銹鋼水泵行業發展趨勢及競爭調研研究報告
- 肇慶市實驗中學高中生物三:其他植物激素導學案
- 2025至2031年中國素肉條行業投資前景及策略咨詢研究報告
- 新疆輕工職業技術學院《體育教材教法》2023-2024學年第二學期期末試卷
- 急診服務流程與服務時限培訓
- 鋸床工考試試題及答案
- 2025-2030農業機械化行業市場發展分析及前景趨勢與投資研究報告
- 2024年中國鐵路武漢局集團有限公司招聘筆試真題
- 2025-2030膠原酶產業發展分析及發展趨勢與投資前景預測報告
- 血站安全與衛生培訓課件
- 人教版四年級數學下冊期中期中測試卷(提優卷)(含答案)
- 藝考生協議合同
- 高考前的“加速度”高三下學期期中家長會
- 畢業設計(論文)-板材碼垛機器人機械結構設計
- 各國貨幣知識
評論
0/150
提交評論