本章目錄01

降維概述02SVD(奇異值分解)03PCA(主成分分析)1.降維概述01

降維概述02SVD(奇異值分解)03PCA(主成分分析)1.降維概述維數(shù)災(zāi)難(CurseofDimensionality)：通常是指在涉及到向量的計(jì)算的問(wèn)題中，隨著維數(shù)的增加，計(jì)算量呈指數(shù)倍增長(zhǎng)的一種現(xiàn)象。在很多機(jī)器學(xué)習(xí)問(wèn)題中，訓(xùn)練集中的每條數(shù)據(jù)經(jīng)常伴隨著上千、甚至上萬(wàn)個(gè)特征。要處理這所有的特征的話(huà)，不僅會(huì)讓訓(xùn)練非常緩慢，還會(huì)極大增加搜尋良好解決方案的困難。這個(gè)問(wèn)題就是我們常說(shuō)的維數(shù)災(zāi)難。1.降維概述維數(shù)災(zāi)難維數(shù)災(zāi)難涉及數(shù)字分析、抽樣、組合、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和數(shù)據(jù)庫(kù)等諸多領(lǐng)域。在機(jī)器學(xué)習(xí)的建模過(guò)程中，通常指的是隨著特征數(shù)量的增多，計(jì)算量會(huì)變得很大，如特征達(dá)到上億維的話(huà)，在進(jìn)行計(jì)算的時(shí)候是算不出來(lái)的。有的時(shí)候，維度太大也會(huì)導(dǎo)致機(jī)器學(xué)習(xí)性能的下降，并不是特征維度越大越好，模型的性能會(huì)隨著特征的增加先上升后下降。1.降維概述什么是降維？降維(DimensionalityReduction)是將訓(xùn)練數(shù)據(jù)中的樣本(實(shí)例)從高維空間轉(zhuǎn)換到低維空間，該過(guò)程與信息論中有損壓縮概念密切相關(guān)。同時(shí)要明白的，不存在完全無(wú)損的降維。

有很多種算法可以完成對(duì)原始數(shù)據(jù)的降維，在這些方法中，降維是通過(guò)對(duì)原始數(shù)據(jù)的線性變換實(shí)現(xiàn)的。1.降維概述高維數(shù)據(jù)增加了運(yùn)算的難度高維使得學(xué)習(xí)算法的泛化能力變?nèi)酰ɡ?，在最近鄰分?lèi)器中，樣本復(fù)雜度隨著維度成指數(shù)增長(zhǎng)），維度越高，算法的搜索難度和成本就越大。降維能夠增加數(shù)據(jù)的可讀性，利于發(fā)掘數(shù)據(jù)的有意義的結(jié)構(gòu)為什么要降維1.降維概述1.減少冗余特征，降低數(shù)據(jù)維度2.數(shù)據(jù)可視化降維的主要作用1.降維概述減少冗余特征

1.降維概述數(shù)據(jù)可視化t-distributedStochasticNeighborEmbedding(t-SNE)t-SNE（TSNE）將數(shù)據(jù)點(diǎn)之間的相似度轉(zhuǎn)換為概率。原始空間中的相似度由高斯聯(lián)合概率表示，嵌入空間的相似度由“學(xué)生t分布”表示。雖然Isomap，LLE和variants等數(shù)據(jù)降維和可視化方法，更適合展開(kāi)單個(gè)連續(xù)的低維的manifold。但如果要準(zhǔn)確的可視化樣本間的相似度關(guān)系，如對(duì)于下圖所示的S曲線（不同顏色的圖像表示不同類(lèi)別的數(shù)據(jù)），t-SNE表現(xiàn)更好。因?yàn)閠-SNE主要是關(guān)注數(shù)據(jù)的局部結(jié)構(gòu)。1.降維概述降維的優(yōu)缺點(diǎn)降維的優(yōu)點(diǎn)：通過(guò)減少特征的維數(shù)，數(shù)據(jù)集存儲(chǔ)所需的空間也相應(yīng)減少，減少了特征維數(shù)所需的計(jì)算訓(xùn)練時(shí)間；數(shù)據(jù)集特征的降維有助于快速可視化數(shù)據(jù)；通過(guò)處理多重共線性消除冗余特征。降維的缺點(diǎn)：由于降維可能會(huì)丟失一些數(shù)據(jù)；在主成分分析(PCA)降維技術(shù)中，有時(shí)需要考慮多少主成分是難以確定的，往往使用經(jīng)驗(yàn)法則1.降維概述2.SVD(奇異值分解)01

降維概述02SVD(奇異值分解)03PCA(主成分分析)2.SVD(奇異值分解)奇異值分解(SingularValueDecomposition，以下簡(jiǎn)稱(chēng)SVD)是在機(jī)器學(xué)習(xí)領(lǐng)域廣泛應(yīng)用的算法，它不光可以用于降維算法中的特征分解，還可以用于推薦系統(tǒng)，以及自然語(yǔ)言處理等領(lǐng)域。是很多機(jī)器學(xué)習(xí)算法的基石。

2.SVD(奇異值分解)

奇異值

2.SVD(奇異值分解)符號(hào)定義

2.SVD(奇異值分解)SVD求解

2.SVD(奇異值分解)SVD求解

2.SVD(奇異值分解)

2.SVD(奇異值分解)

2.SVD(奇異值分解)

2.SVD(奇異值分解)

2.SVD(奇異值分解)SVD計(jì)算案例

2.SVD(奇異值分解)SVD計(jì)算案例

2.SVD(奇異值分解)

2.SVD(奇異值分解)

2.SVD(奇異值分解)

2.SVD(奇異值分解)

奇異值

左奇異矩陣右奇異矩陣

2.SVD(奇異值分解)SVD案例原始圖像處理后的圖像

3.PCA(主成分分析)01

降維概述02SVD(奇異值分解)03PCA(主成分分析)3.PCA(主成分分析)主成分分析（PrincipalComponentAnalysis,PCA）是一種降維方法，通過(guò)將一個(gè)大的特征集轉(zhuǎn)換成一個(gè)較小的特征集，這個(gè)特征集仍然包含了原始數(shù)據(jù)中的大部分信息，從而降低了原始數(shù)據(jù)的維數(shù)。減少一個(gè)數(shù)據(jù)集的特征數(shù)量自然是以犧牲準(zhǔn)確性為代價(jià)的，但降維的訣竅是用一點(diǎn)準(zhǔn)確性換取簡(jiǎn)單性。因?yàn)楦〉臄?shù)據(jù)集更容易探索和可視化，并且對(duì)于機(jī)器學(xué)習(xí)算法來(lái)說(shuō)，分析數(shù)據(jù)會(huì)更快、更容易，而不需要處理額外的特征。3.PCA(主成分分析)原始指標(biāo)的線性組合綜合指標(biāo)間不相關(guān)，且方差遞減第一主成分，第二主成分，…第p主成分選取前幾個(gè)最大的主成分代替原來(lái)指標(biāo)的信息盡可能多地找出相關(guān)指標(biāo)作為原始指標(biāo)主成分分析流程圖：3.PCA(主成分分析)?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸PCA的思想很簡(jiǎn)單——減少數(shù)據(jù)集的特征數(shù)量，同時(shí)盡可能地保留信息。3.PCA(主成分分析)3.PCA(主成分分析)通過(guò)平移、旋轉(zhuǎn)坐標(biāo)軸，找到主成分pc1和pc2

在圖2中，前兩個(gè)PC由平面中的正交箭頭表示，第三個(gè)PC與平面正交（向上或向下）。3.PCA(主成分分析)圖1選擇要投影到的子空間圖23.PCA(主成分分析)如何得到這些包含最大差異性的主成分方向呢?通過(guò)計(jì)算數(shù)據(jù)矩陣的協(xié)方差矩陣然后得到協(xié)方差矩陣的特征值特征向量選擇特征值最大(即方差最大)的k個(gè)特征所對(duì)應(yīng)的特征向量組成的矩陣。這樣就可以將數(shù)據(jù)矩陣轉(zhuǎn)換到新的空間當(dāng)中，實(shí)現(xiàn)數(shù)據(jù)特征的降維。PCA的算法兩種實(shí)現(xiàn)方法3.PCA(主成分分析)(1)基于SVD分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法(2)基于特征值分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法(1)基于SVD分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法3.PCA(主成分分析)

奇異值

3.PCA(主成分分析)(2)基于特征值分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法3.PCA(主成分分析)

(2)基于特征值分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法3.PCA(主成分分析)

(2)基于特征值分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法3.PCA(主成分分析)

PCA的算法案例3.PCA(主成分分析)

3.PCA(主成分分析)

3.PCA(主成分分析)

3.PCA(主成分分析)

3.PCA(主成分分析)

降維后的投影結(jié)果如下圖：3.PCA(主成分分析)

PCA算法優(yōu)點(diǎn)1.僅僅需要以方差衡量信息量,不受數(shù)據(jù)集以外的因素影響2.各主成分之間正交,可消除原始數(shù)據(jù)成分間的相互影響的因素3.計(jì)算方法簡(jiǎn)單,主要運(yùn)算時(shí)特征值分解,易于實(shí)現(xiàn)4.它是無(wú)監(jiān)督學(xué)習(xí),完全無(wú)參數(shù)限制的PCA算法缺點(diǎn)1.主成分各個(gè)特征維度的含義具有一定的模糊性,不如原始樣本特征的解釋性強(qiáng)2.方差小的非主成分也可能含有對(duì)樣本差異的重要信息,因降維丟棄可能對(duì)后續(xù)數(shù)據(jù)處理有影響參考文獻(xiàn)

[1]AndrewNg.MachineLearning[EB/OL].StanfordUniversity,2014./course/ml[2]Hinton,G,E,etal.ReducingtheDimensionalityofDatawithNeuralNetworks.[J].Science,2006.[3]JolliffeIT.PrincipalComponentAnalysis[J].JournalofMarketingResearch,2002,87(4):513.[4]李航.統(tǒng)計(jì)學(xué)習(xí)