1、 3 主成分分析及聚類分析主成分分析及聚類分析2 大規模復雜系統的變量都較多，這增加了分析大規模復雜系統的變量都較多，這增加了分析問題的難度與復雜性，很多情況下多個變量之間具問題的難度與復雜性，很多情況下多個變量之間具有一定的有一定的相關關系相關關系 能否在相關分析的基礎上，用較少的新變量能否在相關分析的基礎上，用較少的新變量代替原來較多的舊變量，而且使這些較少的新變量代替原來較多的舊變量，而且使這些較少的新變量盡可能多地保留原來變量所反映的信息盡可能多地保留原來變量所反映的信息 主成分分析方法就是綜合處理這種問題的一種主成分分析方法就是綜合處理這種問題的一種強有力的工具。主成分分析是把原來多

2、個變量劃為強有力的工具。主成分分析是把原來多個變量劃為少數幾個綜合指標的一種統計分析方法少數幾個綜合指標的一種統計分析方法3 主成分分析是把各變量之間互相關聯的復雜關主成分分析是把各變量之間互相關聯的復雜關系進行簡化分析的方法。系進行簡化分析的方法。 主成分分析試圖在力保數據信息丟失最少的原主成分分析試圖在力保數據信息丟失最少的原則下，對多變量的數據進行最佳綜合簡化，也就是則下，對多變量的數據進行最佳綜合簡化，也就是說，對高維變量空間進行降維處理。說，對高維變量空間進行降維處理。4u一個簡單的例子一個簡單的例子成績的評估可以用下面的綜合成績來體現：成績的評估可以用下面的綜合成績來體現：a1數學

3、數學a2語文語文a3英語英語a4體育體育 確定權重系數的過程就可以看作是主成分分析的過確定權重系數的過程就可以看作是主成分分析的過程，得到的加權成績總和就相對于新的綜合變量程，得到的加權成績總和就相對于新的綜合變量主成分主成分當某一問題需要同時考慮好幾個因素時，我們并不當某一問題需要同時考慮好幾個因素時，我們并不對這些因素個別處理而是將它們綜合起來處理，對這些因素個別處理而是將它們綜合起來處理，這就是主成分分析這就是主成分分析5基本思想基本思想u如果用如果用x1, x2 , , xn表示表示n門課程，門課程， a1, a2 , an表表示各門課程的權重，且滿足示各門課程的權重，且滿足 ，那么加

4、權之和就是：，那么加權之和就是：u s= a1x1+ a2x2+ anxnu我們希望選擇適當的權重能更好地區分學生的成我們希望選擇適當的權重能更好地區分學生的成績，每個學生都對應一個這樣的綜合成績。記為績，每個學生都對應一個這樣的綜合成績。記為s1, s2 , , sm。 m為學生人數。如果這些值很分散為學生人數。如果這些值很分散，表明區分得好。，表明區分得好。u而方差反映了隨機變量取值的分散程度。因此，而方差反映了隨機變量取值的分散程度。因此，我們把方差最大那一組系數與課程成績的內積所我們把方差最大那一組系數與課程成績的內積所構成的向量（形為構成的向量（形為Z1=a1X）稱為）稱為第一主成分

5、第一主成分6222121iiinaaa基本思想基本思想u如果第一主成分所含信息不夠多，還不足以代如果第一主成分所含信息不夠多，還不足以代表原始的表原始的n n個變量，則需考慮再使用一個綜合個變量，則需考慮再使用一個綜合變量變量Z2=a2X, 且：且： 使使Z2方差達到最大。則，方差達到最大。則，Z2為第二主成分為第二主成分012ijCov ZZijijk（ ，）， ， ，主成分分析的目的主成分分析的目的u主成分分析旨在利用降維的思想，把多指標轉化為少數主成分分析旨在利用降維的思想，把多指標轉化為少數幾個綜合指標。幾個綜合指標。在實證問題研究中，為了全面、系統地在實證問題研究中，為了全面、系統地

6、分析問題，我們必須考慮眾多影響因素。這些涉及的因分析問題，我們必須考慮眾多影響因素。這些涉及的因素一般稱為指標，在多元統計分析中也稱為變量。因為素一般稱為指標，在多元統計分析中也稱為變量。因為每個變量都在不同程度上反映了所研究問題的某些信息每個變量都在不同程度上反映了所研究問題的某些信息，并且指標之間彼此有一定的相關性，因而所得的統計，并且指標之間彼此有一定的相關性，因而所得的統計數據反映的信息在一定程度上有重疊。在用統計方法數據反映的信息在一定程度上有重疊。在用統計方法研研究多變量問題時，變量太多會增加計算量和增加分析問究多變量問題時，變量太多會增加計算量和增加分析問題的復雜性，人們希望在進

7、行定量分析的過程中，涉及題的復雜性，人們希望在進行定量分析的過程中，涉及的變量較少，得到的信息量較多。的變量較少，得到的信息量較多。u主成分分析法通過研究指標體系的主成分分析法通過研究指標體系的內在結構關系內在結構關系，從而，從而將多個指標轉化為少數幾個相互獨立且包含原來指標大將多個指標轉化為少數幾個相互獨立且包含原來指標大部分信息（部分信息（80%80%或或85%85%以上）的綜合指標。其優點在于以上）的綜合指標。其優點在于它確定的它確定的權數權數是基于數據分析而得出的指標之間的內在是基于數據分析而得出的指標之間的內在結構關系，不受主觀因素的影響，有較好的結構關系，不受主觀因素的影響，有較好

8、的客觀性客觀性，而，而且得出的綜合指標（主成分）之間相互獨立，減少信息且得出的綜合指標（主成分）之間相互獨立，減少信息的交叉，這對分析評價極為有利。的交叉，這對分析評價極為有利。主成分分析步驟主成分分析步驟設設n個隨機變量取得的一組（個隨機變量取得的一組（m個）樣本為個）樣本為10（1）對樣本進行標準化處理）對樣本進行標準化處理11（2 2）計算樣本協方差矩陣（樣本相關系數矩陣）計算樣本協方差矩陣（樣本相關系數矩陣）協方差數據矩陣的每一列對應一個變量的協方差數據矩陣的每一列對應一個變量的m個量測個量測值，任意兩列之間可以計算兩變量間的協方差值，任意兩列之間可以計算兩變量間的協方差12 11(

9、,1,2, )1mijkikjn nkn nSsX Xi jnm當分析中所選擇的變量具有不同的量綱，變量水平當分析中所選擇的變量具有不同的量綱，變量水平差異很大，應該計算樣本相關系數（選擇基于相關差異很大，應該計算樣本相關系數（選擇基于相關系數矩陣的主成分分析）系數矩陣的主成分分析）13（3）計算特征值和特征向量）計算特征值和特征向量14（4）計算各主成分）計算各主成分利用所得單位化特征向量，構造一個正交矩陣利用所得單位化特征向量，構造一個正交矩陣a15對于對于m個樣本中的第個樣本中的第k個樣本，由個樣本，由Zi=aiX，可得到，可得到n個主成分個主成分16u主成分選擇主成分選擇 1）貢獻率：

10、若）貢獻率：若i為協方差矩陣的第為協方差矩陣的第i個特征根，個特征根，則則 ，稱為第，稱為第i個主成分的貢獻率個主成分的貢獻率 ，反映了原來，反映了原來n個個指標多大的信息，有多大的綜合能力指標多大的信息，有多大的綜合能力 。1nijj 2）累積貢獻率：前）累積貢獻率：前k個主成分共有多大的綜合能力，個主成分共有多大的綜合能力，用用來描述，稱為第來描述，稱為第k個主成分的累積貢獻率。個主成分的累積貢獻率。11knijij18我們進行主成分分析的目的之一是希望用盡可我們進行主成分分析的目的之一是希望用盡可能少的主成分能少的主成分Z1，Z2，Zp（pn）代替原來）代替原來的的n個指標。到底應該選擇多少個主成分，在實個指標。到底應該選擇多少個主成分，在實際工作中，主成分個數的多少取決于能夠反映際工作中，主成分個數的多少取決于能夠反映原來變量原來變量80%以上的信息量為依據，即當累積以上的信息量為依據，即當累積貢獻率貢獻率80%