管理統計學2010年11主成分分析與因子分析11.1因子分析11.1.1因子分析的理論與方法11.1.2因子分析的SPSS應用11.2主成分分析11.2.1主成分分析的理論與方法11.2.2主成分分析的SPSS應用11.1因子分析因子/基礎變量：既能包含原來眾多變量代表的信息，又能解釋這些變量相互依存關系的變量因子分析：多元統計分析技術的一個分支，用于處理多變量問題，是一種降維、簡化數據的技術因子分析的應用尋求基本結構數據化簡

11.1.1因子分析的理論與方法因子分析的數學模型因子分析的有關概念因子負載公共因子方差因子的貢獻因子旋轉解釋因子因子得分因子分析的步驟因子分析的數學模型F1,F2,…,Fm稱為公共因子，i為Xi的特殊因子矩陣形式X=AF需滿足：mpCov(F,)=0

且因子負載聯系觀測變量和公共因子的橋梁公共因子完全不相關時，因子負載aij等于第i個變量和第j個因子之間的相關系數aij的絕對值越大，公共因子與觀測變量關系越大公共因子彼此不相關時，變量Xi與Xj的相關系數為比較觀測數據計算出的相關系數和模型導出的變量的相關系數，判斷因子解是否合適差別很小，模型很好的擬合觀測數據，因子解合適

公共因子方差/共同度觀測變量的方差中由公共因子決定的比例說明用公共因子替代觀測變量后，原來每個變量信息被保留的程度公共因子方差越大，變量能夠被因子說明的程度越高當公共因子彼此正交時，公共因子方差等于和該變量有關的因子負載的平方和因子的貢獻用因子所能夠解釋的總方差衡量的每個公共因子對變量的解釋能力所有公共因子的總貢獻為：實際中，相對指標更為常用，即每個因子所解釋的方差占所有變量總方差的比例Vp/kK為觀測變量的個數因子旋轉因子結構：因子和變量之間的相關關系因子模式：因子負載矩陣因子旋轉的條件一個變量在多個公共因子上有較大的負荷多個變量在同一個公共因子上有較大的負荷因子旋轉的目的使同一個因子在各個變量上的負載盡可能的向靠近1和靠近0的兩極分離因子旋轉的方式正交旋轉：使因子軸之間仍然保持90度角，因子之間仍舊不相關，因子結構與因子模式等同斜交旋轉：因子之間的夾角是任意的，因子負載不再等于因子和變量之間的相關系數因子模式與因子結構的關系為S=BW，S為因子結構矩陣，B為因子負載矩陣，W為斜交因子之間的相關系數矩陣解釋因子解釋因子的作用借助因子負載矩陣，找出在某個因子上有顯著負載的變量根據這些變量的意義給因子一個合適的名稱具有較高負載的變量對因子名稱的影響較大解釋因子的確定一般認為絕對值大于0.3的因子負載就是顯著的因子得分因子得分的求解過程用觀測變量的線性組合表示因子依據因子對應的每個變量的具體數值進行測度因子得分的計算在因子分析模型中，不考慮特殊因子的影響，當m=p且A可逆時，該樣本在因子F上的得分F=A-1X實際應用要求mp，只能對因子得分進行估計因子分析的步驟計算所有變量的相關系數矩陣提取因子，確定因子的個數和求因子解的方法進行因子旋轉，使因子解的實際意義更容易解釋計算因子得分11.1.2因子分析的SPSS應用添加分析變量描述性統計設置因子提取設置因子旋轉設置因子得分設置缺失值及因子負載矩陣設置生育率影響因素分析變量設置X1:Multi-parity(%),X2:Contraception(%)X3:J.school&above(%),X4:Averageincome(元),X5:Urban(%)IdX1X2X3X4X5IdX1X2X3X4X510.9489.8964.51357773.08169.0488.7639.7188015.5222.5892.3255.41298168.651712.0287.2838.76124828.91313.4690.7138.2114819.081811.1589.1336.3397618.23412.4690.0445.12112427.681922.4687.7238.38184536.7758.9490.4641.83108036.122024.3484.8631.0779815.162.890.1750.64201150.862133.2183.7939.44119324.0578.9191.4346.32138342.65224.7890.5731.2690320.2588.8290.7847.33162847.172321.5686.022.3865418.9390.891.4762.36482266.232414.0980.9621.4995614.72105.9490.3140.85169621.242532.3187.67.786512.59112.692.4235.14171732.812611.1889.7141.0193021.49127.0787.9729.5193317.92713.886.3329.6993822.041314.4488.7129.04131321.362825.3481.5631.3110027.351415.2489.4331.0594320.42920.8481.4534.59102425.72153.1691.2137.85137227.343039.664.938.47137431.91添加分析變量Analyze→Data

Reduction→Factor選擇變量：選擇參與分析的數據描述性統計設置輸出原始變量的基本描述統計量

輸出因子分析的初始解

簡單相關系數矩陣

相關系數矩陣的逆矩陣

顯著性檢驗

相關系數矩陣的行列式

再生相關陣

反映象相關矩陣

KMO和Bartlett球形檢驗

因子提取設置7

種因子提取方法，默認為主成分分析法標準化后因子分析直接因子分析相關系數矩陣協方差矩陣輸出旋轉前的因子方差貢獻表和因子負載矩陣輸出因子碎石圖設置提取的因子對應的特征跟范圍，默認值1輸入提取因子的個數Principalcomponents/主成分法：把給定的一組相關變量通過線性變換轉換成另一組不相關的變量，新的變量按照方差遞減的順序排列，總方差不變Unweightedleastsquares/普通最小二乘法：使因子模型計算出的相關系數和觀測到的相關系數之間的離差平方和最小Genenralizedleastsquares/廣義最小二乘法：用與Unweightedleastsquares同樣的原則，迭代過程中，用特殊因子方差倒數調整相關系數矩陣Maximumlikelihood/最大似然法：類似廣義最小二乘法，使因子解最好擬合觀測數據變量的相關關系假設樣本來源于多維正態總體，構造樣本似然函數使其達到極大求解過程中相關系數用特殊因子方差倒數加權因子提取方法Principalaxisfactoring/主軸因子法：類似主成分法，用公共因子方差代替相關系數矩陣主對角線上的元素1新的矩陣稱為調整相關系數矩陣，解調整相關系數矩陣的特征方程求得因子解Alphafactoring/因子提取法：變量是來自潛在變量空間中的樣本，通過給定的總體觀測，使提取的公共因子和假設存在的公共因子有最大的相關Imageanalysis/映像分析法：一個變量分解為兩部分公共部分：由除該變量外的觀測變量線性組合預測，即該變量的映像特有部分：不能被其他變量線性組合預測，即變量的反像同時考慮樣本空間和變量空間，映像的平方相當于公共因子方差，反像的平方相當于特殊因子方差，采用和主成分法類似的過程求得因子解因子提取方法（續）因子提取方法的選擇通常各種方法產生的公共因子方差差別不大公共因子方差為1時，主成分法和其他6種方法的實質是一樣的公共因子方差較低時，差別比較明顯主成分法解釋變量的方差，假設每個變量的方差能被完全解釋，相關系數矩陣主對角線上的元素和其他元素同樣重要，甚至更重要其他方法解釋變量的相關關系，假設觀測變量的相關能完全被公共因子解釋，方差不一定能完全被公共因子解釋不能被解釋的方差只影響相關系數矩陣主對角線上的元素要求因子解能夠擬合相關系數矩陣主對角線以外的元素提取相同數目的因子，主成分法能夠解釋更多的方差變量個數增加，主對角線上元素重要程度降低，差異不再明顯樣本量很大時，最大似然法解比其他解的精度有明顯提高依據因子分析的目的和對變量方差了解程度決定的方法要以最少的因子最大程度地解釋原始數據中的方差，或已明確特殊因子和誤差帶來的方差很小，適合用主成分法為了確定數據結構但并不了解變量方差的情況，適用其他6種方法因子旋轉設置簡化因子負載矩陣列，使因子負載平方的方差最大直接斜交旋轉法因子自相關的程度可盡量減少解釋變量的因子個數Varimax與Quartimax因子解加權平均速度比直接旋轉法快，適用于大樣本輸出旋轉后的因子方差貢獻表和因子負載矩陣

輸出旋轉后因子負載散點圖

因子得分設置將因子值作為新變量保存在數據文件中

計算因子得分的方法

輸出因子得分矩陣

缺失值及因子負載矩陣設置

缺失值處理方法

因子負載矩陣顯示方式

觀測的所有分析變量有一個有缺失值就不參與分析

只把兩個變量協方差或相關系數帶有缺失值的觀測刪除

用均值替代缺失值

按因子負載的大小排序

不顯示絕對值太小的因子負載

變量共同度、KMO與Bartlett球形檢驗

CommunalitiesInitialExtractionmulti-parity%1.000.887contraception%1.000.913J.school&above%1.000.860averageincome1.000.878urban%1.000.931ExtractionMethod:PrincipalComponentAnalysis.共同度都在85%以上，因子提取效果比較理想KMOandBartlett'sTestKaiser-Meyer-OlkinMeasureofSamplingAdequacy..713Bartlett'sTestofSphericityApprox.Chi-Square106.776df10Sig..000KMO統計量為0.713，Bartlett球形檢驗的值為0.000，說明案例數據比較適合因子分析

相關系數矩陣及相關顯著性檢驗（CorrelationMatrix）

multi-parity%contraception%J.school&above%AverageincomeUrban%Correlationmulti-parity%1.000-.761-.542-.453-.453contraception%-.7611.000.293.253.245J.school&above%-.542.2931.000.771.849averageincome-.453.253.7711.000.878urban%-.453.245.849.8781.000Sig.(1-tailed)multi-parity%.000.001.006.006contraception%.000.058.089.096J.school&above%.001.058.000.000averageincome.006.089.000.000urban%.006.096.000.000初始的樣本相關系數矩陣或協差陣特征根

特征根與方差貢獻率表TotalVarianceExplainedInitialEigenvaluesExtractionSumsofSquaredLoadingsRotationSumsofSquaredLoadingsTotal%ofVarianceCumulative%Total%ofVarianceCumulative%Total%ofVarianceCumulative%13.2565.00665.0063.2565.00665.0062.68353.66153.66121.2224.39689.4011.2224.39689.4011.78735.74089.4013.254.99394.3944.1813.62098.0145.0991.986100.000ExtractionMethod:PrincipalComponentAnalysis.各因子特征根

各因子方差貢獻率

各因子累計方差貢獻率旋轉前的因子負載矩陣ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554contraception%.568-.768ExtractionMethod:PrincipalComponentAnalysis.a.2componentsextracted.每個變量的因子表達式因子碎石圖變平緩，提取兩個因子旋轉后的因子負載矩陣RotatedComponentMatrixaComponent12urban%.952.157averageincome.922.166J.school&above%.892.255contraception%.076.953multi-parity%-.354-.873ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.a.Rotationconvergedin3iterations.因子負載系數兩級分化

因子得分系數矩陣ComponentScoreCoefficientMatrixComponent12multi-parity%.041-.510contraception%-.185.627J.school&above%.343-.032averageincome.378-.100urban%.393-.113ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.因子得分表達式因子得分表IdFAC1_1FAC2_1IdFAC1_1FAC2_112.594700.2954816-0.598150.5204821.888210.6211217-0.084350.064343-0.493410.4759418-0.596870.437224-0.071070.37147190.37363-0.532495-0.012690.5549820-0.70198-0.6773560.982890.60139210.00308-1.3820270.372610.5791622-0.805650.9378080.637300.4457923-0.97955-0.3883692.835570.4032424-0.83624-0.6054310-0.148170.7262825-1.49137-0.6829311-0.116541.0775526-0.418400.4734212-0.802310.5335227-0.61051-0.0301413-0.567790.1823928-0.15355-1.2355514-0.709020.2688729-0.14180-1.0100715-0.269420.97540300.92086-4.00152因子得分的協差陣ComponentScoreCovarianceMatrixComponent1211.000.0002.0001.000ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.根據因子分析的數學模型，因子得分的協差陣應該是單位陣11.2主成分分析Hotelling于1933年首先提出主要思想通過線性組合的方式從多個具有一定相關性的變量中盡可能快地提取信息當一個線性組合不能提取更多的信息時，再考慮用第二個線性組合繼續這個快速提取的過程，，直到所提取的信息與原指標相差不多時為止優點通過較少的主成分得到較多的信息量與因子分析的區別用各個變量的線性組合表示主成分，并非用因子表示變量不需要類似于各個因子之間不相關等的假設條件與因子分析的聯系都需要對指標進行正向化和標準化都需要判斷相關系數矩陣變量間的相關性求特征值和特征向量11.2.1主成分分析的理論與方法

主成分分析的數學模型主成分分析的幾何意義主成分分析的作用主成分分析的求解步驟主成分分析的數學模型用原始數據矩陣的個變量作線性組合用矩陣表示為：Y=UX滿足：矩陣的每一行都是單位行向量Yi與Yj之間不相關Y1是X1,…,XP的一切組合中方差最大的，Y2是與Y1不相關的X1,…,XP的一切組合中方差最大的，Ym是與Y1,…,Ym-1都不相關的X1,…,XP的一切組合中方差最大的主成分分析的幾何意義二維變量的情況二維空間中的變量由橫坐標和縱坐標表示這些數據形成一個橢圓形狀的點陣橢圓短軸方向上，數據變化很少極端情況，短軸退化成一點，只有在長軸的方向上才能解釋這一點的變化，二維到一維的降維完成坐標軸和橢圓的長、短軸平行長軸的變量描述數據的主要變化，短軸的變量描述數據的次要變化坐標軸不和橢圓的長、短軸平行尋找橢圓的長、短軸，進行變換，使新變量和橢圓的長、短軸平行多維變量的情況表現為高維橢球，無法直觀看見找出高維橢球主軸，用代表大多數信息的最長的幾個軸作為新變量主成分分析基本上完成二維橢圓有兩個主軸，三維橢球有三個主軸，有幾個變量，就有幾個主成分主成分分析的作用主成分分析能降低所研究的數據空間維數可通過因子負載的結論，弄清變量間的某些關系主成分分析可以作為多維數據的一種圖形表示方法可以由主成分分析法構造回歸模型用主成分分析篩選回歸變量主成分分析的求解步驟指標數據的標準化指標之間的相關關系判定確定主成分個數確定主成分的表達式為主成分命名11.2.2主成分分析的SPSS應用利用SPSS進行因子分析利用因子分析結果進行主成分分析計算主成分利用SPSS進行因子分析Analyze→Data

Reduction→Factor使用與因子分析相同的原始數據ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554c