/摘要典型相關分析是多元統計分析的一個重要研究課題。它是研究兩組變量之間相關的一種統計分析方法，能夠有效地揭示兩組變量之間的相互線性依賴關系。它借助主成分分析降維的思想，用少數幾對綜合變量來反映兩組變量間的線性相關性質.目前它已經在眾多領域的相關分析和預測分析中得到廣泛應用.本文首先描述了典型相關分析的統計思想，定義了總體典型相關變量及典型相關系數，并簡要概述了它們的求解思路，然后深入對樣本典型相關分析的幾種算法做了比較全面的論述.根據典型相關分析的推理，歸納總結了它的一些重要性質并給出了證明，接著推導了典型相關系數的顯著性檢驗.最后通過理論與實例分析兩個層面論證了典型相關分析的應用于實際生活中的可行性與優越性?！娟P鍵詞】典型相關分析，樣本典型相關，性質，實際應用ABSTRACTTheCanonicalCorrelationAnalysisisanimportantstudyingtopicoftheMultivariateStatisticalAnalysis。Itisthestatisticalanalysismethodwhichstudiesthecorrelationbetweentwosetsofvariables。Itcanworktorevealthemutuallinedependencerelationavailablybetweentwosetsofvariables.WiththehelpofthethoughtaboutthePrincipalComponents，wecanuseafewcomprehensivevariablestoreflectthelinearrelationshipbetweentwosetsofvariables.NowadaysIthasalreadybeenusedwidelyinthecorrelationanalysisandforecastedanalysis。ThistextdescribesthestatisticalthoughtoftheCanonicalCorrelationAnalysisfirstly，andthendefinesthetotalcanonicalcorrelationvariablesandcanonicalcorrelationcoefficient，andsumuptheirsolutionmethodbriefly.AfteritIgodeepintodiscusssomealgorithmofthesamplecanonicalcorrelationanalysisthoroughly.AccordingtothereasoningoftheCanonicalCorrelationAnalysis，sumupsomeofitsimportantpropertiesandgivetheidentification,followingit，Iinferthesignificancetestingaboutthecanonicalcorrelationcoefficient。Accordingtotheanalysisfromthetheoriesandtheapplication,wecanachievethepossibilityandthesuperiorityfromcanonicalcorrelationanalysisinthereallife?！綤eywords】CanonicalCorrelationAnalysis，Samplecanonicalcorrelation,Character，Practicalapplications目錄TOC\o"1-3”\h\z\u_Toc168575294”第1章典型相關分析的數學描述 2第2章典型變量與典型相關系數 32.1總體典型相關 32。2樣本典型相關 42.2。2典型相關變量的一般解法 92.2.3從相關矩陣出發計算典型相關 9第3章典型相關變量的性質 12HYPERLINK\l”_Toc168575302”第4章典型相關系數的顯著性檢驗 16HYPERLINK\l”_Toc168575303”第5章典型相關分析的計算步驟及應用實例 195.1典型相關分析的計算步驟 19HYPERLINK\l”_Toc168575305”5.2實例分析 20參考文獻 29HYPERLINK\l”_Toc168575309”附錄 29前言典型相關分析（CanonicalCorrelationAnalysis，CCA)作為多元統計學的一個重要部分，是相關分析研究的一個主要內容。典型相關分析不僅其方法本身具有重要的理論意義，而且它還可以作為其他分析方法,如多重回歸、判別分析和相應分析的工具,因此在多元分析方法中占有特殊的地位.典型相關的概念是在兩個變量相關的基礎上發展起來的。我們知道，兩個隨機變量的相關關系可以用它們的簡單相關系數來衡量；一個隨機變量與一組隨機變量之間的相關關系可以用復相關系數來衡量。但考慮一組隨機變量與另一組隨機變量的關系時,如果運用兩個變量的相關關系，分別考慮第一組每個變量和第二組中每個變量的相關,或者運用復相關關系，考慮一組變量中的每個變量和另一組變量的相關,這樣做比較繁瑣，抓不住要領。因此，為了用比較少的變量來反映兩組變量之間的相關關系，一種考慮的思路就是類似主成分分析，考慮兩組變量的線性組合，從這兩個線性組合中找出最相關的綜合變量,通過少數幾個綜合變量來反映兩組變量的相關性質，這樣便引出了典型相關分析。典型相關分析的基本思想是首先在每組變量中找出變量的線性組合，使其具有最大相關性，然后再在每組變量中找出第二對線性組合，使其分別與第一對線性組合不相關，而第二對本身具有最大的相關性，如此繼續下去，直到兩組變量之間的相關性被提取完畢為止.有了這樣線性組合的最大相關，則討論兩組變量之間的相關，就轉化為只研究這些線性組合的最大相關,從而減少研究變量的個數.典型相關分析是由Hotelling于1936年提出的.就目前而言,它的理論己經比較完善，計算機的發展解決了典型相關分析在應用中計算方面的困難，成為普遍應用的進行兩組變量之間相關性分析技術.如在生態環境方面，用典型相關理論對預報場與因子場進行分析，實現了短期氣象預測；借助典型相關，分析了植被與環境的關系;在社會生活領域,應用典型相關分析了物價指標和影響物價因素的相關關系等等.第1章典型相關分析的數學描述一般地，假設有一組變量與另一組變量，我們要研究這兩組變量之間的相關關系,如何給兩組變量之間的相關性以數量的描述.當1時，就是我們常見的研究兩個變量與之間的簡單相關關系，其相關系數是最常見的度量，定義為：當(或）時，維隨機向量，設,，其中,是第一組變量的協方差陣,是第一組與第二組變量的協方差陣，是第二組變量的協方差陣.則稱為與的全相關系數，全相關系數用于度量一個隨機變量與另一組隨機變量的相關系數。當時，利用主成分分析的思想,可以把多個變量與多個變量之間的相關化為兩個新的綜合變量之間的相關。也就是做兩組變量的線性組合即其中，和為任意非零向量，于是我們把研究兩組變量之間的問題化為研究兩個變量之間的相關問題，希望尋求，使，之間最大可能的相關，我們稱這種相關為典型相關,基于這種原則的分析方法就是典型相關分析.第2章典型變量與典型相關系數2。1總體典型相關設有兩組隨機變量,,分別為隨機向量，根據典型相關分析的思想,我們用和的線性組合和之間的相關性來研究兩組隨機變量和之間的相關性。我們希望找到，使得最大。由相關系數的定義易得出對任意常數，均有這說明使得相關系數最大的并不唯一。因此,為避免不必要的結果重復,我們在求綜合變量時常常限定，于是，我們就有了下面的定義：設有兩組隨機變量,，維隨機向量的均值向量為零，協方差陣（不妨設）。如果存在和,使得在約束條件，下，則稱是的典型相關變量，它們之間的相關系數稱為典型相關系數；其他典型相關變量定義如下：定義了前對典型相關變量之后,第對典型相關變量定義為：如果存在和，使得⑴和前面的對典型相關變量都不相關；⑵，；⑶的相關系數最大，則稱是的第對(組）典型相關變量，它們之間的相關系數稱為第個典型相關系數()。2.2樣本典型相關以上是根據總體情況已知的情形進行，而實際研究中，總體均值向量和協方差陣通常是未知的,因而無法求得總體的典型相關變量和典型相關系數，首先需要根據觀測到的樣本數據陣對進行估計.2.2。1第一對典型相關變量的解法設總體,已知總體的次觀測數據為：(），于是樣本數據陣為若假定則由參考文獻【2】中定理2。5.1知協方差陣的最大似然估計為其中=，樣本協方差矩陣為:式中，令，，則樣本的相關系數為又因為：所以由于,乘以任意常數并不改變他們之間的相關系數，即不妨限定取標準化的與，即限定及的樣本方差為1,故有：（2。2.1）則（2.2.2）于是我們要求的問題就是在（2.2。1）的約束條件下,求，，使得式（2。2。2)達到最大。這是條件極值的問題，由拉格朗日乘子法,此問題等價于求,,使(2。2.3）達到最大。式中，,為拉格朗日乘數因子.對上式分別關于,求偏導并令其為0,得方程組:（2.2.4）分別用,左乘方程（2.2.4）得又所以也就是說，正好等于線性組合與之間的相關系數,于是（2。2。4)式可寫為:或（2.2.5）而式（2。2。5)有非零解的充要條件是：(2。2。6）該方程左端是的次多項式，因此有個根。求解的高次方程(2.2。6)，把求得的最大的代回方程組(2.2。5）,再求得和，從而得出第一對典型相關變量.具體計算時，因的高次方程(2.2。6)不易解，將其代入方程組（2.2。5)后還需求解階方程組。為了計算上的方便，我們做如下變換:用左乘方程組（2.2.5）的第二式，則有—即=又由(2.2。5）的第一式，得代入上式：（2.2.7)再用左乘式（2。2。7),得(2.2。8）因此，對有個解，設為,對也有個解.類似地,用左乘式(2.2.5）中的第一式，則有（2。2。9）又由(2。2.5）中的第二式,得代入到(2。2。8）式，有再以左乘上式,得（2.2.10）因此對有個解,對也有個解，因此為的特征根，是對應于的特征向量.同時也是的特征根，為相應特征向量。而式（2。2。8）和(2.2。10）有非零解的充分必要條件為：（2.2.11）對于（2。2。11）式的第一式，由于，，所以，，故有：而與有相同的特征根.如果記則=類似的對式（2.2。11）的第二式，可得而與有相同的非零特征根，從而推出（2。2.8）和（2。2。10）的非零特征根是相同的.設已求得的個特征根依次為:則的個特征根中，除了上面的個外，其余的個都為零.故個特征根排列是，,因此，只要取最大的，代入方程組(2.2.5）即可求得相應的，.令=與為第一對典型相關變量，而為第一典型相關系數.可見求典型相關系數及典型相關變量的問題，就等價于求解的最大特征值及相應的特征向量.2。2.2典型相關變量的一般解法從樣本典型相關變量的解法中，我們知道求典型相關變量和典型相關系數的問題，就是求解的最大特征值及相應的特征向量.不僅如此，求解第對典型相關變量和典型相關系數，類似的也是求的第大的特征值和相應的特征向量.下面引用參考文獻【2】中定理10.1。1來得出樣本典型相關的一般求法.設總體的次觀測數據為：（）不妨設，樣本均值為0，協方差矩陣為：記,并設階方陣的特征值依次為(）；而為相應的單位正交特征向量。令，則，為第對典型相關變量，為第典型相關系數.由上述分析不難看出,典型相關系數越大說明相應的典型變量之間的關系越密切，因此一般在實際中忽略典型相關系數很小的那些典型變量，按的大小只取前個典型變量及典型相關系數進行分析.2。2。3從相關矩陣出發計算典型相關以上我們從樣本協方差陣出發，導出了樣本典型相關變量和樣本典型相關系數.下面我們從樣本相關陣出發來求解樣本典型相關變量和樣本典型相關系數.設樣本相關陣為，其中，為樣本協方差陣的行列元素.把相應剖分為有時,的各分量的單位不全相同，我們希望在對各分量作標準化變換之后再做典型相關.記，則，，,對的各分量作標準化變換,即令，現在來求和的典型相關變量,，.于是因為所以式中,有同理：式中,有，由此可見，為的第對典型系數，其第個典型相關系數為，在標準化變換下具有不變性.第3章典型相關變量的性質根據典型相關分析的統計思想及推導，我們歸納總結了典型相關變量的一些重要性質并對總體與樣本分別給出證明.性質1同一組的典型變量互不相關ⅰ總體典型相關設的第對典型變量為,，則有證明詳見參考文獻【5】.ⅱ樣本典型相關設的第對典型變量為，,因為，,，,表明由組成的第一組典型變量互不相關,且均有相同的方差1；同樣，由組成的第二組典型變量也互不相關，且也有相同的方差1.性質2不同組的典型變量之間的相關性ⅰ總體典型相關證明詳見參考文獻【5】。ⅱ樣本典型相關，表明不同組的任意兩個典型變量，當時，相關系數為；當時是彼此不相關的.記，,則上述性質可用矩陣表示為或其中性質3原始變量與典型變量之間的關系求出典型變量后，進一步計算原始變量與典型變量之間的相關系數矩陣，也稱為典型結構。下面我們分別對總體與樣本進行討論.ⅰ總體典型相關的原始變量與典型變量的相關性詳見參考文獻【2】。ⅱ樣本典型相關記=則所以利用協方差進一步可以計算原始變量與典型變量之間的相關關系.若假定原始變量均為標準化變量，則通過以上計算所得到的原始變量與典型變量的協方差陣就是相關系數矩陣.，，性質4設分別為隨機向量,令，，其中為階非退化矩陣，為維常數向量,為階非退化矩陣，維常數向量.則：ⅰ對于總體典型相關有:⑴的典型相關變量為和,其中，（）；而是的第對典型相關變量的系數.⑵，即線性變換不改變相關性.證明詳見參考文獻【2】。ⅱ對于樣本典型相關有:⑴的典型相關變量為和，其中，（)；而是的第對典型相關變量的系數.⑵，即線性變換不改變相關性.證明:⑴設的典型相關變量分別為，由于，，所以即有是的第對典型相關變量的系數.⑵由⑴的證明可知由于與都是常數,所以即有線性變換不改變相關性.性質5簡單相關、復相關和典型相關之間的關系當，之間的（惟一）典型相關就是它們之間的簡單相關;當之間的（惟一）典型相關就是它們的復相關。復相關是典型相關的一個特例,而簡單相關又是復相關的一個特例.從第一個典型相關的定義可以看出，第一個典型相關系數至少同的任一分量與的復相關系數一樣大,即使所有這些復相關系數都很小，第一個典型相關系數仍可能很大;同樣,從復相關的定義也可以看出，當(或）時，之間的復相關系數也不會小于的任一分量之間的相關系數，即使所有這些相關系數都很小，復相關系數仍可能很大。第4章典型相關系數的顯著性檢驗設總體的兩組變量，，且，在做兩組變量，的典型相關分析之前，首先應該檢驗兩組變量是否相關，如果不相關，則討論兩組變量的典型相關就毫無意義?？紤]假設檢驗問題：：：至少有一個不為零其中。若檢驗接受，則認為討論兩組變量之間的相關性沒有意義；若檢驗拒絕，則認為第一對典型變量是顯著的.上式實際上等價于假設檢驗問題：,：用似然比方法可導出檢驗的似然比統計量其中階樣本離差陣是的最大似然估計,且=，，分別是,的最大似然估計。該似然比統計量的精確分布已由霍特林（1936）,Girshik（1939)和Anderson(1958）給出，但表達方式很復雜，又不易找到該分布的臨界值表,下面我們采用的近似分布。利用矩陣行列式及其分塊行列式的關系，可得出：=所以其中是的特征值（），按大小次序排列為，當時，在成立下近似服從分布，這里，，因此在給定檢驗水平之下，若由樣本算出的臨界值，則否定，也就是說第一對典型變量，具有相關性,其相關系數為，即至少可以認為第一個典型相關系數為顯著的.將它除去之后，再檢驗其余個典型相關系數的顯著性,這時用提出的大樣本檢驗計算統計量：則統計量近似地服從（）（）個自由度的分布，如果，則認為顯著，即第二對典型變量,相關,以下逐個進行檢驗，直到某一個相關系數檢驗為不顯著時截止.這時我們就找出了反映兩組變量相互關系的對典型變量.檢驗：當否定時，表明相關，進而可以得出至少第一個典型相關系數，相應的第一對典型相關變量可能已經提取了兩組變量相關關系的絕大部分信息。兩組變量余下的部分可認為不相關,這時,故在否定后，有必要再檢驗，即第個及以后的所有典型相關系數均為。為了減少計算量，下面我們采用二分法來減少檢驗次數，取檢驗統計量為它近似服從個自由度的分布。在檢驗水平下，若，則拒絕，即認為第對典型相關系數在顯著性水平下是顯著的，否則不顯著.從第2個典型相關系數到第個典型相關系數,共個數，所以根據二分法的原理，將它們分為一個區間,然后先檢驗第個典型相關系數即中位數，當時,即認為第個典型相關系數不相關，否定原假設，接著檢驗；若當時，則檢驗.如此劃分區間依次檢驗下去,由數學分析上的區間套定理，一定存在第個數，使得,而.以上的一系列檢驗實際上是一個序貫檢驗，檢驗直到對某個值未被拒絕為止.事實上,檢驗的總顯著性水平已不是了，且難以確定.還有，檢驗的結果易受樣本容量大小的影響。因此，檢驗的結果只宜作為確定典型變量個數的重要參考依據，而不宜作為惟一的依據.第5章典型相關分析的計算步驟及應用實例5.1典型相關分析的計算步驟設為取自正態總體的樣本（實際上，相當廣泛的情況下也對），每個樣品測量兩組指標,分別記為，，原始資料矩陣為：第一步計算相關矩陣，并將剖分為其中,分別為第一組變量和第二組變量之間的相關系數矩陣,為第一組與第二組變量之間的相關系數。第二步求典型相關系數及典型變量首先求的特征根，特征向量;的特征根，特征向量.，寫出樣本的典型變量為，，,第三步典型相關系數的顯著性檢驗首先，檢驗第一對典型變量的相關系數,即:,：它的似然比統計量為則統計量給定顯著性水平,查表得,若，則否定，認為第一對典型變量相關，否則不相關.如果相關則依次逐個檢驗其余典型相關系數，直到某一個相關系數檢驗為不顯著時截止。5.2實例分析例1：某康復俱樂部對20名中年人測量了三個生理指標：體重、腰圍（）、脈搏（)和三個訓練指標：引體向上（）、起坐次數（）、跳躍次數（）.數據如附錄1：解:記，，其中樣本容量。附錄1中的數據用SPSS統計軟件計算得六個變量之間的相關矩陣如下： CorrelationsX1X2X3Y1Y2Y3X1PearsonCorrelation1.870(**)-。366-。390-.493（*)-。226Sig。（2—tailed）.。000.113.089.027.337N202020202020X2PearsonCorrelation。870（*＊)1-.353-.552(＊）—。646（**）—.191Sig。(2-tailed）。000。.127。012.002。419N202020202020X3PearsonCorrelation-.366—。3531。151.225.035Sig.（2-tailed)。113。127。.526.340。884N202020202020Y1PearsonCorrelation—。390-.552(＊)。1511。696(＊＊）.496(*)Sig.（2—tailed)。089.012.526.。001。026N202020202020Y2PearsonCorrelation—.493(*）—.646（*＊).225.696(**)1。669（＊*）Sig.(2-tailed)。027.002.340.001..001N202020202020Y3PearsonCorrelation—.226-.191。035.496(＊）.669（**)1Sig.(2—tailed)。337.419。884.026.001.N202020202020**Correlationissignificantatthe0。01level(2—tailed）.*Correlationissignificantatthe0.05level(2-tailed)。即樣本相關矩陣為：===于是特征方程用求得矩陣的特征值分別為0。6630、0.0402和0。0053，于是，,下面我們進行典型相關系數的顯著性檢驗,先檢驗第一對典型變量的相關系數，欲檢驗：：，：它的似然比統計量為=查分布表得，，因此在的顯著性水平下,,所以拒絕原假設,也即認為第一對典型相關變量是顯著相關的.然后檢驗第二對典型變量的相關系數，即進一步檢驗::,：它的似然比統計量為所以無法否定原假設，故接受：，即認為第二對典型相關變量不是顯著相關的。由以上檢驗可知只需求第一對典型變量即可.于是求的特征向量，而，解得,，因此,第一對樣本典型變量為第一對典型變量的相關系數為，可見兩者的相關性較為密切，即可認為生理指標與訓練指標之間存在顯著相關性。例2：為了研究某企業不同部門人員工作時間的關系，隨機選取25個企業進行入戶調查，達到25個被訪企業業務部門和技術部門經理每月工作時間和員工每月工作時間(單位為小時）,具體數據如附表2分析：設業務部門經理和員工每月工作時間為（），技術部門經理和員工每月工作時間為（）,利用典型相關分析研究企業業務部門和技術部門人員工作時間的關系.解：樣本容量為，，分別為隨機變量的維數.⑴標準化隨機變量與。根據樣本均值與標準差，依照公式，對數據標準化.⑵求解的相關矩陣,并將其分塊。將數據輸入SPSS軟件求得相關系數矩陣如下： CorrelationsX1X2Y1Y2X1PearsonCorrelation1。735(*＊）。711(＊*)。705(＊*）Sig.（2—tailed)。.000。000.000N25252525X2PearsonCorrelation。735(＊＊）1.693（*＊).705（**)Sig.(2—tailed）.000.。000.000N25252525Y1PearsonCorrelation.711(**）。693（＊*）1。834（＊＊）Sig。（2—tailed).000。000。。000N25252525Y2PearsonCorrelation.705(＊＊).705(*＊).834（**)1Sig。（2-tailed)。000。000。000。N25252525*＊Correlationissignificantatthe0.01level（2—tailed）。所以樣本相關矩陣分塊后⑶求解的兩個非零特征根，解得兩個非零特征根為，。⑷進行相關系數的顯著性檢驗,取個顯著性檢驗不為0的特征根.第一對典型變量的相關系數為，第二對典型變量的相關系數為。先檢驗第一對典型變量的相關系數，假設：（即第一對典型變量不相關），由典型相關系數的值可得計算統計量對于給定的顯著性水平所以否定零假設.：，即第一對典型變量是顯著相關的.然后檢驗第二對典型變量的相關系數，假設:（即第二對典型變量不相關）,由典型相關系數的值可得計算統計量對于給定的顯著性水平所以無法否定假設。：，即第二對典型變量不是顯著相關的.由以上檢驗可知，只需求第一對典型變量即可。⑸求個顯著性檢驗不為0的特征根的特征向量,而，解得，.⑹求出對典型相關變量，， 根據上面求得的特征向量，得第一對典型相關變量為第一對典型變量的相關系數為，可見其相關性較為密切.⑺由于，與業務部門經理和員工每月工作時間都成正比，而且系數差不多,所以可以解釋為業務部門人員工作時間。同理可以解釋為技術部門人員的工作時間.可見一個企業技術部門和業務部門人員月工作時間存在顯著的相關性.結語典型相關分析是一種采用類似主成分分析的做法，在每一組變量中都選擇若干個有代表性的綜合指標(變量的線性組合），通過研究兩組的綜合指標之間的關系來反映兩組變量之間的相關關系.在實際中,只須著重研究相關關系較大的那幾對典型相關變量。本文首先根據典型相關分析的統計理論,初步探討了總體典型相關變量和典型相關系數，然后重點討論了樣本典型相關分析，以及它們的一系列性質與顯著性檢驗，并做了相應的實例分析.通過實例分析，我們進一步明確了典型相關分析是研究兩組變量之間相關性的一種降維技術的統計分析方法。而復相關是典型相關的一個特例，簡單相關是復相關的一個特例.第一對典型相關包含有最多的有關兩組變量間相關的信息,第二對其次，其他對依次遞減。各對典型相關變量所含的信息互不重復.并且經標準化的兩組變量之間的典型相關系數與原始的兩組變量間的相應典型相關系數是相同的。致謝本文是在我的指導老師吳可法教授的精心指導和悉心關懷下完成的，在我的學習生涯和論文工作中無不傾注著老師的辛勤汗水和殷切關懷。吳老師寬厚的人格、敏捷的思維、嚴謹的治學態度、淵博的知識、積極向上的人生態度、平易近人的師長風范和兩年來的諄諄教導,使我深受啟迪，并永遠銘記在心.將成為惠及一生的寶貴財富.在此謹向吳老師致以最衷心的感謝和美好的祝愿！論文期間，我得到了許多老師和同學的幫助,本人在這里對他們致以衷心的感謝。我還要感謝我的家人，是他們的理解、支持和鼓勵,使我的學習能夠順利進行.最后衷心感謝在百忙之中評審論