關(guān)于張量分解學(xué)習(xí)第一頁(yè)，共四十七頁(yè)，編輯于2023年，星期一2基本概念及記號(hào)第二頁(yè)，共四十七頁(yè)，編輯于2023年，星期一3張量（tensor）多維數(shù)組基本概念及記號(hào)一階張量（向量）二階張量（矩陣）三階張量第三頁(yè)，共四十七頁(yè)，編輯于2023年，星期一4張量空間由若干個(gè)向量空間中的基底的外積張成的空間基本概念及記號(hào)向量的外積和內(nèi)積第四頁(yè)，共四十七頁(yè)，編輯于2023年，星期一5階（order/ways/modes/rank）張成所屬?gòu)埩靠臻g的向量空間的個(gè)數(shù)一階張量（向量）：二階張量（矩陣）：三階或更高階張量：零階張量（數(shù)量）：基本概念及記號(hào)三階張量：第五頁(yè)，共四十七頁(yè)，編輯于2023年，星期一6纖維（fiber）基本概念及記號(hào)mode-1（列）纖維：

mode-2（行）纖維：

mode-3（管）纖維：第六頁(yè)，共四十七頁(yè)，編輯于2023年，星期一7切片（slice）基本概念及記號(hào)水平切片：

側(cè)面切片：

正面切片：

第七頁(yè)，共四十七頁(yè)，編輯于2023年，星期一8內(nèi)積和范數(shù)設(shè)

內(nèi)積：

（Frobenius）范數(shù)：基本概念及記號(hào)第八頁(yè)，共四十七頁(yè)，編輯于2023年，星期一9秩一張量/可合張量N階張量是一個(gè)秩一張量，如果它能被寫成N個(gè)向量的外積，即基本概念及記號(hào)三階秩一張量：第九頁(yè)，共四十七頁(yè)，編輯于2023年，星期一10（超）對(duì)稱和（超）對(duì)角立方張量：各個(gè)mode的長(zhǎng)度相等對(duì)稱：一個(gè)立方張量是對(duì)稱的，如果其元素在下標(biāo)的任意排列下是常數(shù)。如一個(gè)三階立方張量是超對(duì)稱的，如果對(duì)角：僅當(dāng)時(shí)，基本概念及記號(hào)張量的（超）對(duì)角線第十頁(yè)，共四十七頁(yè)，編輯于2023年，星期一11展開（matricization/unfolding/flattening）將N階張量沿mode-n展開成一個(gè)矩陣基本概念及記號(hào)三階張量的mode-1展開第十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期一12n-mode（矩陣）乘積一個(gè)張量和一個(gè)矩陣的n-mode乘積，其元素定義為這個(gè)定義可以寫成沿mode-n展開的形式性質(zhì)：基本概念及記號(hào)第十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期一13n-mode（向量）乘積一個(gè)張量和一個(gè)向量的n-mode乘積，其元素定義為性質(zhì)：基本概念及記號(hào)第十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期一14矩陣的Kronecker乘積

，則性質(zhì)：基本概念及記號(hào)第十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期一15矩陣的Kronecker乘積矩陣的Kronecker積還和張量和矩陣的n-mode乘積有如下關(guān)系基本概念及記號(hào)第十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期一16矩陣的Khatri-Rao乘積

，則性質(zhì)：基本概念及記號(hào)第十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期一17矩陣的Hadamard乘積

，則性質(zhì)：基本概念及記號(hào)第十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期一18CP分解第十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期一19CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,M?cks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CP分解第十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期一20CP分解的張量形式將一個(gè)張量表示成有限個(gè)秩一張量之和，比如一個(gè)三階張量可以分解為CP分解三階張量的CP分解第二十頁(yè)，共四十七頁(yè)，編輯于2023年，星期一21CP分解的矩陣形式因子矩陣：秩一張量中對(duì)應(yīng)的向量組成的矩陣，如利用因子矩陣，一個(gè)三階張量的CP分解可以寫成展開形式CP分解第二十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期一22CP分解的切片形式三階張量的CP分解有時(shí)按（正面）切片寫成如下形式：

其中CP分解三階張量CP分解的正面切片形式第二十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期一23帶權(quán)CP分解為了計(jì)算方便，通常假設(shè)因子矩陣的列是單位長(zhǎng)度的，從而需要引入一個(gè)權(quán)重向量，使CP分解變?yōu)閷?duì)于高階張量，有

其展開形式為CP分解第二十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期一24張量的秩和秩分解張量的秩定義為用秩一張量之和來精確表示所需要的秩一張量的最少個(gè)數(shù)，記為秩分解：

可見秩分解是一個(gè)特殊的CP分解，對(duì)應(yīng)于矩陣的SVD目前還沒有方法能夠直接求解一個(gè)任意給定張量的秩，這被證明是一個(gè)NP-hard問題

CP分解第二十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期一25張量的秩不同于矩陣的秩，高階張量的秩在實(shí)數(shù)域和復(fù)數(shù)域上不一定相同。例如一個(gè)三階張量

在實(shí)數(shù)域內(nèi)進(jìn)行秩分解得到的因子矩陣為

而在復(fù)數(shù)域內(nèi)進(jìn)行分解得到的因子矩陣為CP分解第二十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期一26張量的低秩近似相對(duì)于矩陣的SVD來說，高階張量的秩分解唯一性不需要正交性條件保證，只需滿足：

這里表示矩陣的k-秩：任意k列都線性無(wú)關(guān)的最大的kCP分解第二十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期一27張量的低秩近似然而在低秩近似方面，高階張量的性質(zhì)比矩陣SVD差Kolda給出了一個(gè)例子，一個(gè)立方張量的最佳秩-1近似并不包括在其最佳秩-2近似中，這說明張量的秩-k近似無(wú)法漸進(jìn)地得到下面的例子說明，張量的“最佳”秩-k近似甚至不一定存在CP分解第二十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期一28張量的低秩近似退化：如果一個(gè)張量能夠被一系列的低秩張量任意逼近邊緣秩（borderrank）：能夠任意逼近一個(gè)張量的最少的成分個(gè)數(shù)CP分解秩2秩3一個(gè)秩為2的張量序列收斂到一個(gè)秩3張量第二十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期一29CP分解的計(jì)算分解成多少個(gè)秩一張量（成分）之和？通常的做法是從1開始嘗試，知道碰到一個(gè)“好”的結(jié)果為止如果有較強(qiáng)的應(yīng)用背景和先驗(yàn)信息，可以預(yù)先指定對(duì)于給定的成分?jǐn)?shù)目，怎么求解CP分解？目前仍然沒有一個(gè)完美的解決方案從效果來看，交替最小二乘（AlternatingLeastSquare）是一類比較有效的算法CP分解第二十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期一30CP分解的計(jì)算以一個(gè)三階張量為例，假定成分個(gè)數(shù)已知，目標(biāo)為作為ALS的一個(gè)子問題，固定和，求解

得

再通過歸一化分別求出和CP分解第三十頁(yè)，共四十七頁(yè)，編輯于2023年，星期一31CP分解的計(jì)算ALS算法并不能保證收斂到一個(gè)極小點(diǎn)，甚至不一定能收斂到穩(wěn)定點(diǎn)，它只能找到一個(gè)目標(biāo)函數(shù)不再下降的點(diǎn)算法的初始化可以是隨機(jī)的，也可以將因子矩陣初始化為對(duì)應(yīng)展開的奇異向量，如將初始化為的前個(gè)左奇異向量CP分解第三十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期一32CP分解的應(yīng)用計(jì)量心理學(xué)語(yǔ)音分析化學(xué)計(jì)量學(xué)獨(dú)立成分分析神經(jīng)科學(xué)數(shù)據(jù)挖掘高維算子近似隨即偏微分方程…………CP分解第三十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期一33Tucker分解第三十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期一34Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002Tucker分解第三十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期一35Tucker分解Tucker分解是一種高階的主成分分析，它將一個(gè)張量表示成一個(gè)核心（core）張量沿每一個(gè)mode乘上一個(gè)矩陣。對(duì)于三階張量來說，其Tucker分解為因子矩陣通常是正交的，可以視為沿相應(yīng)mode的主成分Tucker分解第三十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期一36Tucker分解容易看出，CP分解是Tucker分解的一種特殊形式：如果核心張量是對(duì)角的，且，則Tucker分解就退化成了CP分解Tucker分解三階張量的Tucker分解第三十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期一37Tucker分解的矩陣形式三階Tucker分解的展開形式為Tucker分解可以推廣到高階張量Tucker分解第三十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期一38Tucker2和Tucker1對(duì)于三階張量固定一個(gè)因子矩陣為單位陣，就得到Tucker分解一個(gè)重要的特例：Tucker2。例如固定，則進(jìn)一步，固定兩個(gè)因子矩陣，就得到了Tucker1，例如令第二、三個(gè)因子矩陣為單位陣，則Tucker分解就退化成了普通的PCATucker分解第三十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期一39張量的n-秩近似一個(gè)N階張量的n-秩定義為若設(shè)，則叫做一個(gè)秩-

張量如果，則很容易得到的一個(gè)精確秩-Tucker分解；然而如果至少有一個(gè)使得，則通過Tucker分解得到的就是的一個(gè)秩-近似Tucker分解第三十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期一40張量的n-秩近似Tucker分解截?cái)嗟腡ucker分解：秩-近似第四十頁(yè)，共四十七頁(yè)，編輯于2023年，星期一41張量的n-秩近似對(duì)于固定的n-秩，Tucker分解的唯一性不能保證，所以需要添加其他的約束通常要求核心張量是“簡(jiǎn)單”的，如各個(gè)mode的主成分之間盡量不發(fā)生相互作用（稀疏性），或者其他的“簡(jiǎn)單性”約束Tucker分解第四十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期一42Tucker分解的計(jì)算HOSVD：利用SVD對(duì)每個(gè)mode做一次Tucker1分解（截?cái)嗷蛘卟唤財(cái)啵〩OSVD不能保證得到一個(gè)較好的近似，但HOSVD的結(jié)果可以作為一個(gè)其他迭代算法（如HOOI）的很好的初始解Tucker分解第四十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期一43Tucker分解的計(jì)算為了導(dǎo)出HOOI迭代算法，先考慮目標(biāo)函數(shù)從而應(yīng)該滿足Tucker分解第四十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期一44Tucker分解的計(jì)算目標(biāo)函數(shù)的平方變?yōu)門ucker分解第四十四頁(yè)，共四