多元線性回歸主成分及其回歸第9講多元線性回歸解決的問題系數矩陣Y=XA建模：求解回歸系數A，該過程稱為建模預報：在A已知時，對于新測Xnew，預報Ynew，稱為預報例子某保健品含片產品，說明書標明：由營養物質A、B、C組成，產品標注中寫出了每片中A、B、C物質的含量。問，如何認定？配置A、B、C的一組溶液，建立濃度與光吸收的關系。既建模求回歸系數將藥片配置成溶液，測吸光，利用上面的模型，預報濃度。建模公式推導Y=XAXtY=XtXA(XtX)-1XtY=AE:\學校教學\python\X.txtE:\學校教學\python\Y.txt問題求解的關鍵步驟是什么？方程數與未知數的關系設有規律上符合如下方程的一

組實驗數據

y=ax+b通過實驗，不斷變更x，測得對應的y求a,b的值，需要幾組這樣的數據？唯一解最小二乘解y1y2…ynx11x21…1xn1ab=矩陣形式XtX是2*2的矩陣方程數與未知數的關系設有規律上符合如下方程的一

組實驗數據

y=1.2x1+0.9x2+3.3x3通過實驗，不斷變更x1、x2、x3，測得對應的y需要幾組這樣的數據？唯一解最小二乘解方程數小于未知數，一定無解嗎y=1.2x1+0.9x2+3.3x3當X1,X2,X3存在線性相關時，問題會怎樣？如果x個數很多，樣本打不到要求，怎么辦？現實中存在這樣的問題嗎不同濃度成分相同的溶液，在不同波長x1、x2下的吸光值的比值，溶液濃度變化，比值不變。既X1和X2之間是線性相關的。怎樣知道變量之間有相關性？答案：通過線性變化主成分算法能解決這類問題死計算：檢查XtX有沒有逆，沒逆，則線性相關10主成份分析

PCAPrincipleComponentAnalysis能有效的提取測量數據的有用信息解決變量之間的相關性問題有效去除誤差，建立有效的模型11PCA分解算法原理采用非線性迭代偏最小二乘法(NonlinearIterativePartialLeastSquares,NIPALS)方法分解量測矩陣SS=TPt+E=Σtipi+ET得分矩陣特征值方程Ax=λxP載荷矩陣T和P都是列正交矩陣T的第i列ti的模，就是第i個特征值λi

E為殘差矩陣，對應噪聲每個主成分就是T和P的對應列

主成分示例12方差最大方向NIPALS算法每次只求一個主成分，目前最大散差方向儀器的信噪比儀器測量時，信號強度要遠遠大于噪聲信號的數據的方差要遠遠大于噪聲的方差所以，PCA可以區別噪聲樣例x0.91.10.80.8722.21.92.1y1.21.00.921.11.811.91.72.5t11.4861.4851.2161.3932.6942.8982.5453.253t2-0.2080.075-0.081-0.1580.1420.2210.149-0.273原數據圖PCA后15通過特征值比值判斷有效變量數在λi/λi+i，應該達到最大值根據i值，取T和P的前i列，即可扔掉噪聲16主成分回歸PCRPrincipleComponentRegression是多元線性回歸！原來Y=XA現在Y=TAT為X的主成分得分，即X經PCA分解后的得分因為T只是X的線性組合，提取了線性相關的部分，且只取前i列，所以模型穩定，去掉噪聲numpy中主成分分解—SVD分解實矩陣的SVD(SingularValueDecomposition，奇異值分解)分解：分解結果：A=USV其中S是對角矩陣numpy中主成分分解---SVD程序代碼：B=np.linalg.svd(A,full_matrices=False)full_matrices=False一定要寫，否則會按復數分解分解結果：U=B[0]lamda=B[1]V=B[2]Lamda是所有的特征值，可以計算相鄰比值，決定主成分，它不是一個矩陣實例—光譜矩陣的SVD分解數據：E:\學校教學\教改項目教材\數據\S-093790.txt是一個16*6的矩陣看看能求解個特征值？16個？6個？96個？實例—光譜矩陣的SVD分解data=np.mafromtxt("E:\\學校教學\\教改項目教材\\數據\\S-093790.txt")data=data.dataB=np.linalg.svd(data,full_matrices=False)>>>B[1]array([5.48250094e+00,1.10440342e+00,3.27012276e-01,3.23153080e-03,2.19720845e-03,1.11546885e-03])實例—光譜矩陣的SVD分解>>>ld=B[1]>>>foriinrange(len(ld)-1): temp=ld[i]/ld[i+1] print(temp)4.964219451633.37725370576101.1942313561.470743841531.96976226926矩陣中有3個有效特征值根據有效特征值，設定PCA的得分和載荷實例—光譜矩陣的SVD分解根據主成分，規劃得分U和載荷矩陣PSVD：X=USVPCA：X=TPtT=US，P=Vti=len(lamda)

S=np.zeros((i,i))

S[:i,:i]=np.diag(lamda)

T=np.dot(U,S)V=V.TP=VT=T[:,:k]P=P[:,:k]可否編寫PCA類傳遞矩陣給類求得T、P矩陣，特征值比值列表根據特征值比值，規劃T和PPCA類importnumpyasnpclassPCA:def__init__(self,A):self.A=AdefSVDdecompose(self):B=np.linalg.svd(self.A,full_matrices=False)U=B[0]lamda=B[1]V=B[2]i=len(lamda)S=np.zeros((i,i))S[:i,:i]=np.diag(lamda)PCA類

self.T=np.dot(U,S)

V=V.Tself.P=Vcompare=[]foriinrange(len(lamda)-1):temp=lamda[i]/lamda[i+1]compare.append(temp)returnU,S,V,comparedefPCAdecompose(self,k):T=self.T[:,:k]P=self.P[:,:k]returnT,PPCA類調用應該先調用decompose方法，根據返回的特征之比值，確定主成分再調用PCAdecompose方法，設定得分和載荷矩陣主成分回歸原來Y=XA現在Y=TATtY=TtTATtT-1TtY=A求得最終的回歸系數：主成分X=TPt因為P是正交矩陣，所以T=XPY=TA=XPA=XAnew主成分回歸數據E:\學校教學\python\S-093843.txtE:\學校教學\python\C-093843.txt求解方程C=SAS是6*16的矩陣所以StS的逆不存在S是光譜矩陣，光譜的不同波長間線性相關，所以可以用PCR程序代碼—建模過程S=np.mafromtxt(“E:\\學校教學\\python\\S-093843.txt")S=S.dataC=np.mafromtxt(“E:\\學校教學\\python\\C-093843.txt")C=C.dataB=np.linalg.svd(data,full_matrices=False)U=B[0]lamda=B[1]i=len(lamda)S=np.zeros((i,i))S[:i,:i]=np.diag(lamda)T=np.dot(U,S)V=B[2]程序代碼—建模過程P=V.Tforiinrange(len(lmada)-1): temp=lamda[i]/lamda[i+1] print(temp)k=int(input(“主成分數為:”))T=T[:,:k]P=P[:,:k]TtT=np.dot(T.T,T)inv=np.linalg.inv(TtT)A=np.dot(inv,T.T)Alast=np.dot(P,A)程序代碼—預報對新測定Snew:C=np.dot(Snew,Alast)擴展--能否用MLR、PCA類PCR類傳遞X，Y給PCRPCR內，以X調用PCA，確定主成分數根據確定的主成分數，確定T、P，以T，Y建模，并結合P確定回歸系數建立預報方法。擴展--能否用MLR、PCA類PCR類importnumpyasnpfromPCAimportPCAfromMLRimportMLRclassPCR:def__init__(self,X,Y):self.X=Xself.Y=YdefconfirmPCs(self):pca=PCA(self.X)U,S,V,compare=pca.SVDdecompose()returncompare擴展----能否用MLR、PCA類defmodel(self,PCs):pca=PCA(self.X)U,S,V,compare=pca.SVDdecompose()T,P=pca.PCAdecompose(PCs)mlr=MLR(T,self.Y)mlr.modelling()self.A=np.dot(P,mlr.A)defpredict(self,Xnew):ans=np.dot(Xnew,self.A)returnans調用函數S=np.mafromtxt("E:\\學校教