1、數理統計與管理2007年 3月M ar 1, 2007App lication of Statisti cs and M anage m en t 第27卷 第2期V ol 127 No 12文章編號:1002-1566(2007 02-0303-05偏最小二乘法在回歸設計多因變量建模中的應用及其優化韓漢鵬(華南熱帶農業大學基礎學院, 海南儋州, 571737摘要:本文利用國際通用統計軟件SAS , 探討偏最小二乘法在二次回歸旋轉設計中多因變量回歸建模的技術; 同時, 應用國際優化大師L i ngo 軟件對多目標進行優化, 給出了最優的工藝參數值。關健詞:偏最小二乘法; 回歸正交設計; 多個因

2、變量回歸模型; 參數優化; S A S /STAT;L i ngo 中圖分類號:O 212文獻標識碼:AApplication of Partial L east -Squares Regression onM ulti O Dependent Variable M odel Analysis of Q uadratic Regression D esign and Its Opti m al SolutionHAN H an O peng(Co lleg e of F unda m enta l Sc i ences , South China U n i versity of T ropi

3、cA gricultura , l H ainan D anZhou , 571737Abstrac t :In t h is paper w e used SAS and pa rti a l l east-squares m ethod to establi sh m ulti-dependent va riab l e re -g ressi ve m ode l on quadratic regression des i gn expe ri m ent . W e a lso d iscussed how to use L i ngo t o opti m i ze mu lti -

4、ob -jecti ons , and the opti m a l para m eters w ere obta i ned .K ey word s :Partial Least-Squares , Q uadratic R egression D esi gn , M u lti-D ependent variab le R egression M ode, l Pa rame ters O pti m iza tion , SA S /STAT e , L i ngo0 引言回歸分析在實際應用中十分廣泛, 但由于它對試驗的安排沒有提出任何要求, 對所得回歸方程的精度研究較少, 因而處

5、于被動處理已有數據的狀態。20世紀八十年代以來, 我國工農業科技工作者把回歸設計引入工業試驗和作物栽培試驗的諸多領域, 取得了一大批可喜的成果和顯著的經濟效益。筆者在多年從事研究生試驗設計和多元統計分析課程的教學與科研中, 經常面臨對多個因變量進行建模和最優化的問題, 由于響應變量之間往往呈現出較高的相關性, 因此, 把各個響應變量孤立起來進行建模的方法是不合理的。袁志發教授在5多元統計分析6一書中, 給出了多個因變量的兩種建模方法1逐步回歸法和雙重篩選逐步回歸法,2并指出第一種方法的不足。雖然雙重篩選逐步回歸法較為理想, 但由于缺乏統計軟件的支撐, 不利于農業科技工作者使用。筆者借助SAS

6、和Lingo 軟件, 以偏最小二乘回歸方法探討多個因變量回歸建模和綜合農藝措施優化的方法。:日為工具,304 數理統計與管理 第27卷 第2期 2007年3月1 偏最小二乘回歸方法建模在回歸設計中, 常采用多項式模型y =B 0+E B j z j +E i =1i j B ij z i z j +, +E 去近似, 雖然模型相對于解釋變量z i 為非線p表1 因子水平編碼表z jx 2114x 31000性, 但對參數來說卻是線性的。由于響應變量之間通常存上星號臂(+r 在較高的相關性, 因此, 可用偏最小二乘回歸方法進行建上水平(+1 模。以下為應用二次回歸通用旋轉設計所做的芒果保鮮試零水

7、平(0500驗, 試驗考察3個解釋變量和5個因變量。因筆者旨在探下水平(-1 討統計方法建模的可行性, 各個變量的含義沒有給出, 試驗下星號臂(-r 的因子水平編碼見表1。表中$j =(x rj -x 0j /r, x j =x 0j +z j $j , r =1. 682, j =1, 2, 3.$j0128202150014229713試驗號和試驗結果見表2。先對每個響應變量進行逐步回歸分析, 然后再對它們進行相關分析。輸出結果顯示每個響變量的二次回歸模型是顯著的, 而且因變量之間存在較高的相關性。顯然, 此時仍按單個響應變量進行逐個建模是不合理的, 必須考慮到因變量之間存在較高的相關關系

8、對建模的影響, 偏最小二乘回歸分析法正是處理這一類問題的得力工具, 回歸模型的建立可借助國際通用軟件SAS 的PLS 3過程來進行(PLS在建模過程已考慮了各變量量綱的不同, 程序如下:datahan; li n put z1 z2 z3 t4 t5 t6 y1 y2 y3 y4 y5 ; tl=z1*z2; t2=z*l z3; t3=z2*z3; cards ; (數據集已省略proc p i s cv=one m ethod=si m ples out m ode l=han2; m ode l y1-y5=z1-z3 t1-t6; r un ; (其中t 4=z 1, t 5=z 2,

9、 t 6=z 3表2 試驗號和試驗結果 222韓漢鵬:偏最小二乘法在回歸設計多因變量建模中的應用及其優化0000000000000000000000218282, 828000000305由輸出結果得二次回歸方程分別為y 1=414748+010756z 1+010564z 2+010304z 3+010085z 1z 2+010126z 1z 3-010038z 2z 3-010029z 21-010119z 2-010371z 3y 2=114049+012278z 1+011700z 2+010917z 3+010255z 1z 2+010381z 1z 3-010115z 2z 3-0

10、10086z 1-010359z 2-011118z 3y 3=114685-012105z 1-011571z 2-010847z 3-010236z 1z 2-010352z 1z 3+010107z 2z 3+010079z 1+010332z 2+011033z 3y 4=116364-012675z 1-011996z 2-011076z 3-010299z 1z 2-010447z 1z 3+010135z 2z 3+010101z 1+010422z 2+011313z 3y 5=8. 5881+012953z 1+012204z 2+011188z 3+010331z 1z 2

11、+010493z 1z 3-010150z 2z 3-010112z 2z 1-010466z 2-011449z 32 構造多目標決策模型確定綜合農藝措施利用已建立的二次回歸模型來進行最優控制或尋找最佳的工藝條件, 即分析模型中各因素處于怎樣的水平組合狀態才能使響應變量的預測值最優。對于單個的響應變量, 可以采用兩種方法42222222222222:一是根據極值理論確定最優水平組合; 二是計算機模擬尋找最優的工藝范圍。對于多個響應變量的情形, 筆者認為可以通過構造多目標綜合決策模型的方法來解決。211 確定各個響應變量的權重構造多目標綜合決策模型, 首先要確定各個響應變量的權重。當各個響應變

12、量的重要性基本等同時, 可選用加權平均數法, 否則應根據各個響應變量的觀測值來確定它們的權重, 方5法多種多樣。筆者使用因子分析法, 設響應變量y i (i =1, 2, 3, 4, 5 的方差為K i , 于是y i 的權重為w i =K i /E K j , 方差越大的響應變量越重要, 自然應具有較大的權數。因此, 以w i 作為j =1y i 的權數是客觀的、合理的, 從而克服了人為確定權數的缺陷。應用SAS 的factor 過程, 經計算得響應變量y 1, y 2, y 3, y 4, y 5的方差分別為K , K , K , K 184274431, K 197220852. 1=0

13、1996012322=974994203=01869759184=05=001, w =01w 3=1, 4=0151208821.5306 數理統計與管理 第27卷 第2期 2007年3月212 構造多目標決策模型多目標決策模型的構造采用最小二乘法的思想, 先計算各個響應變量的最優預測值, 然后再令各個響應變量與最優預測值的加權殘差平方和為最小,5即目標函數為m i n Q =i E w i e i , 約束條件為-11682z i 11682i =1, 2, 31=1由于在試驗范圍內要求響應變量y 1, y 2, y 5取最大值, 而y 3, y 4取最小值, 故先對各個響應變量進行優化,

14、 得結果如下Local opti m al so luti o n found at iterati o n : 54 Obiective va l u e :41692769V ariab le Y1Obiective va l u e :V ariab leVa l u e Reduced Cost 41692769 010000005821061875Va l u e Reduced Cost2Local opti m al so luti o n found at iterati o n :Y221061875 01000000Local opti m al so luti o n f

15、ound at iterati o n :48 Obiective va l u e :V ariab le Y3Obiective va l u e :V ariab leY4018613399Va l u e Reduced Cost 018613399 0100000048018653191Va l u e Reduced Cost 018653191 01000000545891439371Va l u e Reduced Cost 91439371 01000000222Local opti m al so luti o n found at iterati o n :Local o

16、pti m al so luti o n found at iterati o n :Local opti m al so luti o n found at iterati o n : Obiectlve va l u e :V ariab le Y5于是可得綜合多目標決策模型m i n Q =0121393(y1-41692769 +0120942(y2-21061875 +0118682(y3-01861339+0118101(y 4-018653191 +01208821(y5-91439371 -1. 682z 111682i =1, 2, 3其中y i =(i =1, 2, 3,

17、4, 5 為各個響應變量的二次回歸方程。應用優化大師L i n go 軟件進行優化, 結果如下Local opti m al so luti o n found at iterati o n : Obiective va l u e :V ariab le Y Y1 0100000022韓漢鵬:偏最小二乘法在回歸設計多因變量建模中的應用及其優化Y3 Y4 Y5 Z1 Z2 Z3307由輸出結果可知, 最優解為Z1=11682000, Z2=11682000, Z3=016320904. 于是原變量的最優解為x 1=150, x 2=1. 4, x 3=500+0163209297=687173 討論偏最小二乘回歸分析集典型相關分析、主成分分析和多元線性回歸分析方法為一體, 當多個因變量之間存在較大的相關性時, 偏最小二乘回歸分析法特別適用, 而且相對于單個因變量各自進行回歸建模和逐步回歸建模更為有效。偏最小二乘回歸分析法建立的回歸模型中保留了不顯著項, 由于這些項對回歸模型的影響不顯著, 因而可以把它們看成是隨機誤差項, 并不構成對模型的影響。此外, 借助于SAS 和Lingo 軟件, 使得有多個響應變量的二次回歸模型的建立和優化更加簡單方便和實用。綜合指標優化的結果與各個因變量的權數和綜合多目標決策模型建立的方法有關, 當響應變量權數的構成方法以及綜合多目標決策模型建