1、優化建模技術和機器學習理論的新發展摘要 化工、煉油、冶金等制造業生產過程、新產品研制，以及經營管理的優化能給企業帶來巨大的經濟效益。優化成功的前提是需要建立能預報優化控制條件的數學模型。用機器學習技術從已有的數據中抽提出有用信息，是建立有效數學模型的關鍵。本文回顧了優化建模技術及其理論基礎的幾個發展階段，指出從線性建模到非線性建模，從追求經驗風險極小化到追求實際風險極小化，從采用單一算法到建立多種算法相結合的信息處理平臺，從單純根據古典統計數學到參照新發展的統計學習理論，使優化建模技術由粗到精，由低級到高級，在生產過程、新產品研制和經營管理的優化中發揮更大作用。關鍵詞 化工；優化；建模NEW

2、PROGRESS OF TECHNOLOGY OF MODELLING ANDTHEORY OF MACHINE LEARNINGAbstract The optimization of industrial production process, preparation of new products and enterprise management can make large economic profit for the enterprises dealing with the production of chemical, petrochemical or metallurgica

3、l products. The key problem of optimization works is to make models for the prediction of optimal condition of production, testing or management. So it is necessary to extract useful information from known data sets. In this paper, the history of development of optimization technology is reviewed. I

4、t is emphasized that the change from linear modeling to nonlinear modeling methods, the change from empirical risk minimization to real risk minimization, and the change from traditional statistical mathematics to newly proposed statistical learning theory, are the chief trends making modelling and

5、optimization technology more advanced and more effective for improvement of the works in modern enterprises. Keywords: Chemical industry, optimization, modelling現代化工、煉油、鋼鐵等大、中型企業的生產過程包括復雜的物理、化學變化，這些變化必須靠多種數據指標的監控，才能使生產的綜合效益達到最優?，F代企業的集約經營也要以多種數據為基礎才能正確決策。這都需要從大批復雜數據中抽提有用信息，建立反映客觀規律的數學模型。采用計算機數據處理技術，進

6、行“機器學習”(Machine learning)，是建立數學模型的必要手段。新產品開發是現代企業活力的重要泉源。新品試制通常需要作大批實驗。如能縮短新產品的研制周期，常能給企業帶來重大經濟效益。通過在試制過程中建立數學模型，進行試驗設計，常能較快地達到研制目標，使新產品能更快投產。生產過程難免有時出現故障，在出現故障時能及時發現，正確診斷其原因從而消除故障，也要靠總結故障出現的規律，建立發現、診斷故障的數學模型，從而順利處理故障，恢復正常生產。產品質量和信譽是現代企業的生命線，許多產品的質量要在長期使用中才能顯露出來。為了保證產品質量和可靠性，還必須把好產品檢驗關。如何能從短期測量察覺產品長

7、期性能？這也需要通過數據處理，找出短期測試指標和長期使用特性的關聯，建立數學模型，使產品檢驗更加有效。必需強調指出：雖然上述幾個方面都需要通過機器學習建立數學模型，但各個方面供應的數據特點各異，數據處理的難點也不同，不可能千篇一律用統一的計算策略去解決。舉例：企業管理和經營需要的數學模型要從極大量數據資料中總結規律（迄今我們處理的數據最多的項目來自某跨國公司優化產品維修管理工作的委托，該項目要求從一百多萬套數據中總結規律），而新產品開發與此相反，希望從盡量少的實驗數據中就能總結出下一步應該作什么條件實驗效果最好。又如：工業生產記錄難免有較多的“信息垃圾”（包括物料不平衡、生產不穩定、儀表出錯等

8、造成的不反映問題本質的數據），因此“去噪”就成為大問題。而試驗設計一般不需要去噪。如此等等。這就要求我們建立一個能應付各種不同要求的“算法庫”和“軟件模塊庫”，以應付各種不同的需要。所有這些都說明：各種數據處理方法和各種數學模型的建立與正確運用，是現代企業生存和發展不可或缺的重要環節。我國大中型企業的信息管理經歷著一個從粗放到精細的過程。多數企業迄今的信息管理系統及其運用與國際上的現代企業尚有差距。在我國“入關”和國際競爭日益加劇的今天，加強包括數據處理在內的信息管理，已經是刻不容緩之舉(1)。另方面，今天許多國內大中型企業紛紛建立信息網絡和數據庫，安裝DCS系統，實現了先進控制，又已為我國企

9、業采用更先進的優化控制技術創造了有利條件。我國化工、煉油企業開展優化工作的歷史，可以追溯到三十余年前。當時我國化工界曾用線性回歸法總結生產規律以改進操作，在若干化工、煉油廠取得了改進生產的顯著效果。多年來，線性回歸、正交設計等傳統優化技術在我國工業界深入人心，廣泛采用，起到了對原來較粗放的生產技術相當大的改進作用。但是多數化工、煉油、冶金等生產過程都或多或少帶有非線性，都將其當成線性問題處理難免有偏差，其優化效果也就受很大限制。從上世紀八十年代開始，能處理非線性的人工神經網絡和多種模式識別分類方法出現在優化領域，使優化控制效果提高了一步。我們和我國石化、鋼鐵、有色冶金等企業合作，也解決了一大批

10、生產優化問題，取得了相當大的經濟效益(2)(3)。但使用時間一長，也暴露了這些做法的不足之處。首先，當時的多數工作都基于靠人工控制的離線調優，技術管理粗放，優化見效后較難堅持，特別是當原料改變、設備大修、原有的數學模型不再適用以后，優化效果多半難以為繼。而近年來一些建模以后建成優化（開環指導或在線控制）專家系統的優化項目則堅持較好。這說明優化工作不能僅僅停留在科研合作的形式中，必須采取工程化的方式才行。這一階段工作暴露的另一缺點，就是在建模和應用中遇到過擬合問題，其中人工神經網絡的過擬合尤其嚴重。可惜時至今日，尚有不少技術人員只了解人工神經網絡能處理非線性數據集的突出優點，而沒有注意到它在已知

11、樣本較少、數據點分布不均勻、噪聲較大時過擬合可能造成預報的嚴重失誤。我們曾推行的以分類為基礎的模式識別優化方法過擬合雖然相對小些，但單靠分類而不對目標值定量預報，也有其局限性。好在當時我國生產管理本來比較粗放。這種“以粗對粗”的做法倒也能風行一時。在上世紀九十年代期間，受國際合作的影響，我們對優化建模及其應用的客觀規律作了一些力所能及的總結，提出了“復雜數據處理”的概念，接受了海外專家關于優化工作必須“二次開發”也就是必須“工程化”的思想，并在實踐中取得了一批成果(4)。但是一直到我們學習和掌握了近年來計算機學界已廣泛接受，化學化工界尚未普遍采用、優化領域中尚鮮為人知的“統計學習理論”(5)后

12、，對我們過去經歷過的優化工作的發展過程和今后的發展方向才算從基礎理論上有了較系統的理解。在本文中，我們試圖運用我們掌握的新的理論認識。對優化建模的理論和實踐作一次綜述。是否有當，尚希同行指正。1 機器學習的數學本質“機器學習，就是從指定函數集 f (x,a), aL, 中選出能最好地逼近訓練集數據，或對未知樣本預報最有效的函數，作為數學模型“(5)。由此可見，機器學習的結果，總是囿于原來指定的函數集的范圍。例如：如果是線性回歸，指定函數集限于線性函數，則數據處理的結果只能是線性方程。即使客觀的規律是非線性的，也只能“削足適履”描寫成線性規律。其實，化學，化工，冶金等領域的數據集，一般或多或少都

13、帶有非線性。以我們過去做過的若干優化項目為例，如果我們以目標值和影響因子間相關系數大于0.9，或以PLS線性回歸的預報殘差（樣本平均歸一化值）小于0.3為“近似線性”的判裾，則“近似線性問題”也只占少數（見表1）表 1 若干優化建模用數據的非線性舉例Table 1 Some examples of non-linearity in the models for optimization優化問題相關系數PLS預報殘差鉍系高溫超導體性能優化0.4690.830稀土綠色熒光粉性能優化0.8470.307順丁橡膠性能優化0.8940.215氧化鋁生產溶出率優化0.2820.930鎳氫電池陰極性能優化0

14、.2570.956卷煙生產碎絲率優化0.7590.497汽車部件電鍍質量優化0.7630.454鍍錫鋼板耐蝕性優化0.7180.567由表1可看出，即使是將近線性包括進去，能用線性函數近似表達的例子也是少數。應當指出：線性回歸方法在數據確實是近線性、數據分布服從高斯分布、且噪聲很小時，確是一種有效的回歸算法。當數據確實符合這些條件時，用線性回歸處理數據是好辦法。主張線性回歸的人們往往說：當非線性函數限制在不大范圍時，就接近線性規律。這在數學上是對的。但許多優化問題的工作范圍是由客觀需要定的，不能任意劃小。因此常常不能忽視非線性特征。我們經歷的許多優化實例也說明非線性并非總是可以忽略的：安陽鋼鐵

15、公司硅鋼片原為低規格產品。該廠用線性回歸配合鋼鐵專家為提高產品牌號攻關數年，取得一定效果，但始終未達到產品全部為高擋品的目標。后來與我們合作，改用能處理非線性數據的模式識別方法建模，一舉達到100%出產高擋品的目標，在生產現場根據數學模型建專家系統后實現了長期穩產高擋品。南京煉油廠若干用線性回歸優化過的裝置，用模式識別分類法再優化，發現仍有很大的優化潛力。上世紀九十年代初，寶山鋼鐵公司轉爐煉鋼爐齡數據，用線性回歸得的結論和生產實際情況也不符合。圖1a,b,c三個圖分別表示三種不同對象的線性回歸計算值和實際值的對比。可以看出：圖1a（VPTC陶瓷半導體的制備工藝條件和性能的關系）處理的數據確實是

16、近線性的，所以計算值和預報值符合較好。我們可以認為在此線性回歸是可以用來近似建模的；圖1b（某鋁廠氧化鋁溶出率優化用數據集）表示數據帶有很強的非線性，若硬用線性回歸處理計算誤差很大，實際上不能用線性算法總結規律；圖1c（氧化銦薄膜厚度和工藝條件的關系）是介乎前二者之間的情況?？梢钥闯觯m然用線性回歸也可勉強建模，但若用二階函數集建模會更好些。 (c)(b)（a） 圖 1 線性回歸建模的三種不同結果Fig.1 Three typical results of modeling by linear regression圖1b,c的情況，就是機器學習理論中“欠擬合”(underfitting)的典型

17、事例。所謂欠擬合，是因為客觀存在的規律和指定函數集中所有的函數都不吻合，所建模型的擬合與預報效果都不好的情況。由此可見：線性回歸在一定情況下是可用的，但不能濫用。必須找到一種有效、可靠的判別算法，以決定一套數據是否可用線性回歸處理。我們推薦用PLS算法的平均預報殘差（歸一化值）為判據。例如：小于0.3或0.2（根據計算精度要求定）可判為近線性數據集，可采用線性回歸建模。但是必需指出：即使是能用線性回歸建模的情況，線性回歸仍可能并非最準確可靠的算法。一個原因是：線性回歸的理論基礎還存在一個缺陷：它忽略了“經驗風險”和“實際風險”的區別。因而也會或多或少有某種“過擬合”（overfitting）發

18、生。雖然過擬合在此沒有某些非線性算法（特別是人工神經網絡）那樣嚴重。2. “經驗風險”和“實際風險”的區別是產生“過擬合”的原因既然指定函數集太小（例如只包括線性函數），不能包括適合訓練數據集內在規律的函數時會產生欠擬合。人們自然想到應該擴大指定函數集的范圍，爭取把訓練集的規律包括進去。因為訓練集的規律我們不可能予知（若已知，就沒有機器學習的必要了），人們自然想到要把指定函數集擴大到“包羅一切”的程度。這樣從數學上就提供了兩種方法：（1）根據Weierstrass定理，一切連續函數都可用無窮項的多項式逼近，因此人們企圖在線性函數后面添加高階項來改善擬合程度，這就是多項式的非線性回歸；（2）根據

19、數學論證，三層人工神經網絡也能擬合任何函數，因此人工神經網絡提供了一種極強的數據擬合手段。由于認識到工業過程中非線性相當普遍存在和線性優化算法的局限性，近十余年來人工神經網絡等非線性算法在化工優化控制、故障診斷等方面已廣泛應用(6)(7)。但人工神經網絡等非線性優化算法也并非十全十美。雖然采用能涵蓋一切的指定函數集（至少從理論上說）能將訓練集的客觀規律“套”進去，可是這樣一來又產生了“過擬合”的毛病。這可從幾個角度去理解：（1）既然擬合精度大大提高了，就會不但把訓練集中蘊藏的規律擬合進數學模型，而且也會把訓練集中數據的測量誤差也擬合進了數學模型。這樣一來擬合效果雖好，在預報中就難免有較大失誤了

20、；（2）既然指定函數集包括極廣，就可能有不止一種函數能相當近似地擬合訓練集，其中也可能會有預報能力并不好的函數在內。須知：在多維空間能通過（或近似通過）有限個點的曲線有無窮多個。上述兩種情況在訓練樣本比較少或噪聲比較大的情況下特別嚴重。在這種情況下誤報風險比較大。這就是“小樣本難題”。用統計學習理論可以論證“過擬合”產生的根源：在算法設計中忽略了“經驗風險”和“實際風險”的差異。傳統的統計數學認為：數據處理只要能找到能很好擬合已知數據（訓練集）的函數，即令“經驗風險”最小，就能保證所得的數學模型預報能力最強。但這一假設并無嚴格的理論依據。統計學習理論證明：“經驗風險”最小不等于數學模型的實際預

21、報風險最小。在指定函數集范圍擴大，或數據處理算法的復雜度加大的情況下，雖然擬合可以大為改善，但同時預報能力并不一定能改善，有時可能反而變壞，產生“過擬合”。統計學習理論的目的之一就是尋找壓制過擬合的規律和途徑。盡管有過擬合的弊病。多項式非線性回歸和人工神經網絡在工業優化控制，故障診斷和產品檢驗等方面仍然廣泛應用并相當有效。這是因為工業問題往往能提供較多的數據，因而過擬合不太嚴重，而優化效果常常好于線性算法的緣故。美國軟件市場上流行的人工神經網絡優化軟件如Process Advisor, Process Insight等都在包括煉油工業在內的化工、冶金生產過程優化方面廣泛應用。但據了解，美國生產

22、芯片的Intel公司是采用以非線性回歸為基礎的軟件作優化工作的，據說該軟件預報功能較強。這可能是由于多項式項數不很多時，過擬合不如人工神經網絡嚴重之故。但據有關人員告知：當芯片質量的影響因素太多時，用多項式回歸會遇到回歸式項數太多的“維數災難”，可見單靠非線性回歸也是不夠的。圖2表示人工神經網絡過擬合造成預報失誤一例（某鋁廠氧化鋁溶出率數據，規定溶出率大于90%者為“優類”，人工神經網絡預報的優區比實際的大得多）。失誤的部分原因，是由于樣本分布不均勻（工業數據一般分布都極不均勻），人工神經網絡的擬合是以平均殘差最小為判據，因此照顧密集點多，對稀疏點的誤報就很嚴重了。ANN誤報優區實際優區bc圖

23、2 人工神經網絡誤報一例Fig.2 An example of wrong prediction by ANN正因為人工神經網絡預報不十分可靠，而工業控制在誤報時可能造成嚴重后果，因此，工業應用時常采用保險措施。如美國俄亥俄州某鋼鐵廠采用產生式專家系統對人工神經網絡的預報根據專家知識進行“過濾”，防止不合理的誤報。當然這種過濾方法弄不好也會在某種程度上限制了優化控制的效果。我們推薦的方法之一，是將模式識別分類和人工神經網絡結合，以限制過擬合的危害(8)。3. 模式識別優化算法及其改進模式識別優化算法追求將模式空間分成“優區”和“劣區”，要求生產控制在“優區”，并利用投影方法界定優區。在上世紀八

24、十年代曾在我國以離線調優的形式廣泛推廣。從機器學習理論對這種方法分析看，這一方法需要改進和提高。與上面敘述的對訓練集定量建模預報的算法相反，上世紀八十年代我們在石油化工，鋼鐵等行業推廣的“模式識別調優技術”以“優”“劣”兩類樣本在多維空間的分區分布為依據，求出保證生產工況維持在優區的兩類樣本點分布區間的分界面的方程，據以優化生產。在推廣初期，我們主要靠Fisher法、PCA、PLS、LMAP 等算法作二維投影圖，根據投影圖上兩類點分布區分界線確定分類數學模型，據以優化生產。圖3為利用此法優化某鋁廠氧化鋁凈溶出率時作的投影圖一例?！?”: 優類樣本 “2”: 劣類樣本圖 3 氧化鋁凈溶出率優化工

25、作作圖一例Fig.3 An example of projection maps used in optimization for leaching rate of alumina我們的工作表明：雖然此種優化做法確有一定效果，但從原理上看，此種做法尚需要改進與提高，因為：（1）采用一張兩類點分類比較好的投影圖上的分界線方程為優化判據，雖然?？蓪深慄c分開，但這和多維空間中的兩類點分布區之間的“最佳分界面”并不一致，因而難免使優化結果偏離最佳工況；（2）當有時優化目標只能定性地區別為兩類，而無法定量表征時，采用0、1或1、2兩種目標值，模式識別只作分類而不作定量預報是很自然的，甚至可算是一個優點

26、。但對于有連續目標值的優化項目，用“1”、“2”兩類信息代替信息量更大的目標值，顯然造成有用信息的流失。而且在兩類分界附近，硬將分界兩側差別極小的點劃成兩類也未免勉強。為了彌補上述第一個缺點，我們提出了通過“逆映照”算法，試圖將幾個側面投影圖的優區各投影點“逆投影”到多維空間，以建立多維空間的優區數學模型。其后我們又提出分級投影和由分級投影的“自動矩形”構成的“超多面體”模型。隨著模式識別優化技術的不斷改進，為我們建立各種模式識別優化算法和其它機器學習算法互相取長補短，系統的數據處理平臺創造了條件(8)。4. 支持向量機算法的應用效果我們的研究工作已經證明：在處理噪聲不大的實驗或觀測數據方面，

27、特別是小樣本數據集的機器學習方面，支持向量分類和支持向量回歸和傳統算法相比，都常能顯示明顯的優越性，在工業生產過程的優化建模方面這種新算法的應用前景如何呢？初步計算實踐表明：支持向量機用于規模不大的工業數據集，例如樣本數百個、影響因子數十個的數據文件，即使噪聲較大，用SVC或SVR也能得到很好的數學模型。非但如此，用SVR留一法還能起去噪聲的作用：用留一法預報時，離群點（outlier）往往是預報誤差最大的樣本。據此可通過刪去離群點的方法改進建模。至于新產品試制和故障診斷等工作，因是小樣本問題，應用支持向量機的好處是顯而易見的。5. 建立綜合運用多種算法的處理數據平臺綜合運用多種算法，針對復雜

28、數據的不同特點，把各種算法組織成統一的信息處理流程，是我們處理數據、建立預報能力強的數學模型的關鍵。如上所述，已有的各種數據處理算法各有其特有的長處和短處，根據它們的特點適合于處理不同類型的數據。因此，正確的做法是將多種算法組合起來，取長補短，組成一套完整的數據處理流程。以適應不同性質的數據處理的需要。這里所說的多種算法的綜合運用，包含下列兩方面內容：（1）建立一系列初步判別算法，測試數據集的某些特性并據此判別它適合于何種算法。例如：用PLS法預報殘差判別是否適合于線性回歸處理，又如：設計了專門的算法將數據文件按數據結構分為“偏置型”和“包容型”兩大類，規定各用不同算法作自變量篩選等；（2）將

29、不同算法組合在一起成為有特色的新算法。例如：將最佳投影法和多項式逐步回歸法結合起來，將少數最能描述數據結構的原始自變量線性組合代替原有自變量作多項式逐步回歸，可以用較少的可調參數更確切地擬合訓練數據集。這種類似于“投影尋蹤回歸”的算法能減少經驗風險和避免因可調參數太多造成的過擬合。由多種算法模塊組成的信息處理流程大致分下列幾個主要數據處理步驟：（1）數據文件有用信息量的評估：拿到要建模的數據后，先要評估一下它是否含有足夠多的有用信息，是否有從中建模的可能。在以前的工作中，我們主要通過考察樣本點在多維空間的可分性來作判別。現在根據統計學習理論，我們改用留一法建模預報的正確率和實際上也帶有留一法預

30、報考察性質的KNN法預報正確率來判別數據文件是否蘊藏了足夠的有用信息。（2）數據文件的自變量篩選：傳統的模式識別采用各個自變量對兩類樣本分類的貢獻為判據決定各自變量的取舍。我們改用各自變量對留一法預報正確率的貢獻為判據決定各自變量的取舍。（3）數據文件的樣本篩選：在數據文件噪聲較大，分類不清或離群點（outliers）較多時，可試用KNN或 SVR等算法將留一法誤報或誤差特別大的樣本剔除，以利建模。（4）數據文件的簡單統計分析：通過目標值與各自變量的相關分析，雙自變量投影圖等簡單算法，求得對數據集結構的初步了解，為選擇合適的建模算法提供參考。（5）參照簡單統計分析結果和優化對象的專業領域知識，

31、從投影分類開始，在有優化目標的課題中繼以定量建模。得出能滿足優化需要的數學模型，并拿到實際中應用。6幾個典型機器學習建模的新案例（1）鉑重整車間溶劑油增收優化模型：以前采用Fisher法解決此問題，只能得到分類判別模型。詳情見文獻（3）?，F在采用支持向量回歸，可得定量預報的結果。溶劑油采出量可表達如下式（各變量均為歸一化值）： y = 0.045X1 0.036X2 + 1.127X3 + 0.309X 4+ 0.268X5 0.293此處y為溶劑油產量。X1為回流量，X2 為回流溫度，X3 為溶劑油塔塔底溫度，X4為第35層塔板溫度，X5為汽提塔的塔底溫度?？梢钥闯?，提高溶劑油塔的塔底溫度對

32、增產溶劑油最有效。這和優化實踐結果是一致的。（2）某跨國公司機械維修優化模型：某跨國公司生產復印機，委托數十個分銷機構銷售和維修。因產品售后保修一年，每年保修的人工費和零件費達數千萬美元。據該公司統計：某些分銷區單機平均維修費遠低于另一些分銷區，為了優化維修費開支，要求我們用機器學習方法處理各區的維修記錄，找出“先進地區”節省維修費的“先進經驗”。數據處理確實得出有意義的結果。我們發現：某種貴重的復印機部件的壽命，與它周圍幾個低價小部件有關。如果在機器維護中適當勤換小部件，其局部成本增加不多，但能大幅度提高貴重部件的壽命，從而降低總體成本。這一成果表明：機器學習建模不僅可用于生產過程優化，對經

33、營管理優化也能取得巨大的經濟效益。（3）某跨國公司汽車零件壽命優化模型：我們曾協助某公司處理汽車零件使用壽命的研究?？偨Y各種防腐蝕手段對零件壽命得影響。結果表明：用支持向量回歸建模，比用人工神經網絡建模的預報誤差小得多。參 考 文 獻（1）Bao Fei（鮑斐），The strategic direction of development of information technology in Yanshan Petrochemical Company（試論燕化公司信息技術發展的戰略方向），Petrochemical industrial technology（石化技術），2001，8（3）：133 (2) Chen Nianyi（陳念貽）：Pattern recognition a