1、 MACROBUTTON AcceptAllChangesInDoc 基于深度神經網絡的熱軋合金鋼性能預報算法研究摘 要：近年來，熱軋產品在建筑、船舶、汽車、電子等工業領域得到廣泛應用，這些關鍵領域都密切涉及到民生和公共安全，因此要求熱軋產品必須具有良好的產品質量。用戶對鋼材品質要求越來越嚴格，尤其是熱軋產品的力學性能，因此鋼材的力學性能預報具有重要的意義。傳統的產品性能檢測會抽取少量樣品來測量樣品鋼的力學性能，但這種方法需要花費大量的時間和人力。現有鋼鐵性能預測方法主要采用人工神經網絡預測模型，但是隨著鋼鐵熱軋數據的爆炸式增長，這種模型已經不能滿足用戶越來越高的精度預測需求。本文提出了一種新

2、的基于深度學習的鋼鐵性能預測方法，并利用Dropout和Batch Normalization等技術優化模型，提高預測精度。我們采集了兩個熱軋廠5萬多條真實生產數據，對網絡模型進行了訓練和測試，并和傳統的ANN模型和SVM模型進行比較。實驗結果表明，本文提出的深度神經網絡方法精度更高，可以準確預測熱軋產品的力學性能。關鍵詞：深度神經網絡；力學性能預測；支持向量機中圖分類號： MACROBUTTON AcceptAllChangesShown 單擊此處鍵入中圖分類號 文獻標識碼：A 文章編號：DOI：10.11999/JEITResearch on Performance Prediction

3、of Hot Rolled Products Based on Deep LearningAbstract: In recent years, hot-rolled products have been widely used in the construction, shipbuilding, automotive, and electronics industries. These key areas are closely related to peoples livelihood and public safety. Therefore, hot-rolled products mus

4、t have good product quality. Users have increasingly stringent requirements on the quality of steel products, especially the mechanical properties. Therefore, the prediction of the mechanical properties of steel is of great significance. Traditional hot-rolled product quality inspection usually extr

5、acted a small sample to measure the mechanical properties of the sample steel, however, this method requires a great deal of time and manpower. Existing methods for prediction of steel properties mainly use artificial neural network prediction model. With the explosive growth of steel hot-rolled dat

6、a, this model can no longer satisfy users increasingly higher precision prediction needs. In this paper, a new method of predicting steel performance based on deep learning is proposed, and the prediction accuracy is improved by using Dropout and Batch Normalization techniques. We have collected mor

7、e than 50 thousand real production data from two hot rolling mills, trained and tested the network model, and compared them with the traditional ANN model and SVM model. The experimental results show that the deep neural network method proposed in this paper has higher precision and can accurately p

8、redict the mechanical properties of hot-rolled products. Key words: Deep neural network; Mechanical properties prediction; Support Vector Machines.收稿日期：-; 改回日期：-; 網絡出版：-通信作者：張凱 基金項目：國家自然科學基金 (61472293)，湖北省教育廳研究項目(2016238)Foundation Items: The National Natural Science Foundation of China (Grant No. 6

9、1472293), Research Project of Hubei Provincial Department of Education (Grant No. 2016238).1引言近年來，熱軋鋼材已廣泛應用于建筑，橋梁，管道，汽車，船舶，鐵路，工程機械，壓力容器等許多行業和領域。這些關鍵領域都密切涉及到民生和公共安全，要求熱軋產品必須具有良好的產品質量，特別是抗拉強度、屈服強度和延伸率等力學性能。傳統的熱軋產品質量檢驗會隨機抽取少量樣品，測量這些樣品鋼的力學性能，以估算產品的平均機械性能。然而，這種抽樣檢驗的方式測量熱軋產品性能會花費大量的時間和人力。實際上，鋼材的化學成分和熱軋工藝參

10、數是影響熱熱軋產品質量的最直接因素。鋼材在冶煉和熱軋過程中，鋼鐵的內部會發生一系列的物理冶金學過程，軋件的微觀組織會發生一系列復雜的變化，直接決定了鋼鐵本身的力學性能。因此，用化學成分和熱軋工藝參數預測其力學性能具有重要的理論意義和應用價值。由于熱軋生產是一個高實時性的動態工藝過程，受到各種隨機因素的干擾，同時也包含了海量的工藝參數。因此，Irvine提出的理論數學模型預測方法基于很多近似的假設，僅適用于理想環境和理論分析。近年來，人工神經網絡的提出和發展，給熱軋產品性能預報提供了有效的技術工具，預測精度得到了極大的提高。然而，由于人工神經網絡結構和學習算法的限制，對當前海量的實時工業生產數據

11、，已經無法有效的訓練和學習，不能滿足用戶日益提高的精度預測需求。本文提出基于深度神經網絡的熱軋產品性能預報模型，利用多層感知機實現了從鋼鐵成分和熱軋工藝到力學性能的預報模型。充分利用工業大數據，實現對深度神經網絡的訓練和性能預報精度的提升。利用兩個熱軋廠的50000多條熱軋數據，以及Google的Tensorflow平臺實現了提出的算法和模型。本文首先通過對比實驗，證明了深度前饋神經網絡對比與淺層神經網絡和支持向量機在鋼鐵性能預測上的可行性和優越性，并獲得了較好的精度提升。本文在分析了模型的基礎上，結合實驗中出現的過擬合等問題，使用Dropout，Batch Normalization等各種技

12、術對網絡模型進行改進。實驗結果驗證了本文算法的有效性和可靠性，可有效提高熱軋產品性能預測的精度。2熱軋工藝及性能預報鋼鐵的化學成分和熱處理工藝決定了熱軋產品的力學性能，為了滿足用戶對鋼的力學性能的需求，鋼鐵企業通過調整化學成分或改變熱處理工藝來達到用戶期望的力學性能。因此本文建立深度神經網絡模型，通過大量的實測數據對網絡進行訓練和學習，實現鋼材的力學性能的準確預測。2.1化學成分鋼鐵由鐵礦石經過兩級氧化還原反應精練而成，冶煉過程中需要添加碳、硅、錳、磷等化學元素來改善鋼的性能。我們在兩個不同的熱軋廠共收集5萬多條數據，包含17種化學成分。產品種類和規格覆蓋Q235B、Q235C、Q235D、Q

13、345B、SPHC等數十項國家標準，其化學元素成分如表1所示。表1 熱軋合金鋼主要化學元素化學成分最大值(%)最小值(%)C (碳)0.00070.537Mn (錳)0.0881.953Si (硅)0.0010.459P (磷)0.0040.116S (硫)0.00050.025Nb (鈮)00.09Ti (鈦)0.00010.162Cr (鉻)0.0081.106Al (鋁)00.614Cu (銅)0.010.349Ni (鎳)0.0010.346Mo (鉬)00.344V (釩)0.0010.129N (氮)00.1905H (氫)00.0082B (硼)00.0031Als (酸溶鋁)0

14、0.6092.2熱軋生產工藝流程熱軋生產流程主要包括加熱、粗軋、精軋、層流冷卻和卷取等。在熱軋生產過程中，熱軋合金鋼的微觀結構變化決定了鋼的力學性能。預熱過程中奧氏體晶粒的生長是鋼鐵冶煉過程的第一步1。然后，鋼材經過粗軋和精軋，通過動態和靜態再結晶使奧氏體微細化2。最后，鋼板通過層流冷卻系統連續冷卻來精煉相變的鐵素體和珠光體晶粒，這些晶粒的大小和體積分數決定了鋼的力學性能3。因此，加熱爐的溫度、粗軋、精軋和卷取溫度對鋼的力學性能有重要影響4。熱軋生產工藝過程如圖1所示。圖1 熱軋生產工藝流程2.3力學性能板帶力學性能是指在受力作用下顯示出彈性和非彈性相關的一系列的應力應變關系，其中重要的指標主

15、要包括抗拉強度、屈服強度和延伸率等5。它們的大小表示鋼材對抗任意作用力的大小，是評定鋼材性能的重要依據。屈服點指材料開始塑性變形時的最大拉應力點，一旦外力超過材料可以承受的屈服極限，材料將發生永久變形，并且是不可逆的6。抗拉強度指材料在斷裂和失效之前能承受的最大應力，其值越大，代表鋼的性能越好7。伸長率是指材料受外力作用斷裂時材料伸長的長度與原始尺寸的百分比，圖2顯示了三種力學性能之間的關系8。圖2 力學性能關系圖3基于深度神經網絡的性能預報模型3.1深層神經網絡結構模型基于全連接的深度感知機時是深度神經網絡的常用模型9，我們選取三種力學性能之一的抗拉強度作為研究對象。網絡輸入層有21個神經元

16、，包括17個化學成分和4個熱處理參數，輸出層為抗拉強度，網絡結構如圖3所示。圖3 熱軋性能預報深度神經網絡結構圖網絡中每一層的神經元由神經網絡權值連接，數據通過隱層神經元自底向上從輸入層傳到輸出層。隱層神經元的激活函數選擇Relu函數10，與傳統的Sigmoid激活函數相比，Relu函數更簡單，可以有效降低深度神經網絡的梯度消失問題，有效的提高模型精度并減少網絡的訓練時間。其函數方程定義如下： (1)其中w是權重矩陣，x是輸入，b是偏置。3.2損失函數和網絡訓練損失函數可以評價預測數據和真實數據之間的差異，本文采用均方差作為損失函數11。均方差越小，預測值就越接近真實值。均方差函數可以采用梯度

17、下降算法進行網絡優化，其計算公式如下： (2)其中是網絡計算的真實值，是原始數據的測量值。由于均方差函數具有非負和連續的特點，我們可以利用誤差反向傳播算法調整網絡權值，使得MSE最小化。為了加快損失函數的優化，我們選擇了Adam(Adaptive moment estimation)算法代替傳統的隨機梯度下降算法(SGD)，實現目標函數的優化和網絡權值的更新12。同時，為了保證算法的收斂，我們采用指數下降的方式調整學習率，其公式如下所示。 (3)其中，IniLR是初始的學習率，LR是每次迭代的實際學習率，DecayRate是學習率的下降率，GlobalStep用于衰減計算的全局步數，Decay

18、Step是衰減步數。3.3數據標準化處理數據標準化(歸一化)處理是深度學習模型訓練之前必不可少的一項操作13，由于不同維度的數據單元不同，例如化學成分C取值0.0007，0.537，而加熱溫度1207，1310，如表2所示。為了有效減少網絡在訓練過程中的振蕩，我們對數據進行規范化處理以提高預測的準確性。樣本數據的化學成分、溫度和力學性能的數據范圍如表2所示。表2 樣本數據范圍類型相關項最小值最大值化學成分(%)C0.00070.537Mn0.0881.953Si0.0010.459P0.0040.105S0.00050.025Cu0.0130.349Al00.565Als00.565Ni0.0

19、010.346Cr0.0081.106Ti0.00010.162Mo00.344V0.0010.129Nb00.09N00.1824H00.0082B00.0031溫度()加熱溫度12071310粗軋溫度9901130精軋溫度778934卷取溫度301714力學性能(Mpa)抗拉強度111900本文中使用的標準化方法定義如下： (4)為序列樣本，為序列樣本最小值，為序列樣本最大值。是歸一化后的值，其范圍在0和1之間。3.4評價函數為了評估所提出的模型的有效性，我們使用均方誤差（MSE）和平均絕對誤差（MAE）14作為模型性能指標，其定義如下： (5) (6)其中是網絡計算的真實值，是原始數據的

20、測量值。MSE對偏離較大的值給一個更大的懲罰值，可以評價數據的變化程度，MAE能更好地反映預測值誤差的實際情況。我們用兩個指標對一個模型進行綜合評價，當MSE和MAE的值越小，說明預測模型描述實驗數據具有更好的精度15。4仿真實驗結果與分析4.1超參數選擇及調優本文的算法模型基于Google的TensorFlow深度學習框架實現。為了確定網絡的最佳結構，我們首先做了兩個實驗。第一組實驗確定了網絡的隱藏層層數，第二組實驗確定了每層隱藏層的節點數。實驗結果如表3所示： 表3 隱藏層層數選擇隱藏層層數MSEMAE20.08980.235430.08470.212540.08260.209450.07

21、420.190360.07880.198270.08100.201780.08630.2145我們首先將每層隱藏單元的數量設置為60，固定其他超參數，確定網絡的最優層數。從表3可以看出，當網絡隱層層數為5時，MSE和MAE最小。在第一組實驗中，我們選擇了最佳隱藏層數。然后固定網絡層數，并從第一層開始依次調整網絡隱藏層節點數量。當選擇第一個隱藏層中的節點數時，其它隱藏層中的節點數保持不變。然后我們以相同的方式依次選擇其他層中最佳的節點數。最終得到網絡的最佳結構是50-50-50-30-20。4.2添加Batch Normalization 為了有效地減少梯度爆炸和梯度消失，我們在每個隱藏層添加B

22、atch Normalization16，該算法能有效地提升網絡的收斂速度，實驗結果如圖4所示。從圖中可以看出，添加BN后，網絡可以得到更優的結果。未添加BN添加BN未添加BN添加BN圖4 添加BN和未添加BN對比實驗4.3添加正則優化為了提高測試數據的準確性，我們使用Dropout17技術來防止網絡過度擬合。實驗結果如表4所示，本文最后設置Dropout的值為0.9，此時的網絡相比之前未使用Dropout時精度有所提高。表4 隨機概率取值設置DropoutMSEMAE0.11.0930.88420.20.53640.61180.30.35510.48790.40.28900.42680.50

23、.16240.30990.60.12630.27490.70.10910.24060.80.08160.21050.90.07260.18234.4實驗結果比對為了更好地顯示數據的擬合程度，我們對預測數據進行了可視化處理。實驗結果如圖5所示。橫坐標是真實測量值，縱坐標是預測值，為了便于數據的觀察，坐標軸單位為100Mpa。圖5 深度神經網絡真實值與預測值效果展示圖為了客觀地比較BP神經網絡和深度前饋神經網絡的實驗結果，我們從10,20,30,40,50,60,70中選擇BP神經網絡的隱藏層節點個數。隱藏層的節點數為60時，MSE和MAE最小，分別為0.0912和0.2257。圖6顯示了BP神經

24、網絡抗拉強度的預測圖。圖6 BP神經網絡真實值與預測值效果展示圖此外，我們還使用SVM算法18預測鋼材的抗拉強度，并將其與前兩組實驗進行比較。實驗過程中使用RBF19核函數。為了獲得最好的預測結果，我們的實驗調整了兩個常用參數：C和G。根據實際經驗，我們從0.1,1,10中選擇C，參數的默認值G是1/k（K是特征維度），所以本文G的取值從0.05開始，逐漸增加G的值直到預測精度開始下降。當C = 10和G = 1時，MSE和MAE最小。預測效果圖如圖7所示。圖7 SVM真實值與預測值效果展示圖我們比較了本文提出的模型、BP神經網絡和支持向量機（SVM）方法的預測精度，結果在表5中給出。 同時，

25、我們統計了三種模型的誤差分布，如圖8所示。由圖8可知，BP神經網絡約68數據的抗拉強度相對誤差小于10，支持向量機(SVM)約71數據的抗拉強度相對誤差小于10%。而本文提出的方法抗拉強度相對誤差約74小于10。由實驗結果可知，支持向量機的預測性能優于BP神經網絡，而本文提出的方法優于SVM，驗證了深度學習方法在鋼鐵性能預測領域的有效性和優越性。表5 三種模型最優實驗結果對比表模型類型MSEMAE相對平均誤差BP0.09120.22579.97%SVM0.08070.21468.43%DNN0.07260.18237.25%圖8 抗拉強度誤差分布對比圖5結論本文提出了一種基于深度前饋神經網絡的

26、熱軋鋼材力學性能預測方法，我們使用ReLU激活函數代替傳統的Sigmoid激活函數，能有效提高網絡的訓練速度，消除梯度消失或梯度爆炸現象。同時，我們調整網絡的深度和寬度后，得到最優的網絡結構。通過加入Batch Normalization方法來提高網絡的訓練精度和收斂速度。通過Dropout技術，有效防止網絡過擬合問題，提高測試數據的預測準確率。最后，我們比較了深度前饋神經網絡、BP神經網絡和支持向量機的實驗結果。結果表明，本文提出的算法在鋼鐵力學性能預測領域效果更優。參 考 文 獻1 秦建春, 張果, 王劍平,等. 帶鋼熱軋過程厚度分配的仿真分析J. 鋼鐵研究, 2016, 44(3):17

27、-20.2 劉貴立, 張國英, 曾梅光,等 用人工神經網絡模型研究微量元素對鋼力學性能的影響J. 鋼鐵研究, 2000(1):48-50.3 譚文, 劉振宇, 吳迪,等. 熱軋中厚板沖擊功的神經網絡預報模型J. 鋼鐵, 2007, 42(2):51-55.4 陳林根, 夏少軍, 謝志輝,等. 鋼鐵冶金過程動態數學模型的研究進展J. 熱科學與技術, 2014(2):95-125.5 Ghaisari J, Jannesari H, Vatani M. Artificial neural network predictors for mechanical properties of cold ro

28、lling productsM. Elsevier Science Ltd. 2012.6 Chou T C, Nieh T G, Mcadams S D, et al. Mechanical properties and microstructures of metal/ceramic microlaminates: Part II. A Mo/Al2O3 systemJ. Journal of Materials Research, 1992, 7(10):2774-2784.7 左秀榮, 姜茂發, 薛向欣,等. 人工神經網絡在鋼鐵材料力學性能預測方面的應用J. 特殊鋼, 2004, 25

29、(5):26-29.2017, 79:1-17.8 信自成, 李杰, 劉衛星,等. 基于BP神經網絡釩鈦燒結礦低溫還原粉化性能預測J. 鋼鐵釩鈦, 2017, 38(3):94-99.9 Polson N G, Sokolov V O. Deep learning for short-term traffic flow predictionJ. Transportation Research Part C Emerging Technologies,10 Huang C W, Chiang C T, Li Q. A study of deep learning networks on mobi

30、le traffic forecastingC/ IEEE, International Symposium on Personal, Indoor, and Mobile Radio Communications. IEEE, 2018:1-6.11 羅向龍, 焦琴琴, 牛力瑤,等. 基于深度學習的短時交通流預測J. 計算機應用研究, 2017, 34(1):91-93.12 Xu F, Lin Y, Huang J, et al. Big Data Driven Mobile Traffic Understanding and Forecasting: A Time Series ApproachJ. IEEE Transactions on Services Computing, 2016, 9(5):796-805.13 Weng Y, Zhao Y, Tang G, et al. Prediction of the mechanical properties of hot-rolled C-Mn steels by single index modelC/ International