深度神經網絡于不確定性量化的應用及精度對比 2第二章基于MATLAB的有限元分析 32.1引言 4 42.2.1加權余量法 42.2.2變分方法 72.3彈性力學基本方程 8 2.4.1前處理部分 112.4.2計算單元矩陣及單元節點載荷向量 12 122.4.4施加約束條件 132.5算例分析 183.1引言 18 19 3.3.2全連接神經網絡反向傳播算法 213.3.3損失函數討論與分析 21 交叉熵損失函數 3.3.4激活函數討論與分析 22 23 25 26LeakyReLU激活函數 26 27 28 28 32 344.1引言 34 3424.2.2循環神經網絡原理 35如上圖所示，定義輸出層神經元公式為 354.3基于循環神經網絡的不確定性量化 4.3.1自變量，低精度解與高精度解 4.3.2自變量與高精度解 39第五章基于貝葉斯神經網絡的不確定性量化 41 415.2貝葉斯神經網絡概論 5.2.1變分推斷 425.3基于貝葉斯神經網絡的不確定性量化 5.3.1自變量，低精度解與高精度解 5.3.2自變量與高精度解 45參考文獻 從真實世界中的物理系統到計算機科學中的仿真模型，每一個系統或者模型都存在不確定性。如圖1-1所示為不確定性分類圖。客觀存在的，可以通過概率方法進行統計分析，也稱為客觀不確定性。隨機不確定性又可以分為同方差不確定性和異方差不確定性。同方差不確定性是指輸出的不確定性不隨輸入的不同而改變，異方差不確定性是指隨著輸入的改變，輸出的不確定性將發生改變，實際問題中異方差不確定性往往占據多數，降低了模型的認知不確定性往往是由于知識不夠，數據不足，認知有限等因素造成的不確定性。認知不確定性主要包括參數的不確性和結構的不確定性，對于參數不確定性往往先假設參數服從某一分布，再根據給定的數據觀察參數分布的變化，也就是估計后驗分布，進而得到參數的概率估計來表征參數的不確定性。結構不確定性是選擇模型時所帶入的誤差(謝澤楷，傅雅萍，2022)[1]。而不確定性量化(UncertaintyQuantification,UQ),就是一門在計算應用領域進行定量表征和降低不確定性的科學。KarenWillcox和YoussefMarzouk定義：在實際應用中，不確定性量化主要包括定量表征和不確定性管理。它涵蓋了數據觀測，理論分析和計算機模型等領域(王宇鵬，劉洛兮，2023)。以當前的背景條件為基不確定性量化涵蓋許多任務，包括靈敏度分析，不確定性傳播，統計推因此，不確定性量化從應用數學和統計學中引用了許多基礎性知識及概念，例如：誤差估計，近似理論，蒙特卡羅方法和隨即建模{2]。不確定性量化不僅可以應用于工程領域，而且也可以延伸到金融領域，使這些行業受益匪淺。當系統某些方面無法準確確定的情況下，不確定性量化可以應用在量化和確定系統某個輸入或者輸出的可能性有多大的問題中，以上面各項分析情況為據在自然災害預測，股市漲跌預測，保險業務，產品可靠性估計等實際應用中發揮著舉足輕重的作用(秦思遠，許君浩，2021)[3]。而深度學習是一種高效的非線性高維數據處理方法6,應用于不確定性量化中，可以有效實現高維度數據分析，進而確定不確定性的來源，對比線性回歸模型和自回歸模型，深度學習模型有更強的能力剔除變量中的可預測的確定性成分進而得到不確定性的量化(謝俊朗，郭曉婷，2020)。所以研究基于深度神經網絡的不確定性量化的方法是很有價值和意義的。第二章基于MATLAB的有限元分析4本章主要實現基于MATLAB的有限元分析，為后文深度神經網絡的搭建提供數據和算例。在現實工程與系統的分析中，人們已經可以得到相應系統所遵循的基本方程和得到定解所需要的約束條件，但是因為這些方程往往都是偏微分方程或者常微分方程，用解析方法求得高精度解的難度很大，對于大多數問題來說，還是依賴于用數值方法求解，鑒于當前狀況看而有限元方法就是一種行之有效的數值求解方法(白逸凡，熊馨月，2023)。有限元方法的基本思想是將連續的求解區域通過網格離散為有限個，按照一定順序排列的單元，單元與單元之間通過節點連接，單元又有不同的劃分方式，以此實現用單元內的近似函數來分片表示整個求解區域上未知的場函數。如此一來，未知場函數或者其導數在各個節點處的數值成為了新的自變量，而且由于單元是有限的，故新的自變量數目也是有限而且由于單元劃分方式不一致，解的精度也是可以控制的。如果單元滿足收斂條件，解的精確度是和單元的密度成正比的，單元足夠密集，近似解將收斂于精確解(馬飛，肖俊杰，2021)。2.2建立有限元方程的基本方法從確定單元的方法和求解方程的理論基礎出發，最早的有限元方法是直接剛度法，其理論基礎來源于結構分析中的剛度法。后來，有限元方法被證明其只是基于變分原理的Ritz方法的變形方法，現有結果為我們的推論提供了堅實支撐以此確認了有限元方法在求解連續介質問題上的普適性(周建強，孫澤宇，2021)。不需要滿足任何邊界條件，而后者是在全局假設和建立近似函數。故而有限元方法可以用來處理很復雜的連續介質問題。至于后來出現的加權余量法主要應用的加權余量法是一種基于微分方程等效積分的求解微分方程近似解的有效方法，可以用來建立有限元方程。一般的工程分析問題是用未知場函數應該滿足的微分方程(2-1)和邊界條件(2-2)來表示的式中，域Ω可以代表體積域，也可以代表面積域等等；而T是域Ω的邊界。未知來核實數據的有效性，且識別出潛在的異常數值。通過對數據分布特性的透徹分析，本文能夠切實排除那些明顯脫離正常區間的數據點，并且保留富有代表性的樣本情況。此外，本文還運用敏感性分析去衡量不同參數改變給研究結論帶來的由于式(2-1)在域Ω中的點均滿足為0的條件，故得到其中V={v?v?…}是函數向量，是一組與微分方程的個數完全相等的任意函數。對于所有的向量函數V和V成立，而且等效于式(2-1)和式(2-2)。這里要求式(2-5)是可以計算的，故V和V必須滿足可積的條件。這在一定層面上展現如果場函數u是精確解，那么上面各式必然滿足，但是由于精確解u往往很難得到，對于上面所描述的問題，可以用有待定參數的近似函數來表示，近似函數可6滿足邊界條件和連續性的要求。一邊情況下，由于n為有限值，故精確解與近似解之間會存在殘差R和R,我們將其定義為余量，如式(2-7)所示(陳雨倩，黃俊對于式(2-5),用n個已經選定的函數來進行近似代替這樣就可以得到近似的積分等效形式j=1,2,L,n)由式(2-8)和式(2-9)可知，當待定參數α取一定值時可以使余量在平均意義上接近于0,我們將W;和W,稱之為權函數。通過將余量的加權積分設置為0得到一組方程組，用這組方程組來求解未確定的待定系數，進而得到近似解，將式(2-8)展開為方程組得上面所示方程中權函數W和W,的函數陣列的階數分別與A,B中的元素個數相同。近似函數取的項數n越多，近似解與精確解之間的殘差越小。當n趨近于無窮時，近似解將收斂于精確解(高俊杰，何雨琪，2021)。這種采用余量積分為0的方法就稱之為加權余量法。本文以已有的理論為依托構建起框架模型。在信息流的各個流程以及數據分析的方法運用上，都體現出對前人研究成果的敬重與繼承，同時也實現了創新與拓展。在信息流的設計方面，本文借鑒經典的信息處理理論，保證信息從采集、傳輸到分析的每一個環節，都能高效且準確地進行。通過對數據來源的嚴格篩選，執行標準化的處理流程，使信息質量得以有效保障，從而更2.2.2變分方法對于連續介質問題，可以定義未知函數u的泛函為其中F和E都是特定的算子，Ω和T分別為泛函Ⅱ對微小變化ou取駐值來得到連續介質問題的解u,即泛函Ⅱ的變分等于零同樣的，對于用變分方法求解的問題，還是可以通過用帶有待定參數的試探 (鄭建華，黃健雄，2023)。而泛函的變分為零，實質上就是將泛函對所有的待定參數取全微分，并且令其等于零，如式(2-13)所示通過式(2-14)可求得待定參數α。及其導數的最高階次為二，稱泛函Ⅱ為二次泛函。二次泛函進一步可以將其改寫再將式(2-15)進行變分得到8又因為矩陣K的子矩陣文綜述中的結論基本吻合，這一現象首先凸顯了本研究所采用方法在有效性與可靠性方面的顯著優勢。這種高度的一致性不僅對先前研究結論進行了有力驗證，同時也為當前的理論框架增添了更為堅實的支撐。憑借嚴謹的研究設計、系統的數據收集以及科學的數據分析，本文成功復現了前人研究中的核心發現，并在此基礎上展開了更為深入的探究。這一過程不僅進一步鞏固了本文對研究假設的信通過式(2-15),可以將泛函表示為因為dα為任意的，故由式(2-15)可得又因為對式(2-19)進行變分可以得到在線彈性力學中，當載荷作用于彈性體內任意一點時，該點的應力狀態可以由6個應力分量進行表示應變狀態可以由6個應變分量進行表示在彈性體V域內的平衡方程為上式中X,Y,Z分別為單位體積的體積力在坐標軸上的分力。上式中1,m,n為彈性體邊界外發現的方向余弦，X,Y,Z為單位面積的面積力在坐標軸上的分量。(姜立軍，陸曉峰，2021)幾何方程定義為位移邊界條件本構關系為如果為各向同性材料，則2.4MATLAB有限元法基本步驟在MATLAB進行有限元分析不同于用商用有限元分析軟件程完成分析，而且處理方法也不同于其他軟件。相較于其他專業的有限元分析軟作而言，本文主要通過一系列嚴格的方法和措施，確保數據的準確程度以及結果的可靠程度。精心構建了詳細的研究方案，對可能引發誤差的各類因素，包括環境變量、人為操作的差異，以及數據計算的精度等，進行了全面的分析與權衡。采用規范化的操作流程和技術手段，保障數據的一致性和可重復性。為進一步優化數據質量，還建立了雙重數據錄入和交叉驗證的制度，有效避免了因人為的疏2.4.1前處理部分在這一部分，主要工作是定義變量，對網格劃分，模型建立進行闡述，雖然MATLAB支持不定義變量就可以使用，但是為了程序的嚴謹和代碼的可讀性，還在整個分析過程中，單元的劃分是最復雜的一部分。但是因為一般的商業軟件已經可以做到單元的細致劃分，在這樣的條件背景下可以推知其事態如果是為了追求有限元分析的精確，建議還是使用專業軟件如：AN王思遠，劉錦濤。MATLAB主要用于理論探索與驗證，沒有必要停留(9)element_damping_matrix:單元阻尼矩陣(10)element_load_vector:單元載荷向量矩陣(12)structural_mass_matrix:系統質量矩陣(13)structural_damping_matrix:系統阻尼矩陣除此之外還需要的定義一些循環變量和材料的屬性變量。因為計算單元矩陣與選擇的單元類型息息相關，所以這一部分將在章節2.5算例中將詳細介紹。系統的剛度矩陣，質量矩陣，阻尼矩陣和節點的載荷向量都是由相對應的單元矩陣組裝而成。整個裝配過程中所遵循的關系是單元位移編號和系統整體位移編號之間的對應關系(許睿達，孔嘉誠，2022)。當進行數據分析方法的抉擇時，本文不但采用了傳統的統計分析手段，例如描述性統計、回歸分析等，還引入了近些年發展迅速的數據挖掘技術和算法。例如，通過聚類分析尋找數據中的潛在模式，或者利用決策樹算法對未來趨勢加以預測。這些先進的方法為深入剖析復雜現象提供了有力的支撐，助力揭示海量數據背后的深層次聯系。再者，本文特別強調混合方法的運用，將定量研究與定性研究相結合，以獲取更全面的研究視實際應用中，首先對節點位移進行排序編號，使得單元矩陣中元素的排列和單元各節點位移編號相對應，以上面各項分析情況為據如果我們在建立單元矩陣的過程中使用的是單元坐標系，在組裝系統矩陣之前，需要將單元坐標系轉換為系統坐標系(吳志豪，鄭雅晴，2019)。以系統剛度矩陣的組裝為例，上述轉換過程可以表示為上式中Ke為系統坐標系下的單元剛度矩陣，K°為單元坐標系下的單元剛度矩陣，T則為一個坐標轉換公式。如果單元矩陣也是建立在系統坐標系下的，那么在組裝由于系統剛度矩陣是由單元剛度矩陣組裝而成，所以兩者之間存在著相似的物理意義。主要性質有以下幾點：(1)帶狀特性：一般情況下，將連續的實體離散化后，每個節點周圍的單元只是少數幾個，而通過單元與之有關系的其他節點也只是少數，所以可以把其余的節點位移定義為零，相當于只在求解的節點和相關節點上施加節點力。這樣一來每一列中必然有大多數的元素為0,依上述分析可得出即使結構總單元數和總節點數編序是合理的，相鄰節點之間的編號相差不是很多，這些占少數的非零元素將主要集中在主對角線附近的帶狀區域。考慮到時間因素的關鍵意義，在此暫不詳盡論述上文結論的驗證過程。科學研究一般呈現為一個漫長的過程，特別是在攻克復雜問題或者探索新興領域時，需要足夠的時間去觀察現象、剖析數據，進而得出可靠的結論。盡管本研究已取得一定的初步成果，然而要對所有結論進行全面且細致的驗證，還需要長期的跟蹤研究以及反復的實驗操作。這不僅有助于消除偶然因素的干擾，還能確保研究成果擁有更高的可信度和廣泛的應用價值。再者，技術手段的發展水平對結論的驗證進程有著重要的影響。(2)對稱性：這是由于單元剛度矩陣對稱性導致的。(3)稀疏：如(1)中所討論的，非零元素只是占少部分，大多數元素都是0。基于上述特性，在MATLAB中可以使用稀疏矩陣來存儲此類矩陣，節約所占空間，進一步的，利用對稱性可以只存儲非零元素的一半。不過在使用稀疏矩陣之前，需要先定義矩陣變量為稀疏矩陣。在上文中，通過模型的離散化得到了近似函數，所選擇的函數在單元內部滿足幾何方程，但是在選擇試探函數時候，并沒有將邊界上的唯一約束條件加上，故還需要將約束條件引入有限元方程。一般問題處理過程中，以當前的背景條件為基幾何邊界條件通常為若干個節點上的場函數的給定值來引入的。在靜力學問題中，必須使系統的剛體位移足以2.5算例分析問題：圖2-1所示為一受豎直向上集中載荷的懸臂梁，集中載荷F=1000N,梁長8米，高1米，鑒于當前狀況看梁材料的彈性模量E=1.0×10?pa,泊松比為0.3,用二維等參單元進行靜力分析。在有限元分析中，精度會隨著單元節點數目的加而提高，但是插值函數的階次也會隨之增高。想要用較少的形狀規則的單元進行復雜幾何體的離散具有一定的困難，但是如果使用的單元的邊界是曲線或者是曲面，這個問題就可以得到很好的解決了。所以要做的就是將形狀規則的單元進行轉化，使之成為曲線或者曲面，這就是等參變換。對于理論框架的核實與改進工作，本文搜集到充裕且詳實的數據資源。這些數據覆蓋了廣泛的研究對象范圍，在不同時間點以及多元的社會背景下都有涉及，為理論框架的全面驗證提供了堅實支撐。利用統計分析工具對量化數據進行細致處理，能夠有效檢驗原理論框架中的各項假設，發現其中的薄弱環節。后續研究將考慮納入更多變量參數，或者選用更大規模的樣本集合，以此進一步提升理論框架的解釋能力與預測精準性。為解決上述問題我選用四邊形等參單元求解。如圖2-2所示為四邊形單元的等參變換，等參變換的實質是從一個坐標系到另外一個坐標系的映射，前者是自然坐標系，看得出趨勢來后者是物理坐標系。可以將其表達為式(2-31)在本問題中，取坐標系中的單元均為雙線性單元，定義單元的形函數如式(2-32)現有結果為我們的推論提供了堅實支撐建立單元自然坐標系與物理坐標系之間的聯系方程如式(2-33)(武景云，魯啟銘，2023)且在進行坐標變換時必須保證單元兩個坐標系下的節點編號保持一致。根據上文所述，定義形函數進行插值運算，如式(2-34)上式中，i,j為物理坐標系下的單元坐標向量，將式(2-42)代入式(2-40)得故而將懸臂梁結構劃分別劃分為8個單元，16個單元，32個單元，64個單元進行計算，利用MATLAB編程求解得到懸臂梁自由端X,Y方向的位移如表2-1所示自由端位移8單元16單元32單元而是在一定的范圍內波動，如果可以量化自由端位移的不確定性，將對懸臂梁設神經網絡并不是一種算法，而是一種架構或者模型。神經網絡的產生是受生物大腦神經元結構的啟發，建立計算機網絡來模擬生物大腦神經元之間的信息處理與傳遞，作為一種高度簡化的模型，這種結構也被稱之為人工神經網絡。在本章節中，將主要討論全連接神經網絡應用于不確定性量化，聯合前一章節中的算例進行分析(賀博遠，齊明杰，2019)。主要內容包括全連接神經網絡的基本結構，全連接神經網絡前向傳播算法推導，反向傳播算法推導，損失函數的分析與討論，從這個角度來看我們認識到以及算例實現基于有限元分析的多精度不確定3.2全連接神經網絡概述神經網絡的基本結構是神經元。如圖3-1所示，類似于權重激活函數f()(w,w?,W?,w4,…,wn)與之相乘，同時存在一個閾值θ,當輸入值與權重相乘求和之后如果小于閾值，神經元的輸出值較小，稱之為抑制狀態，當輸入值與權重相乘因為一個神經元中參數很少，其實現的功能只能是對數據進行線性分析，學習能力不足。為了實現更加復雜的功能，往往是把許多個神經元結合到一起來使用，使之成為一個網絡，如圖3-2所示(葉宇澤，劉家銘，2020)。通常來說一個神經網絡包含輸入層，隱藏層和輸出層，第一層為輸入層，最后一層為輸出層，中間的為隱藏層。神經網絡的學習能力主要有隱藏層賦予，隱藏層可以為任意層數，每一個隱藏層都可以有若干個神經元白逸凡，熊馨月。這在某種程度上映射了每一層之間的神經元之間不存在連接關系，不同層之間的神經元也不存在連接關系，只有層與層之間存在連接關系。本文構建的框架模型，其關鍵特點之一是靈活性與可擴展性。考慮到研究背景和需求的廣泛多樣性，本文在設計模型時，著重確保各組件的模塊化特性。這使得本文能夠根據實際情況，靈活地對特定部分進行調整或替換，而不影響整體架構的穩定與有效。這種設計方法，不僅增強了模型在實際應用中的意義，還為后續研究者提供了一個開放的平臺，鼓勵他們在現有基礎上進行二次開發，實現模型的創新發展。層的類型多種多樣，但是本文中的神經網絡都采用線性層，因為線性層是最重要，最基礎的層，其原理是線性變化，如式(3-2)所示。在神經網絡中，每一層的輸出的都會被當作下一層的輸入，每一層都有自己的學習參數。在神經網絡的命名時，通常不計入輸入層，只計入隱藏層和輸出層，圖3-2所示神經網絡就是一個四層神經網絡(陳睿思，劉子航，2021)。上圖所示也是一個典型的全連接神經網絡，全連接神經網絡其實就是除了輸在該部分中，還是以線性層為例推導。全連接神經網絡底層的算法運算過程程中：輸入數據首先經過隱藏層，經過線性變換之后再經過激活函數，之后每個隱藏層的輸出將作為下一個隱藏層的輸入，直到最后的輸出層。反向傳播過程中：通過損失函數計算損失值，再經過優化器更新每一層網絡的權重和誤差。反復重復這兩個過程，在這樣的條件背景下可以推知其事態直到損失函數值足夠小何明華，高偉強。優化器一般是用梯度下降算法來優化權重和誤差。層變換后的數據層以圖3-2所示的四層神經網絡為例，推導神經網絡的前向傳播過程。當神經網絡層數為其他層數時，原理不變，推而廣之即可馬飛，肖俊杰。在數據分析的工作中，已有的研究經驗提醒本文要著重強化對新興分析工具和技術的應用。伴隨著信息技術的高速發展，諸如大數據分析方法、機器學習算法等先進工具，正逐步在科學研究中發揮重要作用。這些技術不僅能夠讓本文更高效地處理海量的數據，還能挖掘出傳統方法難以察覺到的深層次信息和獨特模式。所以，在后續研究里，本文需要積極探索怎樣把這些先進技術融入到分析框架中，以增強研究結果的精準度和對數據背后信息的洞察能力。定義從輸入層到第一層隱藏層的公式上標均為[1],以上面各項分析情況為據第一層隱藏層到第二層隱藏層的公式上標均為[2],激活函數定義為f,以此類推。則全連接神經網絡的正向傳播過程可以表示為式(3-3)A"=f(Z")A2=f(Z2)A3=f(Z3)A?]=f(Z?)3.3.2全連接神經網絡反向傳播算法對變量命名規則與前向傳播過程保持一致，f表示激活函數的導數。則全連接神經網絡的反向傳播過程可以表示為式(3-4)dZ?]=A?]-Ydwl?]=dZ?]A3]TdWl2]=dz2]A[JTdW1]=dZ2]x[ITdbl=dZl]3.3.3損失函數討論與分析在神經網絡中我們需要對神經網路訓練出的神經元參數進行測試優化，這個時候就要用到損失函數了。人們總是希望自己的神經網絡可以最大程度上提取數據特征，為了直觀看到神經網絡訓練的效果，依上述分析可得出可以將神經網絡訓練的結果與真是的結果進行匹配，再經過損失函數計算神經網絡的損失，以此作為網絡訓練好壞的評判標準周建強，孫澤宇。如果損失值不能達到滿意度，那么就需要繼續使用梯度下降算法對網絡中參數進行權重和偏差的更新，直到擬合效果達到要求。現有的損失函數主要有兩類：均方誤差函數和交叉熵損失函數，具體介紹如下。均方損失函數均方損失函數主要應用在回歸問題中：以當前的背景條件為基計算真實值和預測值之間的平方差的平均值。例如在房價預測的問題中，輸出的預測值為一個實數，可以將預測的房價與真實的房價進行對比，取平方差的均值作為神經網絡的損失值。交叉熵損失函數主要應用在分類問題中。如果神經網絡執行的是二分類問題，神經網絡的輸出層必須使用Sigmoid激活函數，但是只需要一個輸出神經元就夠了，將輸出值介于(0,1)之間，以0.5作為分界線，鑒于當前狀況看大于0.5的作為一個標簽輸出，小于0.5的作為另外一個標簽輸出。Sigmoid激活函數將在下一章節詳細討論。如果是多分類問題，還需要再多家一步one-hot處理，同樣的輸出層選用Sigmoid激活函數邵子杰，樊慧琳。3.3.4激活函數討論與分析在神經網絡中，輸入數據分為線性可分和線性不可分數據，如圖3-4所示。對于線性可分的數據，輸入與輸出滿足線性關系，公式表達為用最簡單的神經網絡就可以得到很好的學習效果。但是對于線性不可分的數據，這種方法學習能力不高。這時，加入激活函數，看得出趨勢來神經網絡可以學習到平滑的曲線，將大大提高神經網絡處理非線性數據的能力，如圖3-5所示。常見函數和Maxout函數，下面將—一介紹付旭東，成嘉寧。輸入輸入Sigmoid函數定義式如下Sigmoid函數圖像如圖3-6所示XSigmoid函數在神經網絡中被頻繁使用，該函數作用是將數據壓縮在0到1之間，當輸入非常大時，被壓縮在1附近，當數據很小時被壓縮在0附近，當輸入數據為一個很大的負數時，被壓縮在0附近，該函數很好地解釋了神經元是否被激活的狀態，當壓縮后的值接進0時表示神經元沒有被激活，當壓縮后的值接進1表示神經元被激活張志華，陳天佑，成怡萱。但是Sigmoid函數也有自己的缺點，它容易出現梯度消失的問題，在使用反向傳播算法時，隨著傳播深度的增加，該激活函數會導致淺層神經網絡的權重值更新變慢，降低了學習效率，這樣地特點帶來的直接后果就是，對于一個深度學習網絡，由于前幾層的參數更新很慢，現有結果為我們的推論提供了堅實支撐只改變后面幾層的參數，間接的將深度神經網絡變成了一個淺層神經網絡。于數據收集時期，本文采納了多種途徑，像是問卷調查、實地勘察以及文獻查閱等，期望從不同視角獲取豐富且詳實的數據素材。通過對這些數據的條理化分析與處置，本文能夠切實地證實研究假設，并探尋其中隱藏的規律性和潛在聯系。然而，即便本研究取得了一定成效，本文也明白，任何研究都有其固有的短板。未來針對該領域的研究可以在當前的基礎上進一步延伸深化，尤其是在樣本的挑選、研究其次，Sigmoid函數處理數據的方式導致該函數的輸出值均值不為0。導致了下一層網絡的輸入不是以0為均值的數據，這樣的數據在后面的反向傳播過程中tanh函數圖像如圖3-7所示XTanh函數是一個奇函數，該函數圖像位于一三象限，函數值被限制在-1到1之間，嚴格單調遞增。對面上面所述的Sigmoid函數，該函數解決了Sigmoid函數輸出值均值不為0的問題，相較于Sigmoid函數有了一定的改進，應用范圍更廣，ReLU函數圖像如圖3-8所示。ReLU函數在近年來在深度神經網絡中應用很廣泛。該函數很好地解決了上面兩個激活函數梯度消失的問題，相較于Sigmoid函數和tanh函數，該函數的導數為1或者0,求解梯度時很方便。這樣的梯度特點該激活函數可以使得一些神經元的輸出為0,使得網絡比較稀疏，有效降低了網絡但是同樣的該激活函數也有自己的缺點。該激活函數比較脆弱，容易造成神經元死亡，比如一個較大的梯度經過一個神經元后，會導致該神經元不能再被激活，這樣導致的結果就是從此刻開始，該神經元產生的梯度將一直為0,導致神經元在網絡中不可逆的消失死亡了鄭建華，黃健雄。當然神經元的死亡很大程度上取決于學習率的設定，學習率越大，神經元越容易死亡，這在一定層面上展現只XElu函數定義式如下Elu函數圖像如圖3-9所示XElu函數在x>0時為x本身，因為梯度始終為1,與ReLU函數相似，有效避免了梯度消失的問題，減小了正常梯度與單位梯度之間的差距，有助于神經網絡快速收斂。當x<0時，該激活函數在輸入數據較小時有軟飽和性，有效提升了對LeakyReLU函數定義式如下LeakyReLU函數圖像如圖3-10所示X如上圖所示，類似于ReLU函數，當x>0時，梯度為1,避免了梯度消失的問題。但是當x<0時該激活函數允許一個非零的梯度存在，這無疑解決了ReLU函數造成神經元死亡的問題。Maxout函數定義式如下數和LeakyReLU函數的泛化版本，當上式中w?,b?為0時，該激活函數便成了ReLU函數。因此，Maxout函數具有ReLU函數的優點，同時解決了梯度消失的問題。本文能夠發現一系列可以優化和革新的領域。之前的研究階段為本文提供了寶貴的經驗，也讓本文看到了方法上的局限，明確了哪些方法有效，哪些方法需要改進。就數據收集而言，本文應當更加注重樣本的多樣性與代表性，確保所選取的樣本能夠全面體現目標群體的整體特點。此外，針對不同的研究問題，靈活運用對比上面所述的幾種激活函數，sigmoid函數由于輸出值在(0,1)之間，在3.4基于全連接神經網絡的不確定性量化本章節選用本文第二章所做的懸臂梁有限元分析進行進一步的工作。由于在實際工程中，因為制造工藝，材料特性等條件的制約，懸臂梁長寬，材料的彈性模量，所受載荷并不是一個確定值，而是隨機變量，這造成了有限元解也是一個得到高精度的解就需要將單元劃分的比較密集，從這個角度來看我們認識到但是這也會帶來時間成本過高的問題，相反的，低精度的解所耗用的時間比較少。如果我們能建立自變量，低精度解，高精度解之間的聯系，通過低精度解來估計高精度解，并且量化高精度解的不確定性，那么就可以做到以最小的成本得到滿意我們的最終目的是通過自變量的不確定性來估計量化高精度解的不確定性。再通過該預測模型產生樣本量比較多的預測高精度解。最后用預測的高精度解代替真實的高精度解，這在某種程度上映射了建立自變量與高精度解之間模型，量本章所有神經網絡算例程序都是基于python3.7環境，選用的庫為PyTorch,軟件平臺為JetBrainsPyCharm2019.1.1x64。PyTorch是一個基于Torch的Python開源機器學習庫，用于自然語言處理等應用程序。PyTorch的優點有：支持GPU;如上所述，在有限元模型中我將集中載荷，彈性模量，懸臂梁的長寬設置為在一定范圍內的隨機數。將單元數為8時產生的懸臂梁自由端豎直方向位移解定義為低精度解，將單元數為16時產生的懸臂梁自由端豎直方向位移解定義為高精度解，產生兩組解的自變量保持一致。在上述條件下共產生低精度解1000個，對應1000組自變量；產生高精度解100個，對應自變量與低精度解前100個對應的自變量一致，以此作為神經網絡的訓練集；另外重新產生低精度解和高精度解各100個作為神經網絡的測試集。部分結果如表3-1所示。F=1000+1000*rand;%集中載荷high_L=1+0.2*rand;%懸臂梁寬度E=le6+1000*rand;%彈性模量低精度解(m)高精度解(m)利用產生的結果，首先選取100個粗略解與其相對應的四個自變量和高精度解為訓練數據，以四個自變量和低精度解作為輸入集，高精度解作為輸出集，放入已經搭建好的神經網絡中訓練網絡，神經網絡模型如圖3-11所示。在訓練過程中，為了保持量綱一致，提高神經網絡的精度，需要對訓練集原始數據進行了歸圖3-11全連接神經網絡模型在網絡的超參數設置中，將全連接神經網絡的隱藏層數設置為兩層，第一層包含40個神經元，在這樣的條件背景下可以推知其事態第二層包含20個神經元，循環次數epoch取3000,激活函數為ReLU函數，損失函數為均方差函數，優化算法為Adam算法。經過多次調試，最終確定學習率Ir=0.1。損失函數值變化圖如圖3-12所示迭代次數由于自變量有多個，取其中一個自變量(集中載荷)為橫坐標，以高精度解為縱坐標，得到訓練后的模型效果如圖3-13所示上圖中，藍色線代表訓練集中，集中載荷與懸臂梁自由端豎直方向位移之間的關系，黃色線表示集中載荷與模型預測的高精度解之間的關系，兩者擬合效果很好，損失函數值為1.2206e-6。以上面各項分析情況為據將測試集數據代入已經訓練好的模型得到圖3-14所示結果趙宇昊，李佳琳上圖中，藍色的點表示測試集中的原始高精度解，黃色的點表示通過訓練好的模型預測出的高精度解，兩者擬合良好。通過原始高精度解和預測高精度解之間的誤差來檢驗模型的精度，誤差函數選用均方根誤差函數(RootMeanSquaredError,RMSE),如式(3-13)所示。得到誤差為0.0069,誤差在可以接受的范圍3.4.2自變量與高精度解上述結果是建立了自變量，低精度解與高精度解之間的關系，是一個多精度模型，已經達到較好地效果。依上述分析可得出為了達到最終通過自變量估計和量化高精度解不確定性的目的，將訓練集中的1000個樣本代入已經建立的多精度模型得到了1000個預測的精確解，用這1000個預測的精確解代替真正的精確解，再次采用相同結構的全連接神經網絡進行訓練，取全連接神經網絡的隱藏層數為激活函數為ReLU函數，損失函數為均方差函數，優化算法為Adam算法。經過多次調試，最終確定學習率Ir=0.2。以當前的背景條件為基取其中一個自變量(載荷)為橫坐標，以高精度解為縱坐標，得到結果如圖3-15所示王浩宇，張婉清懸臂梁自由端豎直位移懸臂梁自由端豎直位移上圖中藍色線代表多精度模型預測出的高精度解，黃色線表示通過自變量預測出的高精度解，兩者擬合效果良好。為了保證在低精度解不參與預測情況下得到的預測高精度解誤差滿足精度要求，將測試集原始數據代入自變量與高精度解的模型，得到結果如圖3-16所示懸臂梁自由端豎直位移懸臂梁自由端豎直位移如上圖所示，預測高精度解與原始高精度解誤差為0.0042,擬合效果良好，精度在接受范圍內。故可以用預測的高精度解代替真實的高精度解進行高精度解的不確定性量化 (溫志強，莫宇航，2021)。以預測出的1000個高精度解為樣本，鑒于當前狀況看計算得到當自變量為隨機變量時，高精度解的均值，方差，標準差，變異系數，95%置信區間如表3-2所示，再取測試集高精度解真實值進行對比，結果如表3-2所示。可以發現預測值的均值比真實值的均值大0.0098mm,預測值的方差，標準差和變異系數都要比真實值小，預測值的置信區間的上限與真實值置信區間的上限接近，看得出趨勢來但是下限與真實值有較大差距。總體來看，通過全連接神經網絡進行不確定性量化在均值，方差，標準差，變異系數等指標上表現良好，但是在置信區間這一指標上還是有所欠缺。95%置信區間(m)第四章基于循環神經網絡的不確定性量化本文第三章詳細介紹了全連接神經網絡和基于全連接神經網絡的不確定性量化。本章節主要是為了對比不同的神經網絡在進行不確定性量化時的效果，采用循環神經網絡對第三章節所介紹的算例進行不確定量化。在本章節將詳細介紹循環神經網絡和使用循環神經網絡進行不確定性量化的過程，主要包括循環神經網絡基礎知識，不確定性量化這兩個方面。在章節三中已經詳細推導了神經網絡前向傳播過程和反向傳播過程，詳細介紹了常見的損失函數和激活函數，由于循環神經網絡和全連接神經網絡在這些方面是一致的，故在這一章節將不再贅述，主要介紹循環神經網絡自己的特點。循環神經網絡命名是因為其傳遞信息的方式特別，如圖4-1所示為一般前饋型神經網絡和循環神經網絡處理信息的對比圖。如上圖所示在前饋神經網絡中，信息的流向只有一個方向，那就是從輸入層到隱藏層，最后到輸出層；但是在循環神經網絡中，神經元的輸入有兩個信息，一個是過去學習到的信息，現有結果為我們的推論提供了堅實支撐另外一個信息是自身現在接受到的信息。所以循環神經網絡做決定的時候，不僅要考慮當前的輸入而且還會保留通過以前的輸入信息學習得到的信息(秦思遠，許君浩，2021)。這與前饋神經網絡形成了鮮明的對比，這也是循環神經網絡獨一無二的特點。由第四章基于循環神經網絡的不確定性量化于具有這樣的特點，循環神經網絡特別適合處理與時間有關的問題，常見的應用領域如：機器翻譯，文本生成，視頻圖像處理，語音識別，文本相似度計算，推4.2.2循環神經網絡原理與以前的輸入也有關。具體來說就是循環神經網絡自身會存儲之前的信息，和當前的輸入一起輸入，然后得到新的輸出，相當于隱藏層各單元之間是有連接的。如圖4-2所示為循環神經網絡簡單示意圖y⑥x?x?x?圖4-2循環神經網絡簡單示意除此之外，循環神經網絡中的信息是可以前向傳遞或者前后雙向傳遞。如圖4-3和圖4-4所示分別為前向循環神經網絡結構和雙向循環神經網絡結構。在前向循環神經網絡中，信息從前到后依次傳遞，這在一定層面上展現特點是信息單向流動，后面的信息受前面信息影響，但是無法反過來影響前面的信息(謝俊朗，郭曉婷，2020)。相反的在雙向循環神經網絡中，信息先正向傳遞，完成之后再反向傳遞一遍，將兩次的信息混合之后再傳入神經網絡一遍，這樣既考慮了前面ytyt4.3.1自變量，低精度解與高精度解在算例中，繼續使用本文章節3.4.1中的有限元分析數據定性量化，數據前處理過程與全連接神經網絡中數據處理過程一致。搭建的循環神經網絡結構圖如圖4-5所示。在循環神經網絡的超參數設置中，我將循環神經網絡的隱藏層數設置為一層，包含5個神經元，循環次數epoch取2000,激活函數為ReLU函數，損失函數為均方差函數，這無疑地揭示了本質優化算法為Adam算法(白逸凡，熊馨月，2023)。經過多次調試，最終確定學習率Ir=0.02。損失函數值變化圖如圖4-6所示由于自變量有多個，取其中一個自變量(集中載荷)為橫坐標，以高精度解為縱坐標，得到訓練后的模型效果如圖4-7所示懸臂梁自由端豎直位移懸臂梁自由端豎直位移如圖所示，藍色線代表訓練集中，集中載荷與懸臂梁自由端豎直方向位移之間的關系，黃色線表示集中載荷與模型預測的高精度解之間的關系，兩者擬合效果很好，損失函數值很小。將測試集數據代入已經訓練好的模型得到圖4-8所示結果上圖中，藍色的點表示測試集中的原始高精度解，黃色的點表示通過訓練好的模型預測出的高精度解，兩者擬合效果良好。通過原始高精度解和預測高精度解之間的誤差來檢驗模型的精度，從這個角度來看我們認識到同樣采用RMSE誤差函數，得到誤差為0.0056,誤差在可以接受的范圍內，模型精度良好。對比全連接神經網絡，循環神經網絡精度更好，數據擬合效果明顯優于全連接神經網絡。同樣地，上述結果是自變量，低精度解與高精度解之間的關系，采用與本文3.4.2中相同的方法，取循環神經網絡的隱藏層數為一層，隱藏層包含10個神經元，循環次數epoch取2000,激活函數為ReLU函數，這在某種程度上映射了損失函取其中一個自變量(集中載荷)為橫坐標，以高精度解為縱坐標，得到結果如圖4-9所示懸臂梁自由端豎直位移懸臂梁自由端豎直位移上圖中藍色線代表多精度模型預測出的高精度解，黃色線表示通過自變量預測出的高精度解，兩者擬合效果良好。為了保證在低精度解不參與預測情況下得到的預測高精度解誤差滿足精度要求，我將測試集原始數據代入自變量與高精度解的模型，得到結果如圖4-10所示，采用RMSE誤差函數得到預測高精度解與原始高精度解誤差均值為0.0056,擬合效果良好，精度在接受范圍內。本研究各階段所取得的研究成果及計算數據與前文綜述中的結論基本吻合，這一現象首先凸顯了本研究所采用方法在有效性與可靠性方面的顯著優勢。這種高度的一致性不僅對先前研究結論進行了有力驗證，同時也為當前的理論框架增添了更為堅實的支撐。憑借嚴謹的研究設計、系統的數據收集以及科學的數據分析，本文成功復現了前人研究中的核心發現，并在此基礎上展開了更為深入的探究。這一過程不僅進一步鞏固了本文對研究假設的信心，同時也充分證明了所選研究方法的科學性與合理性。故可以用預測的高精度解代替原始的高精度解進行高精度解的不確定性量化。以預測出的1000個高精度解為樣本，計算得到當自變量為隨機變量時，高精度解的均值，方差，標準差，變異系數，95%置信區間如表4-1所示。對比全連接神經網絡和真實值各個指標，發現相較于全連接神經網絡，循環神經網絡得到的均值，方差，標準差，變異系數和置信區間都更加接近真實值。所以使用循環神經網絡不僅可以達到量化不確定性的目標，而且不確定性量化的整體效果都要優于全連接神經網絡。方差(m)標準差(m)變異系數95%置信區間(m)第五章基于貝葉斯神經網絡的不確定性量化本文第三章和第四章詳細介紹了全連接神經網絡和循環神經網絡在不確定性量化中的應用。本章節同樣是為了對比不同的神經網絡在進行不確定性量化時的效果，采用貝葉斯神經網絡對第三章節所介紹的算例進行不確定量化(馬飛，肖俊杰，2021)。在這樣的條件背景下可以推知其事態在本章節將詳細介紹貝葉斯神經網絡和使用貝葉斯神經網絡進行不確定性量化的過程，主要包括貝葉斯神經貝葉斯神經網絡與上文所述的全連接神經網絡和循環神經網絡在網絡的拓撲結構上并無太大的差別，主要的區別在于全連接神經網絡和循環神經網絡的參數這樣的設置實質是神經網絡在概論方向的拓展，一方面保留了傳統神經網絡的結構，具有很強的可擴展性，同時隨機變化的參數方便了通過參數的分布進行模型×OOvOZO對于給定的一個神經網絡訓練樣本，包含自變量X和輸出Y,貝葉斯神經網絡的構成包括兩部分：參數空間上的先驗分布p(w)和貝葉斯回歸的似然函數(5-1)參數w由輸入的X,Y經過模型訓練之后確定，參數的后驗分布可以表示為除此之外貝葉斯神經網絡與一般的神經網絡在訓練和測試過程上并無區別，不再贅述。由于貝葉斯神經網絡在反向傳播過程中需要計算梯度，而網絡的參數都是隨機變量，這給推理帶來了不小的麻煩，故現在主要使用的方法是變分推斷 (VariationalInference,VI)方法來近似。以上面各項分析情況為據該方法的核心思想是假設一個簡單的分布來近似參數的后驗分布，以此來減小運算量，如正態分布或者伯努利分布。接式(5-2)進行如下變分推導(周建強，孫澤宇，2021)。在實際的計算中p(w|X,Y)通常是計算不出的，不妨定義一個參數為θ的近似分布q(O),該近似分布應該盡可能的接近原來的p(w|X,Y),再通過最小化Kullback-Leibler(KL)散度檢驗近似分布與原分布之間的相似性，如式(5-3)假設以q8(の)作為優化的目標值，得到訓練集外的點x的輸出為：對式(5-3)進一步推導得依據上式，定義最小化目標函數為由于上式計算量巨大，不妨對上式進行轉化得上式中Sc{X,Y},是一個大小為M的隨機索引集合。5.3基于貝葉斯神經網絡的不確定性量化在算例中，繼續使用本文3.4.1中的有限元分析數據進行高精度解的不確定性量化，數據前處理過程與循環神經網絡和全連接神經網絡中數據處理過程一致。搭建的循環神經網絡結構圖如圖5-2所示。依上述分析可得出在貝葉斯神經網絡的超參數設置中，我將貝葉斯神經網絡的隱藏層數設置為一層，包含15個神經元，每個神經元的參數都服從標準正態分布，循環次數epoch取2000,激活函數為ReLU函數，損失函數為均方差函數，優化算法為概率模型庫PYRO中的Adam算法(付如圖5-3所示圖5-3貝葉斯神經網絡Adam損失函數值變化圖由于自變量有多個，取其中一個自變量(集中載荷)為橫坐標，以高精度解為縱坐標，得到訓練后的模型效果如圖5-4所示懸臂梁自由端豎直位移懸臂梁自由端豎直位移圖5-4貝葉斯神經網絡訓練效果圖如圖所示，藍色線代表訓練集中，集中載荷與懸臂梁自由端豎直方向位移之間的關系，黃色線表示集中載荷與模型預測的高精度解之間的關系，兩者擬合效果很好，損失函數值很小。將測試集數據代入果懸臂梁自由端豎直位移懸臂梁自由端豎直位移上圖中，藍色的點表示測試集中的原始高精度解，黃色的點表示通過訓練好的模型預測出的高精度解，兩者擬合良好。通過原始高精度解和預測高精度解之間的誤差來檢驗模型的精度，得到誤差為0.0061,誤差在可以接受的范圍內，模型精度良好。雖然對比全連接神經網絡和循環神經網絡，以當前的背景條件為基貝葉斯神經網絡精度要略遜一籌，但是整體的精度還在可以接受的范圍內(張志華，同樣地，上述結果是自變量，低精度解與高精度解之間的關系，采用與本文3.4.2中相同的方法，取貝葉斯神經網絡的隱藏層數為一層，隱藏層包含20個神經元，每個神經元的參數都服從標準正態分布，循環次數epoch取2000,激活函數為ReLU函數，損失函數為均方差函數，優化算法為概率模型庫PYRO中的Adam算法。經過多次調試，最終確定學習率Ir=0.03。取其中一個自變量(集中載荷)為橫坐標，以高精度解為縱坐標，得到結果如圖5-6所示懸臂梁自由端豎直位移懸臂梁自由端豎直位移上圖中藍色線代表多精度模型預測出的高精度解，黃色線表示通過自變量預測出的高精度解，兩者擬合效果良好。鑒于當前狀況看為了保證在低精度解不參與預測情況下得到的預測高精度解誤差滿足精度要求，將測試集原始數據代入自變量與高精度解的模型，得到結果如圖5-7所示如上圖所示，預測高精度解與原始高精度解誤差均值為0.0053,擬合效果良好，精度在接受范圍內。類似的可以用預測的高精度解代替原始的高精度解進行高精度解的不確定性量化。以預測出的1000個高精度解為樣本，計算得到當自變量為隨機變量時，高精度解的均值，方差，標準差，變異系數，95%置信區間如表5-1所示。根據全連接神經網絡和循環神經網絡預測結果，發現三者在各個指標上相差不大，但是循環網絡明顯擬合效果最好，看得出趨勢來各個指標與真實值的誤差也要最小。而貝葉斯神經網絡相較于全連接神經網絡，在各個指標上更加符合真實值的數字特征。所以總的來說在本文量化高精度解的問題中，循環神經網絡表現最好，其次表5-1高精度解不確定性量化結果方差(m)標準差(m)變異系數95%置信區間(m)貝葉斯神經網絡[1]謝澤楷，傅雅萍.基于深度學習和不確定性量化的數據驅動剩余壽命預測方法研究[D].中[2]王宇鵬，劉洛兮etal.Large-scaleinverseproblemsandquantificationofuncertainty[M].John[3]KeynesJM.Thegeneraltheoryofemployment,interest,andmoney[J].EconomicRecord,1964,[4]溫志強，莫宇航.故障預測與健康管理技術綜述明.電子測量與儀器學報[J].2010(1):1-9.[5]PaceNG,JensenF.Impactoflittoralenvironmentalvariabilityofacousticpredictionsandsonarperformance[J].SpringerNetherlands,2002,11(12):213-218.[6]HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,313(5786):504-507.[7]秦思遠，許君浩.高斯過程回歸在不確定性量化中的應用[D].上海交通大學，2018.ProceedingsoftheThirty-FourthConferenceonUncertaintyin[9]KlirG,YuanB.Fuzzysetsa[10]GuanJW,BellDA.Evidencetheoryanditsapplications[M][11]JaulinL.Appliedinter