金融數字韌性研究與混沌工程實踐報告I版權聲明本報告版權屬于北京金融科技產業聯盟，并受法律保護。轉載、編摘或利用其他方式使用本報告文字或觀點的，應注明來源。違反上述聲明者，將被追究相關法律責任。編制委員會編委會成員：聶麗琴張海燕編寫組成員：李博文葉強林千錦澤馮長達郭少芬楊曉華馬起龍張志強王文龍王學鵬楊鎮濤馬海明王遼松李變馬曉煦王宏剛王子健顧首成李軍華姜遼朱震宇是煊封銓賢戴森同包昊冉黨凱樂才振功方佳偉梅金東郭智慧李海斌崔傳敏潘微服編審：楊紅軍侯玲玉李泓萱黃本濤周豫齊參編單位：北京金融科技產業聯盟秘書處北京國家金融科技認證中心有限公司北京同創永益科技發展有限公司中國郵政儲蓄銀行軟件研發中心中信銀行股份有限公司軟件開發中心中國光大銀行股份有限公司中國民生銀行股份有限公司招商銀行股份有限公司廣發銀行股份有限公司網聯清算有限公司北京銀行股份有限公司四川銀行股份有限公司浙江網商銀行股份有限公司恒豐銀行股份有限公司渤海銀行股份有限公司河南省農村信用社聯合社杭州諧云科技有限公司興業數字金融服務（上海）股份有限公司螞蟻科技集團股份有限公司中電金信軟件有限公司上海道客網絡科技有限公司上海兆芯集成電路股份有限公司金融科技發展加速推進了金融數字化轉型，為金融業高質量發展注入充沛動力的同時，也要防范可能存在的風險。系統不確定性風險的加劇，會影響業務連續性，因而對金融科技發展與數字化轉型提出了更高的安全要求。數字韌性反映了信息系統在變化的環境中持續運行、持續抵御威脅與沖擊，并保持成長的能力。混沌工程作為一種系統穩定性保障手段，能夠有效提升系統的數字韌性能力，為金融業務數字化穩定發展提供重要保障。本報告從數字韌性的定義與特征出發，圍繞數字韌性體系評價與建設展開研究，闡述了混沌工程的總體思路、應用價值及行業實踐，并對發展趨勢進行展望，以期為金融機構保障信息系統穩定運行提供參考。關鍵詞：數字韌性、混沌工程、穩定性、抗干擾V 1 1 1 2 3 3 7 13 13 14 25（一）總體思路 25（二）應用價值 27（三）行業實踐 30 401一、研究背景金融行業承擔著融通資金、服務實體經濟、防范金融風險和服務大眾的重要作用，是關乎國計民生的重要領域。金融科技的快速發展改變了原有的金融業務模式，從原有的電子銀行模式向移動化、便利化和智能化方向創新發展，創造了移動支付、網絡借貸、互聯網保險等新模式。我國金融科技的發展處于全球領先水平，尤其是移動支付的交易規模、網絡借貸的用戶規模，都在全球前列。金融科技也是一種集約化的業務模式，通過打通金融機構內部系統流程，簡化業務流程，提升運營效率，降低了金融服務成本，結合大數據和運營推廣，進一步擴大了用戶范圍，創造了更多的商業價值。（二）技術背景隨著金融機構“云原生、微服務”等敏態化IT支撐規模的不斷加大，同時伴隨著業務架構復雜、交易可靠性要求高、交易鏈路長的問題，分布式系統各設施之間能否有效地匹配和交互，成為影響系統穩定運行的關鍵因素。復雜IT架構下服務交付的持續性保障面臨著巨大的挑戰，對運維平臺的建設提出了更高的要求。以往金融機構的災難恢復能力建設主要關注對重大災害性事件和重大停機事件的應對。而今，在復雜敏態架構下，造成業務中斷的根因和故障點已無法如傳統架構那樣清晰明了。由2于服務引擎化、組件化，某個故障的不及時處置，很可能造成其他業務中斷的次生災難，導致系統服務中斷的原因變得更為復雜，傳統的應急與災難恢復機制、方法和工具越來越無法滿足云原生時代對服務持續交付的要求。金融機構希望信息系統在“低頻高損”的重大災害性事件和重大停機事件中能夠獲得接續和恢復，在“高頻低損”的日常運維事件中服務水平不受到嚴重影響，同時能夠保障系統在不斷變化的環境中持續更新與成長，以適應業務發展的需要。由此，不斷有機構或組織提出數字韌性的概念，用以說明信息系統應具備的與這種要求相對應的能力。（三）政策引導金融科技與網絡信息安全風險相伴相生，隨著技術的發展與演進也會不斷引入新的風險。而應對風險最有效的途徑就是風險的管理。自1994年我國發布《中華人民共和國計算機信息系統安全保護條例》以來，我國就已經步入了網絡信息安全立法的階段，現已形成憲法、法律法規、行政部門規章、司法解釋和行業自律守則等多層面的信息安全法律體系。作為強監管的金融行業，一方面要符合國家相關法律與標準，另一方面要接受來自主管單位如中國人民銀行和國家金融監督管理總局的監管，同時還要接受公安部和工信部等其他行政部門的約束。金融行業經常參照的標準與監管要求包括《信息安全技術信息系統災難恢復規范》（GB/T20988—2007）、《銀行業信3息系統災難恢復管理規范》（JR/T0044—2008）和《商業銀行業務連續性監管指引》（銀監發〔2011〕104號）等，這些文件均與業務連續性管理與災難恢復能力建設相關，包含了對信息系統在面臨重大災害性事件時的恢復和接續運行的要求。很多金融機構也基于上述要求及組織的自身特點提出了更加細化和具備可執行性的組織內部規范。但總體上，關于數字韌性的標準和規范還處于探索階段。二、數字韌性定義與特征（一）數字韌性定義韌性（resilience又譯彈力、恢復力）指系統、組織或個體在面對不確定性、沖擊和壓力時的能力適應、抵抗和恢復的能力。作為內在隱含本質特性概念，韌性在不同社會生產力發展階段有不同認知形態。19世紀工業革命技術加速發展時期生產對于金屬材料復原力的訴求，與工程力學簡單線性相關性較強，假設系統只有一個穩定狀態，而韌性則是系統受到沖擊后回到這個穩定狀態，此稱之為工程韌性。20世紀初，生態學家集成信息論、控制論和系統論對沖擊之后的自然界生態系統自調節和自適應行為進行了研究，韌性發展到多個穩定平衡狀態的生態韌性。20世紀70年代，人類生態學領域韌性研究興起，韌性被定義為一個社會或生態系統在面對壓力、沖突、變化和不確定4性時的適應能力，包括社會組織的彈性、資源的可持續利用、災難的抵御和恢復等方面。不僅關注個體的適應能力，還著重考慮了社會系統和生態系統的整體穩定性和持續性，這個階段韌性稱之為演進韌性（evolutionresilience）。2003年SARS疫情暴發后，人們開始關注居住區域的健康安全問題，城市韌性理念逐步建立，他以城市本體為研究對象，以增強城市在承受擾動時保持自身功能不被破壞的能力為主要當韌性與組織結合時，產生了組織韌性的概念。在ISO22316:2017《Securityandresilience—Organizationalresilience—Principlesandattributes》中指出：組織韌性是指組織在變化的環境中吸收并適應的能力，從而能夠實現其目標并得以生存和繁榮。更具韌性的組織能夠預先做好準備從而對來自其內部和外部環境中的突然或逐漸的變化而產生威脅和機會。提高韌性可稱為組織的戰略目標，并且是最佳業務實踐和有效管理風險的成果。國際災難恢復協會（DRI）認為，組織韌性是業務連續性目標的擴展，是從災害事件擴展到安全事件和緊急事件，從災難恢復擴展到風險預防（安全）和應急響應。當“韌性”一詞與信息系統相結合，產生了數字韌性，目前業界尚未對“數字韌性”概念有清晰的界定，尚未產生一個被普遍接受的定義。有些情況下，可以借鑒城市韌性的理解，5認為數字韌性的屬性主要包括魯棒性（robustness）、快速性（resourcefulness），即4R屬性。Gartner認為，數字韌性是指一個組織或系統在面對各種內外部沖擊和變化時，能夠快速適應、恢復和持續運行的能力。數字韌性強的組織能夠靈活應對各種挑戰和風險，保持業務連續性和穩定性，并能夠利用技術和創新來應對變化和創造機會。數字韌性包括技術基礎設施的彈性、業務流程的靈活性、組織文化的適應性以及領導力和決策的敏捷性等方面。通過提高數字韌性，組織能夠更好地應對不確定性和變化，保持競爭優勢和可持續發展。總體上，數字韌性與組織韌性還是存在著較大的區別，組織韌性更多是從組織的業務出發，探討組織抵御沖擊與適應環境的能力，而數字韌性則更多地面向信息系統，探討信息系統在其運行與成長過程中如何能夠保證服務質量及滿足業務需求，有時也可以理解為數據中心的組織韌性。數字韌性也可以理解為對組織災難恢復能力的擴展，是從災害事件擴展到日常運維事件，從災難恢復擴展到系統穩定性建設和對運行環境變化的適應能力。為了實現持續的應用服務交付，信息系統不但面臨著業務連續性管理（BCM）中關注的重大災害性事件，同時也面臨著包括突發請求增長、資源供給不足、數據質量干擾及關聯服務可6用性等對信息系統造成的影響。我們認為：數字韌性是指信息系統在變化的環境中，持續運行，持續抵御威脅與沖擊，并保持成長的能力。數字韌性建設是建立在配置管理、服務治理、狀態感知和可觀測性、運維自動化和應急響應等基礎運維能力之上的，與持續服務交付能力相關的數據中心業務能力之一。數字韌性包含了保持自身健壯能力的穩定性、面向外部威脅的魯棒性，以及適應外部環境變化和保持學習與成長的能力，1.面向系統內部的威脅保持健壯的能力為系統的穩定性，即當系統內部出現故障時能夠維持系統運行。2.面向系統外部的威脅保持健壯的能力為系統的魯棒性，即當系統面臨外部沖擊甚至災害性事件時能夠維持系統運行。3.面向系統內部的需求變化能夠保持活力的能力為系統的7學習性，即當系統面臨來自內部的需求變化時能夠持續成長的4.面向系統外部環境變化能夠保持活力的能力為系統的環境適應性，即當系統外部運行環境發生變化時能夠快速適應的（二）數字韌性特征1.穩定性穩定運行是指信息系統能夠在系統構造與外界環境不變的情況下，當系統內部出現故障時能夠持續運行，即系統內部的異常不應造成不可接受的服務質量下降。為此，應對系統內部的薄弱環節進行識別，制定并實施相應的強化方案，并檢驗強化效果。提升系統穩定性可以從以下幾方面著手。（1）避免單點故障由于硬件設備的失效是不可避免的，系統運行環境應能夠快速發現、隔離并利用冗余能力替換失效的組件，保證組件故障不會對信息系統的服務能力造成持續的不可接受的影響。系統運行環境應避免出現系統組件單點故障點，包括計算資源組件（物理機、虛擬機或容器等）、存儲資源組件（磁盤、數據卷等）、數據中心內部網絡、客戶到數據中心的訪問通路，以及數據中心到服務供應商的訪問通路。冗余的層次可以是硬件部件級、部署組件級、服務單元級、應用系統級，甚至數據8（2）抗系統老化系統老化是指系統的效能隨時間推移逐漸降低的情況。為了系統能夠持續穩定運行，信息系統在上線前需要進行抗老化測試，檢驗系統在一定綜合運行壓力下是否會出現系統老化現象。如果系統存在老化現象，可以考慮修復相應缺陷，或采用替代的解決方法，如在系統老化尚未造成嚴重影響時重啟系統，但此時應盡量降低系統重啟對服務交付造成的影響。（3）合理的服務間依賴關系在系統設計時，就應該考慮服務間合理的依賴關系。我們通常會根據服務價值為服務定義不同的運營級別，確定不同的SLA或SLO，從而可以給高級別服務特別的關注，如制定應急預案或災難恢復預案，以降低在服務質量下降或服務中斷時的損失。因此，高級別服務的正常運行不應依賴低級別服務，或采用弱依賴的方式，在低級別服務發生故障或中斷時仍能夠保持一定的服務交付質量。（4）基于訪問壓力的彈性伸縮信息系統應能夠全面感知業務或服務訪問壓力的變化，并迅速做出資源容量調整，實現資源彈性縮放。同時對業務壓力變化進行記錄和回顧，并基于歷史數據對未來業務壓力變化做出預測或預警。2.魯棒性抗沖擊是指信息系統能夠在保持系統構造不變的情況下，9對于來自外部的干擾、沖擊，甚至嚴重的災害性事件能夠迅速感知、決策與處置，使系統能夠保持一定的服務質量或在約定的時間內恢復服務。提升系統的抗沖擊能力可以從以下幾方面著手。（1）抗干擾信息系統對外服務請求的錯誤響應或響應時間延長、短時間內的數據采集異常、下載的文件不完整、一個不守規矩的爬蟲、線路服務質量下降等情況都可以看作是對系統穩定運行的干擾。干擾通常具有突發性、短期性和難以提前預見的特點，因此，在系統設計之初，就應該分析系統可能遇到的干擾，并提前做出對應的準備，在干擾發生時采取必要的手段維持必需的服務能力，同時在干擾消失后恢復系統全面的服務能力。（2）運行防護應用系統應具備運行保護能力，能夠感知來自外部的沖擊并做出響應，從而降低外部沖擊對系統運行造成的影響。這些沖擊既包括網絡攻擊或非友好的訪問，也包括突發的合法服務訪問量劇增等場景。（3）應急響應與處置信息系統容易受到各種故障、攻擊或災害性事件的影響而導致中斷或服務水平降低，雖然通過提升系統穩運行能力、抗干擾能力，及運行防護手段應該能夠在一定程度上降低此類事件對服務交付質量的影響，但在很多情況下，一些重大事件的發生不在組織的控制能力范圍內（如電力服務、電信服務、公有云服務等），需要組織建立應對此類事件的應急響應和處置良好的應急響應與處置能力需要包括事件感知、分析決策處置執行和復原收尾等多個階段，需要全面覆蓋的應急響應預案，并由熟練的應急團隊（包括決策層和執行層）執行。預案的可執行性和有效性，以及應急團隊的熟練程度需要通過常態化的應急演練活動進行檢驗，同時需要保證包括應急響應和處置能力能夠跟隨信息系統的更新而獲得更新。（4）災難恢復如果突發性事件得不到及時的應急響應或響應未取得預期效果，事件可能轉化升級為災難，影響業務甚至引發業務中斷。同時，銀行和保險行業也對行業內組織的災難恢復能力提出了監管要求。作為保障服務持續交付的最后一道防線，組織應按照業務連續性管理能力建設方法與監管要求建立、維護和測試包含信息系統災難恢復預案在內的數據中心業務連續性計劃。3.適應性適應性是指信息系統能夠根據運行環境和部署配置的差異做出適應性調整，以便在不同的支持能力和訪問壓力下有效運行。提升應用系統的環境適應能力可以從以下幾方面著手。（1）適應業務需求變化業務需求的變化通常是應用系統升級或重構的主要原因，大規模的系統升級會對系統穩定性造成重大的影響，但業務環境的變化通常相對緩慢，組織應基于業務環境的變化做出中長期規劃，制定針對性的應用系統生命周期計劃，并按計劃完成應用系統的升級與重構。（2）適應技術環境升級組織技術架構的升級直接影響應用系統運行的技術環境，而對信息系統而言，在其長達5年以上的生命周期中，技術環境的升級或替換經常是不可避免的。在調整或更換應用系統技術環境時，需要進行替代性檢驗。檢驗不僅需要包含應用系統的功能一致性或兼容性，同時需要檢驗運維能力的適應性，包括監控與感知能力、自動化執行能力、權限管理能力、數據備份與災難恢復能力等，以及運維團隊的支持能力等。（3）合理供給資源為了系統在日常訪問高峰時段仍能夠保證一定的服務質量，需要確定系統的業務容量和服務容量，并在此基礎上規劃系統的資源組件容量，同時保留一定的裕度。可以依據資源使用率警戒水位線的值（如要求CPU利用率超過80%時進行告警）與該指標高點值的比確定合理的裕度系數。在計算指標高點值時，可以根據該指標的分布特征選擇不同的計算方法，如可以日、周、月為周期，取過去多個周期的峰值、峰值的均值、峰值的均值加標準差、峰值的較大四分位數等數據作為高點值。為了保證裕度系數處于合理的范圍內，系統需要具有擴縮容能力。為了使擴縮容操作盡量不影響服務質量，宜采用橫向擴縮容方式，并使擴縮容操作對系統運行的影響盡可能小。4.學習性學習性是指信息系統能夠保持現有的能力并持續改進，可對改進目標是否達成進行評估。提升應用系統的持續成長能力可以從以下幾方面著手。（1）問題解決閉環應用系統運行過程中的每個問題通常都會對應相應的薄弱環節，發現系統中存在的薄弱環節并進行有效改進是提升系統數字韌性的重要工作。在事故發生時需要進行根因分析，發現系統中存在的薄弱環節，并基于問題緊迫性制定和實施針對性的解決方案，并對解決方案的有效性進行評估。（2）組織知識與能力組織應建立高效的流程與崗位體系，對崗位的能力需求做出明確規定，匹配滿足要求的人員。組織應根據崗位技能需求進行員工培訓，保證崗位技能的完整性。（3）組織文化組織應建立鼓勵發現并解決問題的組織文化。應用系統中存在的薄弱環節不會自行消失，只有不斷地發現并解決系統中存在的薄弱環節才能使系統不斷強壯。（4）評估與改進對于組織的核心或重要日常活動，建議建立標準過程和對應的控制指標，并基于歷史數據建立過程性能基線。在過程改進實施前后，基于過程性能基線進行過程改進效果的評估。三、數字韌性評價與建設（一）數字韌性評價數字韌性評價是對組織數字韌性建設與改進成果的評估與總結。可以基于數字韌性的各項特征進行綜合性的整體評價。在進行數字韌性評價時，可關注以下幾點。一是在穩定運行與抗沖擊方面，在關注實踐成果的同時，更要注重信息系統的管理過程。如在避免單點故障方面，不僅要檢查系統中是否存在明顯的單點故障點，更應該關注組織是否制定了關于避免單點故障點的相關規范或制度，以及規范或制度的制定過程。二是在持續成長方面，在關注管理過程的同時，更要注重管理活動的結果。對于問題解決閉環，不僅要檢查各項活動的記錄，更應關注通過問題閉環，數字韌性在哪些方面得到了提三是在適應環境方面，建議關注組織如何治理信息系統的內外部生態環境。內部生態環境是指信息系統實際的運行環境；外部生態環境是指基于組織戰略構建的應用系統可能的運行環境。組織信息技術治理策略應能夠為信息系統內部運行環境的變化，做出規劃，提供指導與資源，并進行評價。四是在評估與改進方面，建議將數字韌性改進的目標與組織業務目標掛鉤，從組織業務目標出發，提出對數字韌性改進的要求，并將改進要求進一步分解為針對特定改進對象的可執行和測量的具體改進目標。在評估過程中，建議利用統計分析方法對改進的結果進行量化評估。（二）數字韌性建設1.建設過程數字韌性的建設可以參考以下過程，該過程可循環反復執行，從而使信息系統數字韌性得到有效提升。（1）確定改進目標數字韌性是組織的業務能力之一，因此，數字韌性的建設和改進目標可以與組織的業務目標相關聯。同時，確定目標應遵循SMART原則。如：將渠道系統的MTTR從當前的2小時縮短到1小時。（2）分解改進目標改進目標有時是大而籠統的，此時需要將改進目標分解成多個對其有直接影響的小目標，并使每個小目標之間保持獨立。分解方式可以是加模式（橫向分解，大目標是小目標的和）或乘模式（縱向分解，大目標是小目標的積）。如：將MTTR按加模式分解為發現時間、定位時間、決策時間、修復時間和檢驗時間等多個時間段。（3）評估影響因素針對每個分解后的小目標，通過風險分析手段確定影響其優劣的關鍵因素，并對分解后的結果建立數據基線和對小目標影響的模型。如：通過分析歷史數據說明現場運維團隊領導的技術背景與工作年限對故障定位時間有較大影響。（4）選擇適當的影響因素作為改進對象基于改進的顯著程度、改進難度、改進風險和改進成本等因素，對上述一系列影響因素進行評估與排序，選擇最有利的如：基于改進對象分析，決定提升現場運維團隊領導的能力，從而將定位時間從30分鐘縮短到15分鐘；決定制定針對性應急預案和自動化執行能力，將XX故障場景的修復時間從1小時縮短到20分鐘；決定調整監控系統設置，建立專用的監控指標，使故障發現時間從10分鐘縮短到5分鐘，從而使MTTR（5）制定改進方案并執行改進根據各項改進因素，執行改進方案和改進計劃，并執行改進。應盡量避免改進的變更過程對系統穩定運行構成威脅。（6）評估改進效果收集改進后的運行數據，并進行改進是否有效的檢驗。2.面臨挑戰信息系統數字韌性建設是組織服務持續運行能力的全面提升，面對金融行業越來越高的數字韌性要求，現有的生產運維管理體系正在面臨挑戰。（1）IT服務管理能力信息系統數字韌性建設涉及高可用性建設、業務連續性建設、容量管理、服務水平管理、應用開發與發布、技術架構治理、組織過程資產管理以及持續改進等多方面的內容，相關的管理流程需要協同運作，提高流程效率，以提升數字韌性管理（2）專業化團隊建設為了保障系統持續運行，服務管理團隊不僅要處理各種異常事件，而且應該利用提升數字韌性的基本方法，從確定改進目標出發，尋找對信息系統持續運行與成長影響較大的各種因素，并按照優先級順序執行改進方案，并對改進的結果進行評價。具體到各運維崗位，每個崗位都應該明確自己在保障系統數據韌性方面責任與貢獻，對各項活動與崗位效能提出改進建（3）組織文化建設系統中的故障是不可避免的，我們應該面對的問題不僅僅是如何降低故障發生的可能性，更重要的問題是如何避免故障對信息系統連續運行的影響。因此，從團隊文化上，在建立危機意識的同時，對非責任故障或事件應該采用相對包容的態度，而要對發現并改進系統中存在的薄弱環節提供最大的支持。即使對于責任事件，也不應該僅僅是處理了事，還要挖掘導致事件的根本原因，力求彌補制度上的缺陷，或降低人為因素造成（4）運維管理工具信息系統數字韌性的提升作為組織管理層的目標嚴重依賴執行層的信息與數據，以及變更與執行能力。典型的傳統運維工具，如配置管理類系統、監控告警類系統、作業自動化執行類系統都能夠為數字韌性的提升提供最基本的支持。以監控告警類系統為例，網絡管理、網元監控是基礎，應用性能管理（APM）與網絡性能管理（NPM）工具能夠為數字韌性管理提供更直接的與業務相關的信息。3.提升策略數字韌性的建設涉及從治理層到執行層，從規劃設計到運維保障，從事件降低風險，事后快速恢復等多條線、多維度的能力建設，不是通過一兩個信息系統建設或咨詢項目就可以解決的問題。總體上，可以從組織能力優化與提升、管理覆蓋與能力提升、技術改進與優化，以及借助信息化系統提供數字驅動幾個維度考慮。（1）組織優化組織優化是提升數字韌性的重要手段之一。在數字化時代，企業需要不斷調整和優化組織結構、流程和文化，以適應不斷變化的環境和市場需求。組織應建立鼓勵發現并解決問題的組織文化，建設敏捷組織和韌性建設團隊，一方面高效利用現有技術主動發現和彌補系統薄弱環節，另一方面快速捕捉市場信息、技術動態，并及時作出應對，以保證韌性建設的持續成長。應用系統中存在的薄弱環節不會自行消失，只有不斷發現并解決系統中存在的薄弱環節才能使系統不斷強壯。組織優化可以增強企業的靈活性、響應能力和適應性，從而提高數字韌性，確保企業在面對各種挑戰時能夠保持穩健的運行和持續的創新。以下是通過組織優化提升數字韌性的幾種方式。培養數字化人才。金融機構需要重視人才培養，培養具備數字技術能力的員工。這可能涉及招聘具備數字化背景的人才、提供培訓和發展機會，以及建立激勵機制來吸引和保留數字化人才。設立數字化部門或團隊。金融機構可以設立專門的數字化部門或團隊，負責推動數字化轉型和韌性建設。該部門或團隊可以負責技術動態獲取、對外技術研討交流、行業標準參編、制定數字化戰略、推動數字化項目、協調各部門之間的合作，以及監督數字化韌性的實施。強化數字化領導層。數字化韌性的成功需要有強有力的領導層支持和推動。組織應該培養具備數字化思維和技術洞察力的領導人，他們能夠理解數字化趨勢、推動變革、制定戰略，并將數字化韌性納入組織的核心價值觀和決策過程中。優化組織結構。金融機構可以優化其結構和流程，以適應數字化轉型和韌性要求。這可能包括簡化決策層級、加強部門間的協作和溝通、促進快速決策和靈活性，并推動創新和學習建立跨部門協作機制。金融機構應該鼓勵各部門之間的協作和知識共享，特別是在數字化領域。建立跨部門的協作機制可以促進信息流動、加快決策速度，同時也可以減少重復工作和資源浪費，提高數字韌性。強化數據治理能力。數字化轉型離不開高效的數據管理和治理。組織應該建立健全的數據治理框架，包括數據質量控制、數據隱私保護、合規性管理等。同時，組織還應該培養數據驅動的文化，鼓勵員工在決策和創新中充分利用數據。推動創新文化。金融機構需要鼓勵創新文化，鼓勵員工提出新想法和解決方案。這可能包括建立創新實驗室或團隊，提供資源和支持，以及獎勵創新成果。加強監管合規。數字化金融機構應該遵守適用的法規和監管要求，并建立健全的合規框架。這有助于保護客戶數據和資產安全，降低合規風險。（2）管理提升上述活動僅憑個人意愿與自覺無法實現長期和有效的執行，應通過制定組織的制度和規范實現行為與活動的固化，配合相關考核與質量控制活動實現過程質量的整體提升。相關的制度20框架包括如下方面。風險管理框架。建立完善的風險管理框架，包括風險識別、評估、監測和控制等環節。制定明確的風險政策和程序，確保風險的及時識別和評估，并采取適當的控制和防范措施。建立風險監測和預警機制，及時發現和應對潛在的風險和漏洞。利用數據分析、人工智能和機器學習等技術手段，實時監測業務運行情況，預測和預警可能的風險事件。業務連續性框架。制定業務連續性策略并建設應用系統的災難恢復能力，進而確定業務連續性預案，包括應急響應、災難恢復和業務恢復等方面。確保在突發事件或系統故障發生時，能夠迅速恢復業務，并保障關鍵系統和服務的可用性。安全與合規管理框架。建立健全的安全和合規管理制度，確保符合相關法律法規和行業標準。包括數據保護、隱私保護、信息安全管理、合規風控等方面，確保數字資產和客戶信息的安全和保密。內部控制和審計框架。建立有效的內部控制制度，確保業務流程和系統操作的合規性和規范性。開展定期的內部審計和風險評估，發現和糾正潛在的風險和問題，并持續改進控制措培訓和意識培養框架。加強員工的培訓和意識提升，包括安全意識、風險意識和應急響應等方面。確保員工具備必要的知識和技能，能夠正確應對和處理各種風險和安全事件。21過程性能與質量改進框架。持續優化和改進制度和流程，提高業務效率和反應速度。通過引入自動化和數字化工具，簡化流程，減少人為錯誤和延誤，提高業務操作的準確性和效率。敏捷開發管理框架。可以采用敏捷方法和快速迭代式開發的方式推進數字化項目和創新。這種方法可以快速驗證假設、快速響應變化、持續改進和學習，并減少項目失敗的風險。供應鏈管理框架。數字韌性的提升需要考慮到整個供應鏈的可靠性和彈性。組織應該加強與關鍵供應商和合作伙伴的合作，建立互信和密切的關系。這包括共享信息、制定緊急響應計劃、評估供應鏈風險，并與供應商進行定期的風險評估和監控。此外，組織還可以考慮多元化供應鏈，降低對單一供應商的依賴，以減少潛在的風險。（3）技術優化提升和保障應用系統的數字韌性不僅是運維團隊的任務，而是需要從系統建設之初，就將數字韌性作為系統設計需求明確提出，并通過設計、開發、部署以及運行期間的監控與異常響應進行充分的支持與保障。除了應用系統本身的非功能性需求設計、安全防護，建議補充保障應用系統運行穩定、抗沖擊相關的運維支撐工具建設建議，例如資源管理、監控管理、風險管理、知識管理、操作執行、流程管理、安全管理、智能分在技術層面，為了提高應用系統的數字韌性，建議全面考22慮以下重點問題。冗余設計。金融機構應該采取數據冗余、網絡冗余、系統冗余、電力冗余、應用程序冗余、人員冗余等多種冗余設計方法，減少單點故障和系統中斷風險，提高數字系統和服務的可靠性和韌性，保證業務的連續性和用戶的滿意度。無狀態設計。通過無狀態設計可以提高金融數字韌性，增加系統的可伸縮性和可靠性。無狀態設計是指系統的狀態不依賴于特定的請求或會話，每個請求都是獨立的，可以被任何可用的服務器處理；常用的無狀態設計方法包括：無狀態應用服務器、分布式緩存、消息隊列和事件驅動等分布式架構。采用分布式架構，將系統的不同組件和服務分散在多個節點或服務器上。每個節點都是相對獨立的，有自己的計算和存儲能力。這樣當一個節點發生故障時，其他節點仍然可以繼續提供服務，避免系統整體崩潰。容器化和微服務。將系統拆分為多個小型、獨立的容器或微服務。每個容器或微服務都有自己的功能和責任，可以獨立部署和擴展。當一個容器或微服務發生故障時，只會影響到該容器或微服務，而不會影響到整個系統的運行。彈性負載均衡。使用彈性負載均衡器，將流量均勻分配到多個服務器或容器中。當一個服務器或容器發生故障時，流量會自動被重新分配到其他正常工作的服務器或容器上，確保服務的連續性和可用性。23多區域部署。將系統的不同組件和服務部署在不同的地理區域或數據中心。這樣當一個區域或數據中心發生故障時，其他區域或數據中心仍然可以提供服務，確保業務的連續性和數據的可用性。強化網絡安全防護。金融機構應該采取嚴格的網絡安全措施來保護其數字資產和客戶數據。這包括實施強大的防火墻、入侵檢測和防御系統，加密敏感數據，定期進行安全漏洞掃描和滲透測試，以及建立緊急響應計劃和災備恢復機制。采用云計算和虛擬化技術。云計算和虛擬化技術可以提高金融機構的靈活性和可伸縮性，使其能夠根據需要快速調整資源和應用程序。采用云服務可以提供高可用性、備份和容災能力，并減少對本地基礎設施的依賴。應用大數據和人工智能。金融機構可以利用大數據分析和人工智能技術來獲取更深入的洞察和預測，從而更好地識別風險、優化決策和提供個性化的金融服務。大數據和人工智能可以幫助機構快速處理大量數據、發現隱藏的關聯和模式，并自動化一些繁瑣的任務。建立強大的數據備份和恢復機制。金融機構應該建立可靠的數據備份和恢復機制，以防止數據丟失和業務中斷。這包括定期備份數據、建立離線備份、實施災備恢復計劃，并進行測試和驗證以確保其有效性。進行安全風險評估和漏洞管理。金融機構應該定期進行安24全風險評估和漏洞管理，以及及時修補已發現的漏洞。這包括實施漏洞掃描和漏洞管理工具，進行安全漏洞修補和補丁更新，持續監測和評估系統和應用程序的安全性，以及及時采取措施來糾正和加強安全措施。（4）數字驅動數字韌性建設是建立在配置管理、服務治理、狀態感知和可觀測性、運維自動化和應急響應等基礎運維能力之上的，與持續服務交付能力相關的數據中心業務能力之一。因此，應用系統數字韌性的建設涉及了P（組織）、P（流程）、T（工具）的建設。在數字化轉型的趨勢下，應用系統數字韌性的建設，還可通過進一步挖掘在P、P、T建設過程中產生的運維數據的價值，激發運維數據動能，發揮運維數據的核心要素作用，以數據驅動應用系統數字韌性的提升。以下是實現數據驅動應用系統數字韌性建設的實施建議。一是建設運維大數據平臺，打造運維數據底座，提供算力基礎與數據支撐。運維大數據平臺具備海量結構化、非結構化運維數據的實時與批量接入、加工、整合能力，并制定相關的運維數據架構和標準，支持開展應用系統數字韌性評價指標的二是定義運維主數據，規范運維主數據在運維支撐工具體系中的消費應用。將運維主數據貫穿于運維支撐工具，為運維支撐工具的數據融通及聯動對接提供權威準確的“共同語言”，25實現運維支撐工具的數據融通與高效聯動。三是深化數據洞察，激發數字動能。深挖運維數據價值，通過運維對象、運維能力及員工效能三個方面的深入洞察，例如，應用系統設計態、部署態、運行態、價值態洞察，運行風險洞察，服務成熟度洞察，故障應急能力洞察，員工效能洞察等，為應用系統數字韌性的能力提升提供數據支撐，助力應用系統數字韌性的持續改進。四、混沌工程應用實踐面向系統數字韌性提出的各種要求，傳統的系統測試已經難以滿足要求，日益復雜的IT系統與快速迭代的軟件交付為系統穩定性的保障帶來諸多挑戰和不確定性，為了讓云基礎設施更好地適應復雜多變的運行環境，持續提供超大規模、超高穩Engineering）”思想應運而生。作為一門新興的技術學科，混沌工程的初衷是通過實驗性的方法建立復雜分布式系統能夠在生產中抵御突發事件能力的信心。混沌工程通過主動向系統中引入軟件或者硬件的異常狀態（擾動），制造故障場景并根據系統在各種壓力下的行為表現確定優化策略的一種系統穩定性和抗干擾能力的保障手段。應用混沌工程可以對系統抵抗擾動并保持正常運作的能力進行校驗和評估，提前識別未知隱患并進行修復，進而保障系統更26好地抵御生產環境中的失控條件，提升應用系統整體數字韌性。混沌工程作為探究系統缺陷或薄弱環節的手段，使得軟件開發與運維人員在與系統缺陷的斗爭過程中掌握主動權，很好地彌補了數字韌性保障措施中的短板。如圖2所示，執行混沌工程實驗通常包括以下4個步驟。一是定義并測量系統的“穩定狀態”。即精確定義指標，描述應用系統應該有的方式運行，包括正常運行狀態和對異常情況的正常響應。有時，業務指標可能比技術指標更適合衡量用戶體驗或運營狀態。二是模擬現實世界中可能發生的事件。通常會選擇模擬可能導致系統不可用或導致其性能降低的場景。在選擇場景時，可以優先考慮各種管理規范中要求應有應對能力的場景，或曾經發生過的故障場景，或選擇出現幾率高，造成影響大的潛在場景，同時需要考慮的是關聯系統受到的影響。27三是創建假設。即描述上述異常場景或擾動出現時，應用系統穩定狀態指標應有的實際表現，如在檢驗系統穩定運行能力時，可以假設“在XX情況下，YY事件不會對應用系統ZZ指標的影響不超過n%”，其中n%可以認為是最大的影響承受能力，當ZZ指標的變化超過n%時，就認為YY事件對系統的運行產生四是通過實驗證明或證偽假設。收集故障注入前后穩態指標的數據并進行比較，如果發現假設被證實，則說明在這種場景下，系統的穩定性或抗干擾能力能夠得到保障；否則，就需要尋找造成不良影響的根本原因并制定和實施有效的改進方案。在實際應用中，在改進活動的前后都可以應用混沌工程。在改進活動之前，可以利用混沌工程檢驗分析的結果是否正確，發現系統中存在的薄弱環節；在執行改進之后，可以檢驗改進活動是否取得預期效果。（二）應用價值站點可靠性工程（SiteReliabilityEngineering，SRE）被認為是指導網站系統穩定性得到保障和落地的最佳實踐方案，源自Google及國外先進互聯網企業的實踐，以及在其實踐基礎上提煉出來的寶貴經驗，并得到了業界很多企業的嘗試和應用，且都取得了很不錯的效果。Mikey金字塔由美國數字服務公司的MikeyDickerson設計（如圖3所示），這個七層金字塔以溝通為核心貫穿始終，28自下而上分為監控、事故響應、事后回顧、測試與發布、容量規劃、構建工具、用戶體驗七層，每一層都建立在前一層的基礎之上。七個層次被溝通所包圍，因為每一層都需要溝通才能成功。納特·韋爾奇在其著作《SRE生存指南：系統中斷響應與正常運行時間最大化》一書中，利用Mikey金字塔說明SRE的各項活動。對于Mikey金字塔中的多個層次，均可以利用混沌工程進行檢驗。1.監控效能檢驗支持監控能力建設監控系統運行狀態永遠是運維活動的核心工作之一，監控能力與指標的覆蓋范圍直接影響系統異常或故障的發現與定位能力。可以將混沌工程作為檢驗監控系統效能的重要手段，通29過控制故障注入的強度和范圍發現監控能力方面的不足與缺陷。2.應急體系檢驗支持事故響應事故響應是建立于監控告警能力之上的，通過混沌工程的故障注入不但可以檢驗告警配置的合理性和有效性，同時能夠檢驗運維團隊的應急響應能力與應急處置能力。3.問題閉環檢驗支持事后回顧事后回顧，也就是根因分析，是一種系統性識別造成不可接受影響的根本原因的工作。通常，我們認為故障是不可避免的，但是通過合理的設計和實施，故障不應造成不可接受的影響；反之，如果出現了不可接受的影響，則應該尋找造成影響的根本原因，或系統中存在的薄弱環節，并加以強化。4.上線門禁檢驗支持測試與發布在新建或經歷重大變更后的應用系統上線環節中，通常會建議對已經部署完成但尚未承載業務的系統進行應用服務訪問測試，業務壓力測試，系統安全性測試，應急與災備切換流程測試等，一般稱為應用系統上線門禁檢驗。為了提升應用系統上線質量，豐富和完善應用上線質量門禁的內容，可利用混沌工程方式對目標系統的合規性進行針對性的測試，以確定部署后的應用系統能夠滿足業務需求，主要測試方向為系統穩定運行能力和抗干擾能力。5.模擬壓測檢驗支持容量規劃合理的資源容量是服務性能的保障，運維團隊經常通過壓30力測試來檢驗應用系統的性能是否滿足要求，以及后備資源容量是否能夠應對突發性訪問壓力變化。利用混沌工程平臺具備的產生背景訪問流量的能力可以協助進行壓力測試，或者驗證應用正常運行（承載正常訪問流量）時所需資源的臨界值。6.非功能性檢驗支持系統開發在應用系統開發階段，對非功能性測試的重視程度通常不及功能性測試，一個重要的原因是非功能性測試通常對測試環境的要求較高，利用混沌工程可以對穩定性、擴展性、彈性縮放部署等非功能性需求是否能夠實現進行檢驗。（三）行業實踐1.中國郵政儲蓄銀行股份有限公司為應對分布式系統帶來的挑戰，提升系統韌性，郵儲銀行對近兩年生產故障場景進行了分析，發現多類故障可探索使用混沌工程技術進行模擬，以達到仿真故障場景、推動系統穩定性建設的目標。在第三方問題、JVM內存問題、內部依賴問題等方面，混沌工程均有著對應的技術手段進行模擬，力爭使用技術手段拓寬技術測試的廣度與深度。將生產故障的業務場景提前在測試環境模擬演練，開發運維人員在應對系統缺陷/生產故障的斗爭中，由被動“撲火”變為主動防范，提升解決問題的效率和信心。現代開發體系需要多部門多人溝通協作，增加了溝通成本和引入缺陷的概率，在郵儲銀行敏捷研發模式逐年提升的背景31下，開發效率提升時，也導致一些特定時間或者一定條件下才能觸發的問題難以復現。而混沌工程可以通過預期內防范和預期外實驗的結合，從冗余設計、無狀態設計、故障隔離、過載保護、有損服務、去關鍵路徑/關鍵節點、負載均衡等方面實踐，進行系統架構優化，提升系統韌性。郵儲銀行在混沌工程主要研究內容包括混沌工程能力構建需求、混沌工程測試平臺架構組成及開發建設、混沌工程在DevOps下的實踐體系、智能技術推動混沌工程的實踐自動化，包括背景調研、需求收集、平臺建設、試點推廣四個階段。同時橫向經歷三個歷程，實現混沌工程從無到有、從獨立的平臺建設到混沌工程測試體系建設，直到提供應用系統穩定性綜合整體解決方案的強大混沌工程能力支撐，如圖4所示。第一歷程是混沌工程測試平臺建設和項目試點實踐。搭建32敏捷模式下的混沌工程技術測試平臺，滿足行內技術測試實施平臺化、自動化需求，打破人工操作測試用例的局限性，解決發展成本高等難題。在個人新核心、對公新核心等重要項目落地實踐。第二歷程從測試領域產品過渡到混沌工程測試體系的建設。混沌工程實驗平臺的基本結構，常規的用戶權限配置，任務調度、監控告警、故障庫、故障注入的動作執行等模塊。基于行內現有的各項平臺結構，依據DevOps的持續測試能力要求，整合性能壓測、監控告警、智能分析、災備切換、故障模擬等平臺形成匹配行內特色的敏捷模式下的混沌工程技術測試平臺結第三歷程提供應用系統穩定性綜合整體解決方案。在專家案例庫基礎上，故障演練平臺根據被測試系統的技術架構特點，實現案例生成智能化、案例執行智能化。針對金融業務特點、云原生分布式系統技術現狀，基于混沌工程測試體系，以紅藍對抗等實戰演練方式，把系統薄弱點和瓶頸點納入檢查環節中，做到提前發現問題、解決問題、檢查系統的應急保障，有效保障業務連續性、提升故障自愈能力。混沌工程在技術測試的探索研究與應用解決了傳統技術測試故障模擬手段有限、技術功能測試手動實施的困境，且打破了無一體化技術測試平臺的壁壘，促進了技術測試水平的整體提升、測試資產的積累、測試實施的連續性和自動化，保障了33分布式系統的高可用性與穩定性，但是平臺的完備程度與技術細節仍需持續優化。未來，郵儲銀行將通過引入AI能力、持續完善混沌場景、接入更多技術組件完善故障注入能力等方面不斷提升混沌平臺的能力，以滿足云原生環境中復雜業務、復雜架構的綜合治理。2.中國民生銀行股份有限公司當下，各家銀行在IT系統架構轉型的同時，都還面臨著運行安全保障的巨大壓力。一般來講，銀行IT部門在基礎資源高可用、機房災備建設方面都已經比較成熟，有相對完善的應急預案和定期演練機制。然而在實際生產運行過程中，應用級別的生產故障時有發生，對業務連續性和生產安全同樣威脅較大。限于金融業務的安全級別及合規要求，難以在生產環境中針對此類故障場景進行應急處置演練，應急預案無法執行，處置措施的有效性無法驗證。銀行同業一般采取桌演或者仿真環境演練的方式，提高組織應對應用級故障的能力。混沌工具在模擬應用級故障方面具有天然優勢，可以成為應急演練的重要支撐工具。民生銀行近幾年持續跟蹤混沌工具的發展和應用情況，并于近期制定了通過混沌工具提升應急演練能力的工作規劃。在調研分析和試點實踐中我們發現，雖然混沌工具在公有云環境使用非常方便，但要適配銀行內部的系統環境、權限管34理要求、監測配套，仍然有較大難度。為此，民生銀行將工作范圍框定在如下兩個方面。一是在行內的應急演練體系基礎上，擴展故障演練能力，包括故障模擬、監控通知、應急處置等，以提升應急演練的真二是為行內已有的管理和工具體系增加配套功能，以支持故障演練的準備、實施和觀測。3.北京銀行股份有限公司為推進數字化轉型戰略，北京銀行于2021年1月正式推出基于云原生應用技術架構體系，業界主流微服務、分布式架構設計的統一開發平臺——順天技術平臺。順天技術平臺屬于云原生框架體系的自研技術平臺，本身健壯性、可靠性需要在已有測試方法基礎上增加專項測試環節，微服務架構和組件需要外部測評檢驗綜合能力，提出優化方案，驗證平臺下限的抗擊打能力，提升平臺上限的服務治理水平。同時，順天技術平臺應用規模化推廣過程中，新建系統基于順天平臺開發和部署。因此，容器云平臺自身穩定性和故障應對能力影響深遠，必須進行專項的故障模擬驗證，符合國家信息安全等級保護要求；針對可信安全基礎設施的兼容性、高可用、故障恢復能力（MTTR）需要進行測試驗證。2021年8月至11月，圍繞順天技術平臺的容器云和微服務組件，結合生產環境IaaS基礎設施冗余切換經驗，輔以云原35生可觀測性基礎能力，以分布式核心系統、新柜員系統為試點驗證了混沌工程在應用場景化領域的拓展效果，通過混沌工程測試了行內統一開發平臺的健壯性，驗證并提升平臺服務能力，保證順天技術平臺按照計劃開展業務推廣。因此行內計劃建設本地化混沌工程測試平臺。2022年7月至11月，開展混沌工程一期建設項目，建設混沌工程平臺，構建故障模擬演練場景庫，形成針對微服務、分布式架構的高可用能力矩陣。完成一套體系化的混沌工程平臺建設，其中包括基礎設施納管、故障場景、介質管控、場景庫管理、演練計劃、實驗流程、實驗防護、實驗觀測、實驗報Kubernetes、物理設備、虛擬主機類型的原子故障，具備自定義方式快速組合、擴展原子故障，形成故障庫，創建混沌實驗時可根據實驗環境的類型自動匹配可選的原子故障。提供了場景庫模式，提供最為不同類型原子故障的組合編排，串聯、并行組裝執行故障注入測試；創建后的場景庫可在各類環境、系統、項目測試案例中多次使用。指標庫提供多層次多角度的系統監測和指標策略配置功能，實驗選擇故障原子后自動匹配相應的觀測指標，實時觀測指標變化，為實驗結果提供參考。支持對爆炸半徑進行控制，對演練環境快速進行恢復，同時支持一鍵終止和暫停的手動保護機制及基于指標、告警的智能終止等功能來保障演練安全性。提供多種故障注入啟動策略，包括36手動執行、按計劃執行以及隨機執行；實驗過程中，可隨時手動暫停實驗、恢復環境或終止故障注入，還提供基于指標和告警的智能終止控制。基于工作流的場景編排，支持故障并行、串行；支持實驗計劃的手動執行、定時及周期執行、隨機自動執行的流程定義；演練過程靈活可控，可隨時終止演練。基于項目對混沌工程實驗、實驗記錄及實驗基線進行分類劃分，測試人員可以更專注于針對項目下的服務、資源和應用進行實驗，有針對性地創建專屬于某個項目的混沌工程實驗計劃，同時有效避免實驗資源及對象的沖突。提供排期功能，解決因實驗資源沖突而導致實驗無法正常進行，或實驗結果不準確的情況，根據資源進行實驗排期，合理利用有效資源開展混沌實驗。實驗結果顯示實驗編排情況、指標概覽、實驗事件；展示實驗是否成功，可根據指標情況分析該故障是否產生較大影響；自動根據實驗結果提供實驗報告，可編輯可導出；實驗流程的開始時間、結束時間、歷時、執行情況；實驗流程中各階段性能表現和實驗趨勢圖。自平臺上線運行以來，開展混沌實驗1000余次，執行重點項目15個，發現典型缺陷上百條，推廣過程中總結提煉20類原子注入故障和100個故障因子。相較于手工注入故障，利用混沌工程平臺自動化注入故障，實現測試過程降本增效。同時，混沌工程與開發、測試、運維、業務等體系相結合，為業務連續性提供技術保證。37未來，北京銀行信息科技立足穩字當頭、穩中求進的總方針，將在金融科技創新的穩定性建設方面投產更大投入、更強