中國?商銀?軟件開發中?摘編或利?其它?式使?本??書?字或者觀點的，應注明“來源:中國?商銀?軟件開發中?”。違反上述聲明者，我們將追究其相關法律責任。第?章概述 2 3 4第?章分布式體系發展現狀 5 5 5 第三章分布式體系應?案例 (?)全?位滿?及適應銀?復雜場景的需求 第四章總結與展望 1分布式技術系統是?種建?在?絡之上的軟件系統，其特點是多臺計算機通過?絡連接，協同?作以完成特定的任務。每個節點?度?治，??感知不到數據的分布，感覺像是在使??個統?的系統。分布式技術體系的發展?共可分為以下四個階段。1、原始分布式時代（20世紀70年代末到80年代初）：這個時期的特點是計算能??常有限，科學家們通過多臺計算機協同?作來完成復雜的任務，奠定了分布式計算的基礎。這個時期的探索出現了遠程調?（RPC）和分布式?件系統的雛形。2、分布式計算的興起（20世紀90年代）：隨著技術的進步，分布式計算開始興起，特別是分布式渲染和?向服務的架構（SOA）的提出和應?，使得分布式系統在處理?規模計算任務時更加?效和靈活。3、微服務架構的時代（2005年以后）：微服務架構的崛起進?步推動了分布式技術的發展，使得系統更加模塊化，易于管理和擴展。4、云計算和虛擬化技術的發展（21世紀初?今）：隨著云計算和虛擬化技術的發展，分布式系統進?步發展，形成了資源池和彈性調度的云計算模式和云原?架構。以微服務為核?的分布式技術在產業界已基本發展成熟。在分布式技術架構建設過程中，基于以微服務為核?的開放式架構，不斷拓展周邊?態，利?微服務實現應?的分層解耦，通過分布式數據庫實現開放平臺數據的彈性布局，利?緩存提升?頻數據的處理能?，引?分布式事務解決跨平臺、跨應?的事務最終?致性問題。隨著微服務、軟負載、事務、消息、批量、緩存、數據庫、對象存儲、?件存儲等能?的建設，分布式系統的?撐場景及運?能?持續提升，并同步形成了與分布式架構相匹配的研發及運維?撐能?。根據對業界分布式技術產品的綜合分析，分布式架構技術能?圖譜如圖1所?。Dubbo起步早、是最受歡迎的微服務框架，SpringCloud也是主流選型之?；分布式事務多采??研，但模型以TCC、SAGA及可靠消息為主；軟負載??，HAProxy及Nginx能?各有千秋；Kafka與Redis處于消息和緩存領域的統治地位；原?分布式數據庫應?較少，基于Mysql+分布式訪問層是數據布局選型的主流技術?案；Springboot憑借簡化研發成為開發框架的標配；Apollo、ELK、Zipkin等是配置及監控的典型選擇；熔斷限流??Hystrix和Sentinel均有嘗試；??等少數銀?已基于Chaosblade開展混沌?程實踐。3微服務架構推動應?從傳統單體式向分布式轉型，實現了應?系統的解耦，但同時也?臨著需要?持多種語?中間件，客?端版本升級困難等問題。因此產業界逐步從軟件層?獨?應對微服務架構問題，發展到軟、硬?體，合?應對微服務架構問題。如ServiceMesh（服務?格）架構的理念，通過技術平臺的基礎設施化改造，將分布式能?逐步下沉到硬件層，實現與應?解耦，簡化應?開發過程，提供應?更?的技術選型靈活度。如云原?應?運?時架構，通過集成SDK內核，統?交互協議及對外API，實現能?的抽象，使分布式能?進?步下沉?基礎設施。載、事務、消息、批量、緩存、數據庫、對象存儲、?件存儲等九?運??撐平臺，實現公共技術能?的集約建設與運營。??軟負載均衡由四層負載節點（LVS/DP）和七層負載節點（Haproxy/Nginx）、管控平臺?個部分組成，具備?可?、可擴展、動態5級，經歷了多次“紀念幣預約”“雙??快捷?付”的?產?并發考驗，滿?了“雙??”萬級TPS處理需求。??分布式服務采??性能RPC調?模式，為應?提供了?性能、靈已落地超2萬個服務，?均調?量260億次。??分布式事務提供SAGA、TCC、可靠消息等事務解決?案，具備多級事務失敗處理機制，并提供事后的?站式運維管理能?，?持應?側部署和集中部署兩種?式。7服務化改造及主機下平臺過程中的跨服務、跨應?交易的事務最終?致性提供保障，平臺?均?撐業務調?量數億次。??分布式消息平臺基于業界主流消息引擎Kafka建設，為分布式系統內部以及系統間異步解耦、消息通知、流量削峰、數據共享等場景提供解決?案，并具備節點安裝部署、監控告警、?平擴縮容等完善的?動化消息平臺服務于??百余個應?，?均消息量千億級，TPS百萬級，具備毫秒級消息傳遞能?。??分布式數據庫采?分布式數據訪問層+MySQL+?研運維管理平臺搭建模式，?規模實施云化部署，具備?鍵式快速供給能?。并在云化部署基礎上，同步建設性能容量、健康檢查等豐富的速擴展、數據備份/災備、安全審計等企業級?撐能?，具備?動化運維能分布式數據庫在在同業率先實現MySQL數據庫?規模云化服務，數據庫節點數量達到數千個，應?于多個重點業務場景，?撐雙??、春節業務?峰萬級TPS。??分布式緩存平臺，基于Redis定制化擴展提升服務性能，降低數據庫讀寫壓?等場景，具備?性能、動態擴展、?可?、易?性四?特性。9平臺?泛應?于?結算賬?、電?銀?等業務場景，已在紀念幣、融e?均交易量達?億級。??分布式批量平臺完全?研，主要?于集中式批量業務分布式轉型后，不能與分布式應?有效適配，存在單點故障、性能容量上限的問題。平臺通過數據分?、作業編排、?動調度等功能提升批量運?時間，并具備?可?、易擴展和完善的運維能?。分布式批量平臺?泛在??開放平臺體系中使?，服務于數百多個應數百萬次作業。撐我?開放平臺業務系統?件共享存儲需求，并打通云上云下應?的?件共享，具備?可?、?平擴展、集約管理等能?。平臺已落地??應?數?余個，對外提供總計百余TB的共享?件存儲??分布式對象存儲平臺，實現海量??件快速讀寫，為?內的業務影像類、與業務流程密切相關的?視頻類，業務?檔類等?結構化數據提供?并發數據訪問能?。平臺已成功?撐數?余個應?系統，滿?融e聯、融e購等互聯?應?對象密集存儲的需求，?持萬級TPS，數據存量已經達到千余TB。??開放平臺分布式技術在境內系統已實現?規模應?，基于開放平臺分布式架構已能實現核?業務完整閉環處理，?型商業銀?的“平臺版”核?銀?系統已初具雛形。此外，??基于開放平臺分布式技術體系建?了境外核?銀?系統，并已在印尼、莫斯科等境外機構的推?應?。?前分布式架構轉型應?數超250個，服務?均調?量超260億，峰值?萬級TPS，交易響應耗時50毫秒以內?；诜植际郊夹g體系，我?初步構建起包括業務基礎服務、核?賬?體系、重點產品服務等體系完整的開放平臺核?銀?系統（境內）。業務基礎服務提供企業級公共服務，包括機構管理、柜員管理、會計核算、客?信息等為客?及內部管理服務的公共基礎功能，?撐業務交易在開放平臺閉環捷?付、積存?、賬?外匯等產品下移主機，打造系，有效?撐?頻業務的快速增?。??分布式技術體系經過?規模的?主研發及技術創新，?泛適?于?融復雜場景的需要，已?規模覆蓋賬務型、信息型、交互型、轉發型等典型的應?場景。1、為賬務型應?提供?性能、強?致性事務保障。??依托分布式技術建設個?賬?應?為客?提供基本結算服務。通過Mysql本地SSD磁盤部署+分庫分表，提供單庫5萬QPS的更新性能；通過分布式事務框架，提供跨應?、跨節點的事務?致性保障；通過Mysql?主三備+同城?動化切換技術，確保2分鐘內完成同城?損切換。??是國內?家采?分布式技術進??規模賬務處理的銀?，承載9億個?借記卡數據，可?持6萬TPS交易率，交易響應時間50毫秒以內。2、為?型信息型應?提供低成本解決?案。??通過分布式技術建設企業級客?信息，為全?業務系統提供客?信息維護與查詢服務。通過使??主研發基于分布式數據訪問層技術的分布式數據庫實現對應?透明的智能路由訪問，?撐?容量數據分?存儲，實現整體集群的橫向擴展與數據再平衡，滿?海量數據庫操作的性能要求，?幅降低應?研發成本。為全?180多個總分?應?提供?均超2億次維護與查詢服務，?持最?交易并發數為7600TPS，平均交易耗時?于30ms，?撐應?范圍同業最?，?均訪問數量同業最多。3、為互聯?交互型應?提供極致??體驗。??依托分布式技術建設紀念幣預約系統，為全國互聯???提供紀念幣預約服務。?絡層采取多種負載均衡措施，后臺系統采?分布式技術體系設計，結合服務器云化部署、數據庫分庫分表及?可?設計，提升系統?并發處理能?。采?CDN緩存、分布式緩存等多種措施，提升系統快速響應能?。系統可?撐?萬TPS處理能?，交易響應時間百毫秒以內，成功完成歷年??紀念幣發?任務，同業綜合表現尤為突出。4、為流?轉發型應?提供?并發、?可靠的彈性?持。??依托分布式技術建設快捷?付應?，對接清算機構為個?客?提供快捷?付結算服務。通過橫向擴展對等應?節點分散承載?并發交易，通過應?節點?云實現快速彈性伸縮，通過數據庫垂直/?平分庫分散?并發數據訪問壓?；通過應?和數據庫節點同城部署、并以不同應?分別處理?聯和銀聯的交易，確保?可?。作為業內領先的?型發卡銀?，??快捷?付業務內部壓測可達近?萬TPS，順利完成歷年“雙??”、春節紅包等?峰期保障，“雙??”全天交易量超2億筆。??已構建完備構建分布式技術架構體系并深?使?，伴隨著分布式技術體系進?步成熟，未來將有以下三個??趨勢推動分布式架構持續發1、分布式技術體系進?步下沉?基礎設施微服務架構推動應?從傳統單體式向分布式轉型，實現了應?系統的解耦，但同時也?臨著需要?持多種語?中間件，客?端版本升級困難等困難。為了解決上述挑戰，社區提出了ServiceMesh（服務?格）架構，它重新將服務治理能?下沉到基礎設施，這樣既實現了服務治理和業務邏輯的解耦，?使服務?格架構減少對業務邏輯的侵?性。但服務?格架構的定位主要是?絡流量代理，對于跨語?、跨業務部署應?，仍未能統?SDK及交互協議。因此業界提出了云原?應?運?時架構，通過集成SDK內核，統?交互協議及對外API，實現能?的抽象?；蛟S云原?應?運?時是中間件基礎技術的未來形態，使分布式能?進?步下沉?基礎設施。2、多地多中?及單元化部署是未來基礎設施的趨勢?前?型?融機構的數據中?多數均采?兩地三中?的部署架構，隨著對?可?要求的不斷提?，多地多中?的部署模式逐漸成為未來的發展?向?；ヂ?頭部企業較多通過多地多中?及單元化部署來實現更加細粒度的流量劃撥和系統?可?，使得客?交易相關流量可在單元內部最?限度完成閉環，可在區域性故障場景有效控制故障爆炸半徑，在降低切換粒度的同時提升切換靈活性