2024金融業數據庫創新發展報告_第1頁
2024金融業數據庫創新發展報告_第2頁
2024金融業數據庫創新發展報告_第3頁
2024金融業數據庫創新發展報告_第4頁
2024金融業數據庫創新發展報告_第5頁
已閱讀5頁,還剩100頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

金融業數據技術產品應用總體進 金融核心系統數據庫實踐經驗不斷沉 大型金融機構率先開展創新,積累豐富實踐經 中小金融機構緊跟迭代步伐,夯實數據庫基礎能 不斷完善升級路徑和方法論,為同業提供參考借 技術創新加速金融業數據庫技術迭代升 生成式AI加速非關系型數據庫發 軟硬一體化降低數據庫適配調優工 存算分離架構提升數據庫擴展靈活 金融業數據庫應用生態亟需進一步完 金融業數據庫應用生態面臨問 金融業數據庫應用生態發展建 金融業數據庫創新發展展 數據庫創新應用的廣度和深度顯著提 數據庫技術產品能力持續得到打磨優 高效靈活部署架構和遷移方案不斷推 數據庫創新應用生態將會逐步健全完 OLTPOLAPHTAP數據庫的占比則呈現出上升趨勢。OLTP數據庫(聯機事務處理)作OLAP數據庫(聯機分析處理)在決策支持和分析工作負載方隨著金融數據量的不斷增長以及數據處理需求的多樣化,HTAP數據庫(混合事務/分析處理)需求量有所上升,整體占比1OLTP、OLAP、HTAP數據庫實例數占比情況示意圖特性,在金融業應用逐步深入,實例數占比已達到44。其中,民營互聯網銀行云數據庫實例數占比最高達到令人矚目的86,程度采用了云數據庫,實例數占比達到54。在IT基礎設施上云PC服務器,(一)第三階段為規模化應用和創新,2022年啟動小型機下移,進行行創新,包括Oracle遷移、數據庫云化供給等。(二)(三)一方面需要推動我國數據庫廠商不斷提升自身產品的可靠性和生產環節前有效攔截風險SQL,提升投產SQL質量,保障安全據庫異地RPO、縮短故障切換和災難恢復時間進行技術攻關,(一)切分為若干分片(百庫(二)(三)分布式數據庫OceanBase,實現高性能、高擴展、高可用。的策略,在物理部署上實現了一個數據分片對應了一個OceanBase租戶,每個租戶之間數據、資源都是隔離,并通過數物理部署方面,將若干個數據分片分散到數個OceanBase集群中,每個OceanBase集群存儲若干個數據分片,配置優化方面,新一代核心系統的微服務容器均通過阿里SOFA-ODP產品(分庫分表)OceanBase數據庫。在數SQLCICD門禁篩選不合規情況、通過數據庫監控平TopSQL和SlowSQL,并定制不同的告警級別及開關和BIOS的Pstate、Cstate(一)流式容災,實現同城自動容災切換和跨地域彈性伸縮能力。2TB,并隨著業務的增長持續增加,以及個人核心要多(64分片(二)運維復雜度增加。分布式技術處于快速發展期,(三)確保不影響業務連續性。基于郵儲銀行的使用環境,GaussDB開DBPaaS統一數據庫服務平臺,(一)開源MYSQL為主要技術路線,對應用層要求盡量去除數據庫特TDSQL作為核心系統的數據庫選型。在可靠性方面,TDSQL以快速轉移。在高性能處理能力,TDSQL除了在多數場景下對(DSU(GNS量、QPS和TPS預期目標、數據量最大容量,同時要盡量避免單(二)(三)集中式/數據一致性,跨IDCSQL/對象轉換、數據遷移新的DSU,但成本和風險較高。(一)負責柜面渠道、ATM/POS渠道、網銀渠道等受理,以及由銀聯GaussDB3號作為分片鍵,并進行hash分片。對配置及需要關聯的業務屬通過優化后確保TPS(每秒通過事務數、交易平均響應時間、(iGO)Latin字符集遷移與數據內(二)數據庫對象、PRO*C編譯器等的適配與改造存在難點。(三)創采用了ODBC與數據庫對接的方式。通過自研數據庫魔方,iKnow基礎技術軟硬件分析平(一)系統中分區變為租戶進行隔離4(二)清算系統使用大量SQLServer數據庫且使用復雜度高,技術兼容性方面,SQLServerSQL語法,需數據遷移方面,SQLServer技術棧較為封閉,業內缺(三)(一)廣州期貨交易所核心結算系統從Oracle19CRAC+模擬承載生產系統全部業務壓力,實現核心系統的交易業務,以及每天收市后進行閉市結算跑批任務,目前數據量約2TB,未(二)(三)達夢數據庫多年在行業實踐案例中不斷完善兼容性,除SQL(一)國壽財險理賠中心采用“分布式架構+開源軟件”替代“傳統集中式架構+商用軟件”進行數據庫升級,通過分布式系統承載(二)51961個對象梳理和確認,轉換和校在SQLSPASQL9000條SQL,優化慢SQL分析(21條。在數據遷移實施方面,討論和確196132T。(三)務高峰期CPU使用率不超過30。功能方面,分布式改造避免對中小金融機構現有核心業務系統普遍運行在國外大中型服(一)GoldenDB分布式6(二)X86平(三)(一)GoldenDB上投產應用;11個業務組件重構,實現技術架構升級,為支持業務需求敏捷(二)SQL,還使用較多的Oracle等傳統主流數據庫的私有語(三)(一)50(二)(三)(一)常開展的基礎。核心系統于2021OracleRAC+DataGuard高可用架構建設,整體系統處理能力峰值約為端NAS存儲實現文件共享和并發讀寫需求。在數據庫層,使用7Oracle數據庫中獲取報文數據,按照處理順(二)(三)通過OceanBase移植工具(OMS)進行靜態同步和全量數據校驗,金融機構核心系統數據庫傳統上主要以Orcle、DB2金融機構需要根據業務特點、IT基礎設施現狀進行全面的生成式AI253ZBAI的應用場景,特別是金融業的應用中,模型的AI的數據處理中,GraphRAG(Graph-BasedRetrieval-AugmentedGeneration)通過余弦相似度(HeterogeneousGraph,點、邊的類型可以不同)的圖數據庫AI技術,可以改善據庫的普及,又能加速生成式AI生成式AI對于非關系型數據庫的需求依賴顯著增加,未來在據庫一體機的整體性能。在數據計算,多核、GPU和FPGA專列可擴展到PB級存儲容量;在數據通訊,RDMA技術實現了高需的IT基礎設備,并完成相關軟硬件的部署,減少安裝和配置存算分離架構是指將數據存儲和計算資源分開管理的數據算分離架構通過將數據存儲和計算功能進行分離,數據存儲通常使用獨立的分布式存儲系統或數據庫管理系統有單獨的存儲資源廠開發配套工具、服務和培訓。金融機構在核心系統探索應用我TOPSQL高水平的數據庫內核和生態工具研發人才主要集中在數據構建自主可控的數據庫技術產品為數字金融發展與安全提融合、云原生架構、AI技術集成等多元化發展趨勢,將推動數程,同時高效賦能業務創新與智能決策。方向呈現出多元化和融合創新的趨勢,軟硬一體、HTAP混合架完善的數據庫生態對于金融機構開展數據庫轉型升級至關案例一:工商銀行對公核心系統GoldenDB應用實 案例二:農業銀行分布式核心TDSQL應用實 案例三:建設銀行對公核心系統GoldenDB應用實 案例五:民生銀行新一代信用卡核心GoldenDB應用實踐 案例七:北京農商行核心銀行系統OceanBase應用實 案例十一:國信證券分布式數據庫TDSQL應用實 創建數據庫集群的能力,GoldenDB采用容器化部署,支持平臺化資源申請、快速部署,充分利用服務器多核資源。GoldenDB基1GoldenDB服務節點容器化功能為大規模集群部署、擴縮容2求,GoldenDB實現鏈路級透傳功能,實現分片級并發,極大提據分片,GoldenDB實現了自定義分片算法的功能,數據庫與應融入工商銀行已有運維體系,滿足運維管理要求。GoldenDB內置完整的監控告警機制,并通過告警轉接模塊,將企郵聯動,實時上送告警。完成與行內數據備份平臺對接,遠程備份數據到S3對象存儲或從S3恢復。提供切換相關接口,與GoldenDB來建設新一代對公平臺后,雙方圍GoldenDB在工商銀行成功承接對公主機下移,證明了GoldenDB有完全能力承接國有大行對公核心系統轉型工作,對案例二:農業銀行分布式核心TDSQL應用實踐一、應用場景農業銀行基于騰訊云分布式數據庫TDSQL,采用兩地三中3傳統的信用卡集中式系統架構難以有效應對互聯網類業務庫層基于TDSQL進行了數據拆分與分布、分布式事務、高可用與在下移全過程與后續的連續平穩運行。農業銀行信用卡核心是國有大行中首批使用數據庫原生分布式能力支撐新核心系統建設的一、應用場景416個由GoldenDB單集群承載對公業務,所有分布式處理和跨節GoldenDB提供分片分區表功能,允許不同分片數據的分區數據庫投產后,2024年4月境內對公賬務核心業務也已將全國分一、應用場景主流數據庫幾十年銀行大部分成熟的后臺數據庫應用開發中于我國數據庫無法繼續使用高效C語言嵌入數據庫通用的SQL語言共同來實現銀行大型管理信息系統和處理復雜事務的開發,項目中,采用面向共享存儲集群架構的DM840年1988年DM1.0DM3.0在中小企業信目前DM8在2000臺的異構環境中非高峰期秒級數據同步高性能,保障了從一、應用場景5先級配置計算節點,每個優先級配置一個計算節點的IP。當數節點可能跨機房訪問數據節點。根據組網架構,GoldenDB一、應用場景OLTP微粒貸+OLAP”QQ銀行調用九江銀行的微粒貸API接口來完成業務,并由九江銀行40-50OLTP在線交易貸款業務九江銀行微粒貸”+數倉核心業務系統從OracleRAC+DataGuardDMDataWatch高可在4005530秒以內。OceanBase應用實踐一、應用場景我行核心銀行系統于2021年投產并使用,基于OracleOceanBase6行運行。一是并行工具從生產環境Oracle數據庫中獲取報文數OceanBase和Oracle的兼容OracleRowid模式,在OceanBase中沒我們對核心銀行系統的所有大表進行了梳理,按照OceanBase的標準進行了表分區的重新設計,使用分區拆分查詢減少影響業務的時間,我們搭建了移植用ADG備庫,數據從ADG備庫中進行遷移。先獲取一份完整的靜態數據,然后再通過OceanBase移植工具(OMS)進行靜態同步和全量數據TDSQL應用實踐一、應用場景7TDSQL基于TDSQLMySQL引擎確立為OLTP數據庫,支撐全技術優勢,解決OLAP場景下復雜SQL的性能問題。DB2、Oracle數據庫的遷移策略,具有對客類的OLTP聯機交易場景特點的業務系統遷移到統(如:監管報送、反洗錢、客戶經營類等)業務系統遷移到TDSQLPG引擎。DB2、Oracle數據庫遷移的策略)的數據庫推廣過程中,也逐漸反映出上述業務需求和聯機復雜OLAP3年多的TDSQL我國數據庫推廣,規9套TDSQL1200多,目前已有200多套業務系統成功切換投產到TDSQL我國數據產芯片處理器服務器轉型,實現數據庫基礎軟件自主創新,降務操作的需求,實現海量數據超高性能讀寫以及實時訪問查詢,三是基于TDSQLPG引擎建立全行統一的查詢中心,在過去OLTP數據庫和大數據平臺及數據倉庫之間建立了OLAP聚合庫,OLAP數據庫的場景需求。SQL性能表現一、應用場景農信核心結算業務系統從IBMDB2(DSC+DSC+DSC+DataWatch選擇其它新技術路線;其次,在保證兼容性的同時,是否可以GaussDB應用實踐一、應用場景GaussDB完成了信貸核算系統傳8通過部署DB400萬筆的結息日批量交易,各項指標優于之前320,批量計提時間由30310SS10翻倍同時交易平均耗時相比以前也有20的心方案,異地RPO≤5秒,RTO≤145秒。在遷移過程中,GaussDB搭配數據庫和應用遷移UGO進行正確性的校驗。在應用適配過程中,GaussDB與信貸核算系統提GaussDB實現信貸核算系統(SLO和資源管理能力為數據庫的隔離、混部提供了基礎。KubeBlocks平臺使中信證券能夠靈活部署和管理多種類型的9KubeBlocks調度系統支持節點密度分級和超賣管理,通過區場景。在時間維度上,KubeBlocks調度系統通過人為指定與自動于開源數據庫以及外部廠商軟件提供的數據庫,考慮到它們對核runD。這種差異化的容器技術選擇策略不僅能夠滿足不同應用的安全需求,還能在資源利KubeBlocks源優先級調度、可信&SLO容器混合30個重要的業務系

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論