1、基于分布式數據庫的OLTP高性能方案分布式數據庫在解決什么問題應用開發簡單，無需分庫分表，支持ACID，傳統MySQL兼容運維方式簡單，一個人管理幾百臺服務器集群，自動化運維操作傳統交易型數據庫單庫承載能力有限云計算不斷發展，平臺化數據服務PaaS層替換煙囪式部署架構信息科技的發展，數據量爆炸在線交易業務的發展應用程序開發從煙囪式架構向分布式的轉型應用前端數據庫中間件微 服 務數據庫微 服 務微 服 務微 服 務數據庫微 服 務微 服 務微 服 務數據庫微 服 務微 服 務傳統架構向微 服務轉型應用前端數據庫如何應對微服務應用框架集中式 關系型 數據庫MySQLMySQLPGSQLS3對象 存

2、儲分布式數據庫MySQLMySQL實例實例PGSQLS3實例 實例 集中式存儲數據緊耦合無法彈性擴張單點故障碎片化存儲數據碎片化數據無共享運維成本高分布式存儲微服務對應獨 立實例物理分散存儲邏輯集中管理聯機交易業務需要什么樣的分布式數據庫？ACID的支持：事務、一致性等，處理OLTPSQL完整支持：MySQL/PostgreSQL語法的完整兼容分布式與擴展性：分布式是新一代架構的基礎，擴展性能應對變化的數據量Multi-model與多租戶: multi-model多模數據庫引擎，同一引擎處理多種 數據應用場景，符合微服務和云數據庫的架構理念HTAP: 混合事務和分析場景，適應更多數據應用需求傳

3、 統 技 術 兼 容 性新 技 術 前 瞻 性Applicationclusterclusterclustercluster核心信貸CRM票據分庫分表將不同模塊的數據表分庫存儲，庫間 不相互關聯查詢，如果有，必須通過 數據冗余或在應用層二次加工來解決， 對應用程序侵入較大。通過分布式中間件進行用戶ID的路由分發，保 證用戶的一類操作涉及的表在一個節點上完成， 避免分布式事務。如果有跨節點的事務，則通 過中間件保證其一致性。原生分布式數據庫將表分布到不同機器的庫上，減輕數據庫的壓 力物理機的CPU、內存、網絡IO負載分攤。支持 分布式事務。Application分布式中間件（路由分發MQ）用戶組

4、1用戶組2用戶組3用戶組4XXXclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據Applicationclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據票據DB1票據DB2票據DB3票據DBnXXX票據DB1 X 票據DB2 X票據DB3 X 票據DBn分布式交易型數據庫技術發

5、展體系應用垂直分庫垂直分庫分庫分表原生分布式數據庫起點比較早，應用控制能力強，可進行深度定制化對于底層數據庫沒有任何特殊要求， 完全在應用程序內部進行分庫構建中間SQL解析層，盡可能將標準 SQL拆分成多個子查詢下壓到下層數 據庫，在SQL層進行結果拼裝對于底層數據庫無特殊要求，在中間件進行SQL切分（支持XA即可）部分兼容傳統SQL，應用程序開發難 度小于垂直分庫數據庫內部處理分布式事務與數據切 分邏輯，對于應用程序完全透明，不 需感知底層數據分布數據庫內部原生支持分布式事務，性能遠遠高于分庫分表高可用與容災能力由數據庫內核原生 支持，不需額外輔助工具應用程序邏輯侵入性極強，應用程序 需要進

6、行復雜邏輯才能進行合理數據 分布拓撲結構調整或擴容時非常痛苦，幾 乎不可能完成在線擴容很難支持跨庫事務應用程序邏輯侵入性較強，應用程序 需感知底層數據分布結構，才能設計 出優化后的查詢邏輯中間件實現分布式事務，跨庫事務使 用XA機制，性能大幅度下降作為單點向新型分布式數據庫轉型的 過渡階段，技術延續性堪憂技術較新，業界成熟案例相對較少輔助工具相對較少，生態環境有待完 善優 勢劣勢分布式數據庫技術發展體系對比分布式數據庫實現OLTP高性能MySQL主從復制架構MySQL服務（主）MySQL解析器InnoDBAPPMySQL服務（備）MySQL解析器InnoDBMySQL服務（備）MySQL解析器

7、InnoDBAPPAPP讀寫只讀只讀binlogshippingSequoiaDB MySQL 100%兼容，彈性擴張，多活架構MySQL服務（主）MySQL解析器APPMySQL服務（主）MySQL解析器MySQL服務（主）MySQL解析器APPAPP讀寫讀寫讀寫SequoiaDB分布式數據庫SequoiaDB 分布式數據庫架構計算分布+存儲分布SequoiaDB 分布式數據庫架構SequoiaDB數據存儲層采用分布式架構，實現了彈性水平擴展以及高性能和高可用，靈活適應不同規模企業及不同作業方式的需要。數據切分：系統提供垂直切分和水平切分的多 維分片管理方式，數據可以按多種條件切分， 均勻分

8、布到集群中的各個數據節點。高可用：數據在系統中至少保留三個副本，高 可用機制，保證了數據的持續安全使用。彈性擴容：SequoiaDB的存儲節點可按需彈性擴展，系統支持在線擴容硬件成本降低：分布式架構均采用通用x86服務 器+高密度硬盤，相比傳統的“小機+高端存儲” 的配置，大大節省了用戶投資費用。SequoiaDB MySQL 分布式數據庫架構SQL解析區數據存儲區元數據管理區協調 節點協調 節點協調 節點協調 節點數據節點數據節點數據節點分區1數據節點數據節點數據節點分區2數據節點數據節點數據節點分區3數據節點數據節點數據節點分區4數據節點數據節點數據節點分區5數據節點數據節點數據節點分區6

9、MySQL服務MySQL服務MySQL服務編目節點 編目節點 編目節點主副本1從副本2從副本3每個服務均可 進行讀寫操作Sequoia DB分 布 式 存 儲 引 擎分布式交易設計悲觀鎖讀已提交能力MySQL/PGSQL/SparkSQL保持100%兼容原生 MySQL/PGSQL/SparkSQL 解析與執行引擎，不需 擔心語法兼容訪問計劃流水類數據按時間與ID 二維切分，避免數據搬 遷余額類數據按ID散列， 保證均衡無熱點傳統二段提交機制保證數據跨節點一致性二段提表設計交2PC原則兼容性鎖機制支持多活架構讀寫只讀讀寫容災和多活方案，同城方案1、主備機房使用可靠高速光纖直連2、每個分區主節點

10、在主中心3、平時使用強一致同步策略保障數據不丟4、故障發生時使用takeover工具進行集群分離 備集群獨立運行5、故障恢復后使用merge工具進行集群合并雙活方案1、應用程序直連本地數據中心數據庫協調節 點2、應用程序不需要關注底層數據存儲主備中心復制和通訊策略兩地三中心1、遠程數據中心使用異步機制進行數據復制2、數據中心之間可進行流量控制保證不會占用過多帶寬異構數據源復制策略異步數據復制策略1、使用JSON或CSV格式定期將異構數據源的原始數據 進行導出為文本文件 2、通過FTP等方式將文件傳輸至巨杉數據庫的客戶端3、通過sdbimprt工具將文本文件導入巨杉數據庫4、滿足異構數據源T+1

11、的數據復制策略，簡單可靠準實時數據復制策略1、異構數據源使用相關的工具將日志文件實時解析并寫入管道2、通過Apache Storm對管道信息監聽并轉換為標準DML/DDL命令 3、指令分發至多線程處理服務進行巨杉歷史數據庫的 增刪改查4、滿足異構數據源T+0的數據復制策略，秒級延時5、當前支持Oracle Golden Gate（對應Oracle數據 源）、IBM CDC（對應IBM DB2）、IIE（對應IBM Informix）、以及Cannel（對應MySQL）6、對于當前不支持的數據庫需要尋找開源的日志解析工具或進行獨立開發OracleDB2InformixMySQL導 入 工 具歷史

12、庫異 步 數 據 復 制 策 略OracleDB2InformixMySQL歷史庫準 實 時 數 據 復 制 策 略定期任務實時推送日志解析格式轉化任務處理多租戶與業務隔離核心交易域信貸業務域信用卡業務域協調節點組1協調節點組2數 據 存 儲 區核心業務信貸業務信用卡業務風控系統審計系統客戶畫像系統全文檢索索引支持sd 運行架構SequoiaDBSearch Engine Connectorsearch engineroute agentsearch engine agentshard session managerdata cappeddata cappeddatadataroute age

13、nt index session managerAssync session and Assync session managershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessionTCPlistenerIndexer readershard session agent sessionagent sessionexternal data source managerCB managerMain loopEDSEDSEDS對象存儲S3+文件系統支持22SequoiaD

14、B提供全面 的圖形化集群監控功能集群健康狀態資源使用狀態SequoiaDB提供圖形化 操作界面集群部署、擴容集群管理數據CURD操作數據管理，切分、均 衡等平臺統一管理監控方案交易型業務場景替換 MySQL、PGSQL 等傳統關系型數據庫數據中臺數據服務與高頻只讀類業務提供比 Hbase 更加 友好的開發接口以及 更加簡便的運維能力音視頻、圖片、文件等對象存儲類業務提供比 Ceph 更優的 實時容災能力以及更 加豐富的內容管理特 性內容管理聯機交易分布式關系型數據庫主要適用場景分布式存儲層支持分布式事務能力；支持RU、RC、RR、以及Serializable四種隔離級別；支持讀已提交的MVCC特性；在線數據Rebalance；多租戶數據物理隔離能力；HTAP交易分析業務的物理隔離能力；基于Raft協議的高可用能力；基于Logshipping機制的數據