1、Amazon Aurora關系型數據庫詳解為云計算而生的關系型數據庫議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例A m a zo nA u ro r a 的與眾不同高性能和高可擴展性高可用性和高耐用性高度安全完全托管5 倍于標準 MySQL 的吞吐量3 倍于PostgreSQL 的吞吐量性能相當而成本僅為商用DB的1/10 可以跨3個AZ,最多 15 個可讀副本 存儲自增長，單實例可達 64TB可用性高于 99.99%具有容錯及自我修復能力跨3個AZ復制6個數據副本數據持續備份到 S

2、3實例故障轉移小于3 秒通過VPC 進行網絡級 隔離，支持靜態存儲 及傳輸時加密，集群 中的備份、快照和副 本自動加密無需擔心硬件、軟件補丁、 設置、配置或備份等數據 庫管理任務。會自動持續 監控并將其備份到 S3，可 以實現精細的時間點恢復。兼容 MySQL 和 PostgreSQL 的關系數據庫，為云打造。性能和可用性與商用數據庫相當，成本只有 1/10。與M YS Q L 寫性能比較SysBench Write-Only (writes/sec)DB SizeAmazon AuroraMySQL1 GB107,0008,40010 GB107,0002,400100 GB101,0001

3、,5001 TB41,0001,200SysBench OLTP (writes/sec)Connections Amazon AuroraMySQL5040,00010,00050071,00021,0005,000110,00013,000與M YS Q L 讀性能比較Four client machines with 1,000 threads eachWRITE PERFORMANCEREAD PERFORMANCESingle client with 1,600 threadsMySQL SysBenchR3.8XL with 32 cores and 244 GB RAM性能測試更

4、多的測試可以看：/cn/blogs/china/aurora-test/?nc1=b_rp減少網絡傳輸緩存計算和存儲分離減少不必要工作更少IO減少延遲優化鎖機制批量處理提高效率異步處理如何實現高性能？數據庫取決于IO網絡存儲依賴流量AWS 全球區域https:/www.infrastructure.aws/AWS 基礎架構組件AWS 可用區( A Z ) 設計通過一個或多個數據中心，在基礎架構層面 進行完全隔離兩個AZ之間相隔幾十公里每個數據中心具有各自獨立的電源系統高達10萬臺服務器的規模不同的數據中心之間通過高速網絡進行連接通過訪問infrastructure.aws 了解更多的AWS 全

5、球基礎架構設施AvailabilityZone AAvailability Zone BBeijing Region 北京區域Availability Zone 可用區每個region區域至少有兩個可用區每個可用區都由多個數據中心組成可用區之間地理與網絡都是獨立設計與運營可用區間網絡延時保持在3ms以下可用區內延時保持在0.3ms以下跨可用區的高可用部署極低成本的城市圈級別的實時異地容災方案Availability Zone AAvailability Zone BNingxia Region 寧夏區域AvailabilityZone A議程Aurora特性Aurora技術架構遷移至Auror

6、aAurora客戶案例A m a zo nA u ro r a 體系結構( 橫向擴展)AZ 1AZ 3PrimaryInstanceAmazon S3AZ 2Replica InstanceASYNC 4/6 QUORUMDISTRIBUTED WRITESReplica InstanceLogging + StorageSQLTransactionsCaching控制層面數據層面AmazonS3DynamoDBAmazon SWFRoute 53將日志記錄和存儲層移入多租戶，橫向擴展為數據庫 優化的存儲服務與EC2VPC、DynamoDB、SWF、Route 53等其他AWS服務集成，用于控

7、制層面的操作持續備份與S3集成，并具有11個9的持久性A u ro r a 只讀副本的不同之處Log RecordsBinlogDataDouble-Write BufferFRM Files, MetadataPrimary InstanceReplica InstanceAmazon Elastic Block Store (EBS)S3EBSmirrorEBSEBSmirrorPiTRSequential writeSequential writeMySQL With ReplicaAZ 1AZ 2AZ 1AZ 3Primary InstanceS3Amazon AuroraAZ 2Re

8、plica Instanceasync 4/6 quorumDistributed writes主要改進日志結構化存儲對異常值的一致性容忍度顯著提高網絡I/O的使用效率A u ro r a 存儲節點的I/ O 處理PrimaryInstanceINCOMING QUEUESTORAGE NODE12346S3 BACKUP78UPDATE QUEUELOG RECORDSACKPOINT IN TIME SNAPSHOTGCDATABLOCKS SCRUBCOALESCE5SORT GROUPPEER TO PEER GOSSIPHOTLOGPeer Storage Nodes實際運行效果 所

9、有步驟都是異步的 僅有步驟1與2處于前臺延時過程中 輸入隊列比MySQL少46倍 有利于延時敏感型操作 使用磁盤空間緩沖活動中的峰值I/O 控制流 接收記錄并添加到內存隊列中持久化日志記錄并確認組織日志記錄并鑒別日志中的縫隙 通過Gossip協議填補對等節點中縫隙 將日志記錄合并到新版本的數據塊中 定期將日志和新塊中轉到S3定期垃圾回收舊塊定期對塊進行CRC校驗A m a zo nA u ro r a存儲引擎概述數據在3 Availability Zones中復制6份持續備份到Amazon S3 (11個9的持久性)持續監視節點和磁盤并自動修復10GB 的區段作為修復和存儲根據用 量自動增長的

10、基礎，存儲最大擴展 到64 TBQuorum system 讀寫;Quorum membership 變更不會阻塞寫AZ 1AZ 2AZ 3Amazon S3Database NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage Monitoring可能問題?Segment 損壞 (磁盤)節 點 損 壞 ( 主 機 ) AZ 損壞 (網絡或數據中心)優化4 out of 6 write quorum3 out of 6 read quorumPeer-to-peer replica

11、tion for repairsAZ 1AZ 2AZ 3SQLTransactionCachingA m a zo n存儲引擎容錯AZ 1AZ 2AZ 3SQLTransactionCachingA m a zo nA u ro r a只讀副本可用性自動檢測并替換失敗的database nodes自動檢測并重啟失敗的database processes只讀副本在主節點故障時自 動提升 (failover)客戶可以指定fail-over 順序AZ 1AZ 3AZ 2PrimaryNodePrimaryNodePrimary Database NodePrimaryNodePrimaryNodeR

12、ead ReplicaPrimaryNodePrimaryNodeRead ReplicaDatabase and Instance Monitoring性能客戶程序可以將讀流量指向只讀副本讀負載在多個只讀副本間均衡支持15個只讀副本集群讀寫與只讀終端節點Availability Zone 1橫向擴展讀取性能Availability Zone 2Availability Zone 3ApplicationRead Replica 1自動添加或刪除只讀副本 自動故障轉移Read Replica 2Master NodeShared distributed storage volumeA m a

13、zo nA u ro r a 擴展與高可用AppRunningFailure DetectionDNS PropagationRecoveryRecoveryDBFailureMYSQLDBFailureAURORA WITH MARIADB DRIVERFailure DetectionDNS Propagation5 - 6s e cRecoveryApp Running5 - 1 0s e cA u ro r a 自動故障接管過程SEGMENT SNAPSHOTLOG RECORDSRECOVERY POINTSEGMENT 1SEGMENT 2SEGMENT 3TIMEA u ro r

14、 a 數據庫備份與恢復并行為每個段定期拍快照，將重做日志流傳輸到S3存儲桶持續進行備份，并不影響性能或可用性在還原時，從S3返回相應的段快照與重做日志流到存儲節點以并行和異步方式應用重做日志流到段快照傳統數據庫需要從last checkpoint重放所有日志一般來說從checkpoints開始5分鐘內在MySQL 和 PostgreSQL上是Single-threaded需要大量的disk accessesAmazon Aurora啟動時無需重放，存儲系統 事務感知底層存儲由多個segment組成，不同segment有自己的重做日志應用日志操作是并行，分布和異步的Checkpointed Da

15、taLogCrash at T0 requiresa re-application of the SQL in the log since last checkpointT0T0Crash at T0 will result in logs being applied to each segment on demand, in parallel, asynchronouslyA m a zo nA u ro r a緊急崩潰恢復A u ro r a 只讀副本自動伸縮技術MASTERREAD REPLICAREAD REPLICAREAD REPLICASHARED DISTRIBUTED STO

16、RAGE VOLUMEREADER END-POINT跨多個可用區最多可提升15個只讀副本基于重做日志復制的副本低延時 - 通常10毫秒讀取器端點具有負載平衡和自動縮放(CPU及連接數)Availability Zone 1Availability Zone 2Availability Zone 3克隆數據庫而不復制數據瞬間創建一個數據庫克隆僅在發生寫入時復制數據(COW) 當原始數據和克隆卷數據不同時應用場景克隆生產數據庫以運行測試數據庫重組為分析提供一個時間點快照，不影 響生產環境PRODUCTION DATABASECLONECLONECLONEDEV/TEST APPLICATIONS

17、BENCHMARKSPRODUCTION APPLICATIONSPRODUCTIONAPPLICATIONSA u ro r a 數據庫克隆技術存活c a c h es將 cache 從數據庫進程中分離出來數據庫重啟時Cache 可以依舊保持熱度更快地恢復全量加載操作實例崩潰恢復+ 可存活cache = 更快速容易地從DB失敗中恢復SQLTransactionsCachingSQLTransactionsCachingSQLTransactionsCachingCaching process 和DB process 分離開來并在數據庫重啟時保持 warm數據回溯t0t1t2t3t4Rewin

18、d to t1t0t1t2t3t4快速恢復用戶的錯誤操作使用 Backtrack 允許您將數據庫回退到以前的某個時間點，無需從備份還原，即使是大型數據 庫也只需要幾秒鐘時間。可以多次恢復，直到需要的時間點Rewind to t3InvisibleInvisible僅為您使用的資源按秒付費A u ro r a 無服務器架構( S er v er l e s s )Warm CapacityPoolScalable Database Capacity(Compute + Memory)Shared Distributed StorageServerless 是一種面向 Aurora 的按需擴展配置

19、，數據庫將根據您的應用程序的需求來自動啟動、 關閉以及縱向和橫向擴展數據庫容量。可在云中運行關系數據庫，而無需管理數據庫實例或集群。Application按需自動啟停Database Endpoint無服務器化、自動擴展議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例A u ro r a 適用場景Mysql/PostgreSQL即使優化仍然遇到瓶頸優化索引優化SQL主從讀寫分離拆分數據庫高并發讀寫，尤其寫操作的負載很高需要快速恢復最小化讀副本的延遲免去手動sharding或者使用sharding中間件帶來的復雜性和運維成本A m a zo nR DS 遷移至A u

20、 ro r a 的不同場景同構數據庫有一定的停機時間最小停機時間異構數據庫有一定的停機時間最小停機時間詳 細 過 程 可 參 考 ： /cn/blogs/china/every-scene- mysql-database-move-to-amazon-aurora/A m a zo nR DS 遷移至A u ro r a創建RDS快照根據快照創 建Aurora數據 庫應用程序開 始使用Aurora 數據庫同構數據庫有一定的停機時間A m a zo nR DS 遷移至A u ro r a創建Aurora只讀副本把Aurora只讀 副本提升為 主庫應用程序開 始使用Aurora 數據庫同構數據庫最

21、小停機時間自建數據庫遷移至A u ro r a為自建數 據庫創建 備份把數據庫 備份上傳 到S3根據備份創建Aurora數 據庫應用程序開始使用Aurora數 據庫同構數據庫有一定的停機時間自建數據庫遷移至A u ro r a創建Aurora從庫自建數據 庫與Aurora 從庫進行 數據同步主從切換， 使得Aurora 從庫變成 新的主庫應用程序開始使用Aurora數據 庫同構數據庫，以MySQL為例有一定的停機時間自建數據庫遷移至A uro r a同構或者異構數據庫最小停機時間遷移關鍵業務系統遷移數據倉庫到Amazon Redshift歸檔老數據升級小版本合并多個數據分片到Amazon Aurora復制數據從而在云端分析數據從NoSQL遷移到SQL，或者從SQL遷移到NoSQL，或者從NoSQL遷移到NoSQLAmazon RDSAmazon Red