AmazonAurora關系型數據庫詳解為云計算而生的關系型數據庫AmazonAurora關系型數據庫詳解為云計算而生的關系1議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例議程2議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例議程3A

m

a

zo

n A

u

ro

r

a

的與眾不同高性能和高可擴展性高可用性和高耐用性高度安全完全托管5

倍于標準

MySQL

的吞吐量3

倍于PostgreSQL

的吞吐量性能相當而成本僅為商用DB的1/10可以跨3個AZ,最多

15

個可讀副本存儲自增長，單實例可達

64TB可用性高于

99.99%具有容錯及自我修復能力跨3個AZ復制6個數據副本數據持續備份到

S3實例故障轉移小于3

秒通過VPC

進行網絡級隔離，支持靜態存儲及傳輸時加密，集群中的備份、快照和副本自動加密無需擔心硬件、軟件補丁、設置、配置或備份等數據庫管理任務。會自動持續監控并將其備份到

S3，可以實現精細的時間點恢復。兼容

MySQL

和

PostgreSQL

的關系數據庫，為云打造。性能和可用性與商用數據庫相當，成本只有1/10。Amazon Aurora的與眾不同高性能4與M

YS

Q

L

寫性能比較SysBenchWrite-Only

(writes/sec)DBSizeAmazon

AuroraMySQL1GB107,0008,40010GB107,0002,400100GB101,0001,5001

TB41,0001,200SysBenchOLTP

(writes/sec)ConnectionsAmazon

AuroraMySQL50 40,00010,000500 71,00021,0005,000 110,00013,000與MYSQL寫性能比較SysBenchWrite-5與M

YS

Q

L

讀性能比較與MYSQL讀性能比較6Fourclientmachineswith1,000threads

eachWRITE

PERFORMANCEREAD

PERFORMANCESingleclientwith1,600

threadsMySQL

SysBenchR3.8XLwith32coresand244GB

RAM性能測試更多的測試可以看：/cn/blogs/china/aurora-test/?nc1=b_rpFourclientmachineswith1,007減少網絡傳輸緩存計算和存儲分離減少不必要工作

更少IO減少延遲優化鎖機制批量處理提高效率異步處理如何實現高性能？數據庫取決于IO網絡存儲依賴流量減少網絡傳輸緩存計算和存儲分離減少不必要工作 減少延遲優化鎖8AWS

全球區域https://www.infrastructure.aws/AWS全球區域https://www.infrastruc9AWS

基礎架構組件AWS基礎架構組件10AWS

可用區(

A

Z

)

設計通過一個或多個數據中心，在基礎架構層面進行完全隔離兩個AZ之間相隔幾十公里每個數據中心具有各自獨立的電源系統高達10萬臺服務器的規模不同的數據中心之間通過高速網絡進行連接通過訪問infrastructure.aws

了解更多的AWS全球基礎架構設施AWS可用區(AZ)設計通過一個或多個數據中心，在11AvailabilityZone

AAvailabilityZone

BBeijing

Region

北京區域Availability

Zone

可用區每個region區域至少有兩個可用區每個可用區都由多個數據中心組成可用區之間地理與網絡都是獨立設計與運營可用區間網絡延時保持在3ms以下可用區內延時保持在0.3ms以下跨可用區的高可用部署極低成本的城市圈級別的實時異地容災方案AvailabilityZone

AAvailabilityZone

BNingxia

Region

寧夏區域AvailabilityZone

AAvailabilityAvailabilityZone12議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例議程13A

m

a

zo

n A

u

ro

r

a

體系結構(

橫向擴展)AZ

1AZ

3PrimaryInstanceAmazonS3AZ

2ReplicaInstanceASYNC4/6

QUORUMDISTRIBUTED

WRITESReplicaInstanceLogging+

StorageSQLTransactionsCaching控制層面數據層面AmazonS3DynamoDBAmazon

SWFRoute

53將日志記錄和存儲層移入多租戶，橫向擴展為數據庫優化的存儲服務與EC2?VPC、DynamoDB、SWF、Route

53等其他AWS服務集成，用于控制層面的操作持續備份與S3集成，并具有11個9的持久性Amazon Aurora體系結構(橫向14A

u

ro

r

a

只讀副本的不同之處Log

RecordsBinlogDataDouble-Write

BufferFRMFiles,

MetadataPrimaryInstanceReplicaInstanceAmazonElasticBlockStore

(EBS)S3EBSmirrorEBSEBSmirrorPiTRSequentialwriteSequentialwriteMySQLWith

ReplicaAZ1 AZ2 AZ

1AZ

3PrimaryInstanceS3Amazon

AuroraAZ2ReplicaInstanceasync4/6

quorumDistributedwrites主要改進日志結構化存儲對異常值的一致性容忍度顯著提高網絡I/O的使用效率Aurora只讀副本的不同之處LogRecord15A

u

ro

r

a

存儲節點的I/

O

處理PrimaryInstanceINCOMING

QUEUESTORAGE

NODE12346S3

BACKUP78UPDATEQUEUELOG

RECORDSACKPOINTINTIMESNAPSHOTGCDATABLOCKS

SCRUBCOALESCE5SORTGROUPPEER

TO

PEER

GOSSIP

HOTLOGPeerStorageNodes實際運行效果 ①

所有步驟都是異步的②

僅有步驟1與2處于前臺延時過程中③

輸入隊列比MySQL少46倍④

有利于延時敏感型操作⑤

使用磁盤空間緩沖活動中的峰值I/O

控制流 接收記錄并添加到內存隊列中持久化日志記錄并確認組織日志記錄并鑒別日志中的縫隙通過Gossip協議填補對等節點中縫隙將日志記錄合并到新版本的數據塊中定期將日志和新塊中轉到S3定期垃圾回收舊塊定期對塊進行CRC校驗Aurora存儲節點的I/O處理Primary16A

m

a

zo

n A

u

ro

r

a 存儲引擎概述數據在3

Availability

Zones中復制6份持續備份到Amazon

S3

(11個9的持久性)持續監視節點和磁盤并自動修復10GB

的區段作為修復和存儲根據用量自動增長的基礎，存儲最大擴展到64

TBQuorum

system

讀寫;Quorummembership

變更不會阻塞寫AZ

1AZ

2AZ

3Amazon

S3DatabaseNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageNodeStorageMonitoringAmazon Aurora 存儲引擎概述數據17可能問題?Segment

損壞

(磁盤)節點損壞(主機)AZ

損壞

(網絡或數據中心)優化4outof6write

quorum3outof6read

quorumPeer-to-peerreplicationfor

repairsAZ

1AZ

2AZ

3SQLTransactionCachingA

m

a

zo

n 存儲引擎容錯AZ

1AZ

2AZ

3SQLTransactionCaching可能問題?優化AZ1AZ2AZ3SQLTransact18A

m

a

zo

n A

u

ro

r

a 只讀副本可用性自動檢測并替換失敗的database

nodes自動檢測并重啟失敗的database

processes只讀副本在主節點故障時自動提升

(failover)客戶可以指定fail-over

順序AZ

1AZ

3AZ

2PrimaryNodePrimaryNodePrimaryDatabaseNodePrimaryNodePrimaryNodeReadReplicaPrimaryNodePrimaryNodeReadReplicaDatabaseandInstanceMonitoring性能客戶程序可以將讀流量指向只讀副本讀負載在多個只讀副本間均衡Amazon Aurora 只讀副本可用性自19支持15個只讀副本集群讀寫與只讀終端節點AvailabilityZone

1橫向擴展讀取性能AvailabilityZone

2AvailabilityZone

3ApplicationReadReplica

1自動添加或刪除只讀副本

自動故障轉移ReadReplica

2MasterNodeShareddistributedstorage

volumeA

m

a

zo

n A

u

ro

r

a

—

擴展與高可用支持15個只讀副本集群讀寫與只讀終端節點Availabili20AppRunningFailure

DetectionDNS

PropagationRecoveryRecoveryDBFailureMYSQLDBFailureAURORA

WITHMARIADB

DRIVERFailure

DetectionDNS

Propagation5

-

6 s

e

cRecoveryAppRunning5

-

1

0 s

e

cA

u

ro

r

a

自動故障接管過程AppFailureDetectionDNSPropag21SEGMENT

SNAPSHOTLOGRECORDSRECOVERYPOINTSEGMENT

1SEGMENT

2SEGMENT

3TIMEA

u

ro

r

a

數據庫備份與恢復并行為每個段定期拍快照，將重做日志流傳輸到S3存儲桶持續進行備份，并不影響性能或可用性在還原時，從S3返回相應的段快照與重做日志流到存儲節點以并行和異步方式應用重做日志流到段快照SEGMENTSNAPSHOTLOGRECORDSRE22傳統數據庫需要從last

checkpoint重放所有日志一般來說從checkpoints開始5分鐘內在MySQL

和

PostgreSQL上是Single-threaded需要大量的disk

accessesAmazon

Aurora啟動時無需重放，存儲系統

事務感知底層存儲由多個segment組成，不同segment有自己的重做日志應用日志操作是并行，分布和異步的Checkpointed

DataLogCrashatT0

requiresare-applicationof

theSQLinthelogsincelast

checkpointT0T0CrashatT0willresultinlogsbeingappliedtoeachsegmentondemand,inparallel,asynchronouslyA

m

a

zo

n A

u

ro

r

a 緊急崩潰恢復傳統數據庫AmazonAuroraCheckpointed23A

u

ro

r

a

只讀副本自動伸縮技術MASTERREADREPLICAREADREPLICAREADREPLICASHAREDDISTRIBUTEDSTORAGE

VOLUMEREADER

END-POINT跨多個可用區最多可提升15個只讀副本基于重做日志復制的副本低延時

-通常<10毫秒讀取器端點具有負載平衡和自動縮放(CPU及連接數)AvailabilityZone

1AvailabilityZone

2AvailabilityZone

3Aurora只讀副本自動伸縮技術READREP24克隆數據庫而不復制數據瞬間創建一個數據庫克隆僅在發生寫入時復制數據(COW)

–當原始數據和克隆卷數據不同時應用場景克隆生產數據庫以運行測試數據庫重組為分析提供一個時間點快照，不影響生產環境PRODUCTION

DATABASECLONECLONECLONEDEV/TESTAPPLICATIONSBENCHMARKSPRODUCTIONAPPLICATIONSPRODUCTIONAPPLICATIONSA

u

ro

r

a

數據庫克隆技術克隆數據庫而不復制數據數據庫重組PRODUCTIONDAT25存活 c

a

c

h

es將

cache

從數據庫進程中分離出來數據庫重啟時Cache

可以依舊保持熱度更快地恢復全量加載操作實例崩潰恢復+

可存活cache

=

更快速容易地從DB失敗中恢復SQLTransactionsCachingSQLTransactionsCachingSQLTransactionsCachingCaching

process

和DB

process

分離開來并在數據庫重啟時保持

warm存活 caches將cache從數據庫進程中SQ26數據回溯t0t1t2t3t4Rewindto

t1t0 t1 t2 t3 t4快速恢復用戶的錯誤操作使用

Backtrack

允許您將數據庫回退到以前的某個時間點，無需從備份還原，即使是大型數據庫也只需要幾秒鐘時間。可以多次恢復，直到需要的時間點Rewindtot3InvisibleInvisible數據回溯t0t1t2t3t4Rewindtot1Rewi27僅為您使用的資源按秒付費A

u

ro

r

a

無服務器架構(

S

er

v

er

l

e

s

s

)Warm

CapacityPoolScalableDatabase

Capacity(Compute+

Memory)SharedDistributed

StorageServerless

是一種面向

Aurora

的按需擴展配置，數據庫將根據您的應用程序的需求來自動啟動、關閉以及縱向和橫向擴展數據庫容量。可在云中運行關系數據庫，而無需管理數據庫實例或集群。Application按需自動啟停Database

Endpoint無服務器化、自動擴展僅為您使用的資源按秒付費Aurora無服務器架構(28議程Aurora特性Aurora技術架構遷移至AuroraAurora客戶案例議程29A

u

ro

r

a

適用場景Mysql/PostgreSQL即使優化仍然遇到瓶頸優化索引優化SQL主從讀寫分離拆分數據庫高并發讀寫，尤其寫操作的負載很高需要快速恢復最小化讀副本的延遲免去手動sharding或者使用sharding中間件帶來的復雜性和運維成本Aurora適用場景Mysql/PostgreSQ30A

m

a

zo

n R

DS

遷移至A

u

ro

r

a

的不同場景同構數據庫有一定的停機時間最小停機時間異構數據庫有一定的停機時間最小停機時間詳細過程可參考：/cn/blogs/china/every-scene-mysql-database-move-to-amazon-aurora/Amazon RDS遷移至Aurora31A

m

a

zo

n R

DS

遷移至A

u

ro

r

a創建RDS快照根據快照創建Aurora數據庫應用程序開始使用Aurora數據庫同構數據庫有一定的停機時間Amazon RDS遷移至Aurora創32A

m

a

zo

n R

DS

遷移至A

u

ro

r

a創建Aurora只讀副本把Aurora只讀副本提升為主庫應用程序開始使用Aurora數據庫同構數據庫最小停機時間Amazon RDS遷移至Aurora創33自建數據庫遷移至A

u

ro

r

a為自建數據庫創建備份把數據庫備份上傳到S3根據備份創建Aurora數據庫應用程序開始使用Aurora數據庫同構數據庫有一定的停機時間自建數據庫遷移至Aurora為自建數據庫創建備份34自建數據庫遷移至A

u

ro

r

a創建Aurora從庫自建數據庫與Aurora從庫進行數據同步主從切換，使得Aurora從庫變成新的主庫應用程序開始使用Aurora數據庫同構數據庫，以MySQL為例有一定的停機時間自建數據庫遷移至Aurora創建Aurora自建數據35自建數據庫遷移至A

uro

r

a同構或者異構數據庫最小停機時間遷移關鍵業務系統遷移數據倉庫到Amazon

Redshift歸檔老數據升級小版本合并多個數據分片到Amazon

Aurora復制數據從而在云端分析數據從NoSQL遷移到SQL，或者從SQL遷移到NoSQL，或者從NoSQL遷移到NoSQLAmazon

RDSAmazon

RedshiftAmazon

AuroraAmazonDynamoDBAmazon

S3遷移自建數據庫遷移至A