AWS數據庫上云最佳實踐_第1頁
AWS數據庫上云最佳實踐_第2頁
AWS數據庫上云最佳實踐_第3頁
AWS數據庫上云最佳實踐_第4頁
AWS數據庫上云最佳實踐_第5頁
已閱讀5頁,還剩22頁未讀, 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、AWS數據庫上云最佳實踐AWS Database Migration Services 技術日程Redshift數據倉庫EMRHadoop + SparkAthena交互式分析Kinesis DataAnalytics 實時ElasticsearchService運營分析MariaDB, Oracle, SQLServerAuroraMySQL,PostgreSQLRDSMySQL, PostgreSQL,QuickSightSageMakerDynamoDB鍵值ElastiCacheRedis, MemcachedNeptune圖時間流時間序列QLDB分類賬數據庫S3/GlacierGlue

2、ETL和數據目錄Lake Formation數據湖Database Migration Service| Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams數據移動分析Databases商業智能和機器學習數據湖Managed BlockchainBlockchain TemplatesBlockchainRDS on VMwareDocumentDB文件我們的產品組合廣泛而深入的產品組合,精確構建將現有應用程序“提取和 更換”至云在云中快速構建新的 應用程序獲得新的見解三個階段關系數據庫非關系數據庫數據倉庫H

3、adoop和SparkRedshiftEMR 運營分析ElasticSearch ServiceAurora業務智能QuickSightRDSDynamoDB DocumentDB客戶想提取和更換至云我的數據該如何上云本地數據庫遷移至AWS云上轉換數據庫產品 數據庫對象轉換幾乎為零的停機時間數據庫遷移服務AWS SchemaConversion Tool服務組件定制化遷移現有數據持續復制服務遷移階段定制化您的數據倉庫把Oracle, SQL Server, Netezza, Greenplum,Vertica, 或 Teradata 轉化為 Amazon Redshift定制化定制化您的數據庫

4、把Oracle, SQL Server, 或 Db2 轉化為 PostgreSQL, MySQL, 或 Amazon Aurora介紹Amazon AuroraAmazon RedshiftMySQLPostgreSQLSCT用來轉換對象:介紹遷移現有數據不需要停機不影響原有數據不需要安裝代理、插件跨數據庫產品自動轉換支持數據合并、拆分不僅僅是關系型數據庫介紹Amazon RDSAmazon RedshiftAmazon AuroraAmazon DynamoDBAmazon S3SDM日志架構SMD特性 - 數據合并、拆分SMDAmazon AuroraAmazon AuroraAmazon

5、 RDSAmazon Aurora 跨regionAmazonRDSSMDAmazon S3Dynamodb特性 -不僅僅是關系數據庫持續復制讀取源端日志迅速的同步至目標端實時數據驗證特性 - 持續復制客戶 場所應用程序用戶AWS網絡VPN特性 幾乎零宕機遷移啟動復制實例連至源數據庫和目標數據庫選擇表格、模式或數據庫讓AWS DMS創建表格、加載數 據,并使其保持同步在方便時將應用程序切換至目標AWS DMS操作界面操作界面操作界面數據類型 請在DMS官方文檔查閱所支持的數據類型。數據庫發行版本 商業數據庫版本限制。DDL語句 不同數據庫產品所支持的DDL語句有所差異,比如MySQL作為目標時

6、,不支持TRUNCATE PARTITION、DROP TABLE 和 RENAME TABLE。用戶、模式、庫之間的轉換 不同數據庫產品,對于用戶、模式、庫的使用方式有很大差別,比如定位一張表,Oracle是庫.模式.表;MySQL是用戶.庫.表;PostgreSQL是用戶(角色).庫.模式.表時間格式 通常字符串類型varchar、數字類型int的用法大同小異,還請注意不同數據庫產 品對于時間類型的格式有差別,需要調整代碼。最佳實踐 - 跨數據庫產品最佳實踐 - 跨數據庫產品最佳實踐 - 跨數據庫產品表完全加載后,立即開始驗證對于持續復制的任務,對比所有增刪改選用大內存實例詳細報告源端與目

7、標端不匹配的數據行會把詳細內容記錄在目標端表中:awsdms_validation_failures_v1select * from awsdms_validation_failures_v1“;SCOTT PEOPLERowkey:111記錄目標丟失key:4source column : NAME, value : Super333 與目標列不匹配:lalala最佳實踐 - 數據驗證表設置 添加主鍵。遷移的項目 DMS僅遷移表、數據、主鍵索引,適度添加目標端二級索引。并行度 DMS默認是8張表并行加載,可以提升此值,同時根據復制實例的性能情況加大復制 實例的機型,過大的并行數量反而會降低復制速度。降低目標端的瓶頸 關閉目標端的約束、日志記錄、備份,加載完數據后再逐步開啟。開啟多任務task 對于同一個復制項目,可以開啟多task以增加并行度。請注意每個task所包 含的表,都應該處于同一個事務中,即不要出現這

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論