具有機器學習功能的MySQLHeatwave

徐軼韜

1

②膘嘿膘會重天輪

同

徐軼韜!MySQL

甲骨文公司MySQL解決方案首席工程師\高可用解決方案

從主從復制至『IrmoDBCluster架構

公眾號"MySQL解決方案工程師”的內容

卡理學

作者和運營者。Q1|?EVUKHCM

《MySQL高可用解決方案——從主從復制到InnoDBCluster架構》作者

為何在云中使用MySQL?

保持數據庫的安全性變得更為困難

快速部署與自動化

有助于改善系統管理與合規性

基礎康務外包

有助于減少運營開銷

節省成本

節省硬件成本和軟件許可證成本

3

為何選擇MySQLDatabaseService(MDS)

使用MySQL企業版

?減少數據泄露風險

,滿足合規要求

■獲取最新的安全更新

■與本地部署的MySQLlOO%兼容

?來自MySQL專家的技術支持

更能節省成本

4

MDS使用MySQL企業版提供云服務

Oracle負責

?備份與恢復

?具有自動故障轉移功能的

高可用性

?水平與垂直擴展

?數據庫和操作系統補丁

?監視和日志處理

?MySQL企業版中的高級功能

。呼W@經天髭

5

70%與AmazonRDS相比節省成本

MySQLDatabaseService:1YearTCO

100OCPUs,1TBStorage

$212,974

￡

MySQLDatabaseService:StandardE3AMD16GB/Core,allregionshavethesameprice.5

AmazonRDS:IntelR516GB/Core,AWSUSEast.$170,244

Azure:MemoryOptimizedIntel20GB/Core,MSAzureUS-East.sN

Google:HighMemoryN1StandardIntel13GB/Core,GCPNorthernVirginia.aJ

<o

Configuration:100OCPUs,1TBStorage.t

s

C

Op

Nn

ro

a_

Eu

<Q

M

O$65,833

O

±30%CostO(/>

@凄天輪

一代云：二代云：

普遍的做法OracleCloudInfrastructure-Wide

架構設計為對租戶多

最大程度的隔離和癡

ServerVirtualization

......Hypervisor..........

NetworkVirtualization

HostOS/Kernel

租戶之間

7。呼M**&經天髭

MySQLDatabaseService:高可用性

具有自動故障轉移和零數據丟失的容錯系統

。呼W@經天髭

8

挑戰#1:事務處理與分析處理的系統需要分開

MySQL用戶需要分別使用OLTP和OLAP系統

傳統的行格式沒有針對OLAP工作負載進行優化

。呼W@經天髭

10

Oracle云中提供的MySQLHeatwave數據庫服務

無需重寫查詢和ETL、加速OLTP和OLAP工作

1.fMySQL數據庫，用于OLTP和

OLAP應用程序

MySQL

Database2.數據分區存儲在內存

Service

InnoDBHeatVave

MySQL3.已有的應用程序無需任何更改

My盛

。呼W@經天髭

11

MySQLHeatwave數據庫服務架構

。呼W@經天髭

12

HeatWave:實時分析

插入MySQL的數據可以在一秒內進行分析查詢

Insert/AnalyticQuery

UpdateQueryResults

It

MySQLDatabaseServiceHeatWaveCluster

MySQLCompiler&Optimizer

Query

OLTPQueryAnalyticQueryPushdown

OptimizationOptimization---->

MySQLExecutionInnoDBA

RealTime

Update

Results

。呼w@經天髭

13

挑戰#2:用于機器學習的工具和服務需要分開

需要使用ETL分離數據進行訓練與預測

?復雜，耗時

?增加成本和風險當使用其他數據庫時，情況會更?

?需要學習新的工具/語言

。呼W@經天髭

15

使用MySQLHeatWave的機器學習

加速ML計劃，增加安全性，降低成本

166）呼W會經天髭

HeatwaveML與其他的ML使用方法對比

WithoutMLinMySQL

SensitiveModel/DataBoundary

17

OracleAutoML自動生成一個準確和快速的模型

Cleanse,impute&IdentifytopkFilterrelevantSelectsuitableIdentifyoptimalGenerateModelTrainPredictionTuned

Model

normalizefeaturesalgorithmscolumnssamplehyperparametersexplanationsExplainer

AutoML有多個自動化處理步驟，用于精確預測

?非迭代管道設計

?利用算法和數據集的元數據學習

?智能選擇，減少每個階段的嘗試

?根據輸入數據集特征選擇算法/參數，準確率更高，運行時間更短

?通過使用元數據學習實現

?可擴展設計

?所有階段都利用了節點間和節點內的并行性，減少了運行時長

。呼W@經天髭

18

HeatWaveMLvsRedshiftML:基準測試

/產生更準確的結果

,訓練模型平均速度快25倍

/1%的成本

/添加更多模型時可以擴展

基準測試詳細內容:https:〃www.oracle,com/myscil/hcatwave/performance/

。呼W@經天髭

19

零宕機時間OLTP、OLAP,及ML

通過增加或減少任意數量的節點、調整HeatWave集群的大小

REAL-TIMEELASTICRESIZING

AWSRedshift

Snowflake

Onlyscaleto10-15minutequery

theirsizesblackoutandmanual

balancingrequired

。呼W@經天髭

20

挑戰#3:人工管理工作耗時嚴重

人工管理任務消耗資源

?本地部署*

-數據庫管理：配置、備份、HA、補丁、安全等

-操作系統管理：安裝、打補丁、升級……

-基礎設施管理：服務器的購買和維護，存儲

-數據中心管理：空間、電源、冷卻、災難恢復等

?云1R務，

-配置：調整數據庫的大小

-數據加載：優化加載時間，內存使用，編碼，數據放置

-查詢執行：性能調優，查詢的優先級排序

-失敗處理：處理錯誤恢復的操作

。呼叫’?0經天髭

基于OCI的MySQLDatabaseService

開發、管理、支持，100%由Oracle提供

AutomationMySQLOn-PremisesMySQLDatabaseService

的o

Scaling

的o

Backup

Database。o

SecurityPatch&Upgrade

的o

Provision&Configure

。o

OSSecurityPatch&Upgrade

OS。o

OSInstallation

。e

ServerHardwarePurchase&Maintenance

。o

StorageStoragePurchase&Maintenance

的e

Rack&Space

DataCenter的o

Power,HVAC,Networking

。呼W@經天髭

23

MySQLHeatWave的基于機器學習的安全自動化

ADVISOR

AutoParallelLoading

AutoProvisioningAutoDataPlacement

AutoEncoding

MySQL

Autopilc

Data-driven

Query-driven

MLautomation

AutoScheduling

AutoChangePropagation

AutoErrorRecoveryAutoQueryTimeEstimation

AutoQueryPlanImprovement

AUTOMATED

24

自動部署

機器學習預測內存使用以估計集群大小

HeatWave

nodes

。呼W@經天髭

25

自動部署結果

精度高、效率高，全自動

Adaptivesampling

%

s

￡

<0.1%ofdatascannedforprediction

DatasetsTPCH1024GTPCDS1024GCustACustB

Accuracy

inmemory98.4%96.9%98.3%96.9%

prediction

。呼M**&經天髭

26

自動數據放置

系統根據查詢預測并顯示內存中分區數據的最佳列

運行時預測改進o

)Nodata

movement

Workload-aware

placementkeyso

Nodata

oJmovement

Nodata

Jmovement

。呼w@經天髭

自動數據放置結果

隨著模型不斷學習，性能提高

Timewith

primarykeyPredictedActual

Datasetimprovementimprovement

placement

TPCH1024332sec26%37%

TPCH4096373sec20%25%

。呼W@經天髭

28

自動改進查詢計劃

優化器根據前面執行的查詢，學習和改進查詢計劃

Query#1Query#2

AXBXCAXBUD

NodeStatistics

A70

B150

AXB1000

C

AXBXC

Runtimestats

MySQLAutopilotimprovesTPCH,TPCDS24TBperformanceby40%

29

自動調度

預測執行時間并對較短的查詢進行優先級排序，以減少總體

等待時間

SCHEDULING

Session1

Session2

Session3

減少混合工作的等待時間

(CLIP+OLAP)

。呼W@經天髭

30

MySQLHeatWave擴展數據管理

重新加載任意數量的數據的時間固定?

Error

x

recoveryd

o

M

Oo

s

p

Restart」

工

P

P

Oo

I

UpgradeXCD

p

4->o

p

(

一

Reload

HeatWave

31。呼M**&經天髭

MySQLHeatWave的安全強化

數據處于加密狀態

e

8

a

l

o

-sp

o

A

B

m

H

-

32。呼M**&經天髭

高級別的安全性

用于實現額外安全措施的內置服務器功能

?使用密鑰生成和數字簽名的非對稱加密：使用公鑰和私鑰增加對機密數據的

保護，并實現數字簽名來確認簽署文檔的人的身份。

?數據屏蔽和脫敏：幫助保護私人數據免受外部攻擊和惡意員工的攻擊。

?數據庫防火墻：防止特定于數據庫的攻擊，如SQL注入。

蕾

。呼W@經天髭

33

公有云

MySQL

HeatWave

OPACLGCLOUD

Infrastructureaws/

對每個云進行優化，以提供最佳的性價比

。呼w@經天髭

35

MySQLHeatWaveonAWS

?MySQLHeatWave運行在AWS上，針對AWS基礎設施進行了優化

?數據不會離開AWS——節省流量成本，并避免合規性審批

?訪問MySQLHeatWave最低的延遲

?與AWS生態系統緊密集成-S3、CloudWatch,PrivateLink

。呼W@經天髭

36

MySQLHeatWave為OLTP提供了比Aurora高10倍的吞吐量

自動化線程池

TPC-C_100W(10G,DatafitsinBufferPool)

7000

(

s

/

SMySQLHeatwave

U5o

O

W00

B

S

U

e4o

-00

l

)

l

n38o

d

-n&2o

o00

q」

l

1

00

AmazonAurora

102420484096

Concurrency

*BenchmarkqueriesarederivedfromtheTPC-Cbenchmarks,butresultsarenotcomparabletopublishedTPC-CbenchmarkresultssincethesedonotcomplywiththeTPC-Cspecifications.

37

性價比對比

比Redshift好7倍、比Snowflake好10倍、比BigQuery好12倍、比Synapse好4倍

4TBTPC-H*

(■Heatwave

M10rodn

E

)■Red5hiH

E2*f?34■

dSnowFlakoe

■GoogleBQ

4003、

■AZUW

OWtjOOl

Onlycomputecostsareconsideredhere

PricingforRedshiftisbasedon1-yearreservedinstance,paidupfront.SnovJIakepriceisbasedonstandardedition

PriceforGoogleBigQueryisbasedonmonthlyflatratecommitment.AzureSynapseisbasedon1-yearreservedpricing

“BenchmarkqueriesarederivedfromtheTPC-Hbenchmarks,butresultsarenotcomparabletopublishedTPC-HbenchmarkresultssincethesedonotcomplywiththeTPC-Hspecifications.

。呼M**&經天髭

38

MySQLHeatWave控制臺

MySQLHeatwave

CRACl,eInteractiveUIftData

WorkspdOi

85fmm

-MySQLHot

27%□NwntU

OwnptoOBD?Cc4i_1<?4XML.<MNTEJtMM

□M<r?MCe2