海量存儲和高并發的數據庫架構設計實踐

2024

目錄

海量業務數據存儲方案對比分析

01

傳統關系庫擴展方法論及企業級案例

02

新方向探索—分布式關系數據庫應用實踐

03

01海量業務數據存儲方案對比分析

數據拆分

分布式存儲

分布式事務

兼容問題

數據路由

業務適配

我們應該如何選擇

數據拆分：分庫分表方案帶來的數據路由和分布式事務等復雜問題全部拋給了業務；

分布式存儲：學習成本和不可預知的兼容問題，讓我們不敢輕易嘗試；

道阻且長，沒有萬金油....

02 傳統關系庫擴展方法論及企業級案例

02傳統關系庫擴展方法論及企業級案例

垂直 水平 冷熱

垂直拆分：按業務隔離垂直拆表：寬表變窄表

橫向擴展，提升系統存儲量 熱庫抗線上流量冷庫數據歸檔

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

商品庫分表

系統消息庫分表

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

商品庫分表

系統消息庫分表

存儲均勻&訪問均勻->取模

手機號查詢怎么辦？

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

商品庫分表

系統消息庫分表

查詢自己發布的商品

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

pub

pub

商品庫分表

兩個維度查詢必須滿足

映射表太重

系統消息庫分表

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

商品庫分表

系統消息庫分表

時效性強

冷熱數據拆分

思考：有效期30天

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

用戶庫分表

商品庫分表

系統消息庫分表

時效性強

冷熱數據拆分

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

分表分少了怎么辦？

02傳統關系庫擴展方法論及企業級案例

分庫分表—案例分享

業務修改路由算法，后臺清理數據

03 新方向探索—分布式關系數據庫應用實踐

03新方向探索—分布式關系數據庫應用實戰

分布式存儲

分布式存儲，副本集數據同步，提供良好的水平擴展能性

分片存儲

數據分片存儲，分片內主從同步，提供數據路由解決方案

存儲計算分離

存儲節點、計算節點均可水平擴展，持續提升系統吞吐量

03新方向探索—分布式關系數據庫應用實戰

NewSQL數據庫引入測試

讀寫均勻 讀多寫少

03新方向探索—分布式關系數據庫應用實戰

模擬業務場景測試

選擇場景

IM聯系人列表

測試驗證

構造數據

模擬流量

03新方向探索—分布式關系數據庫應用實戰

NewSQL數據庫數據遷移

數據遷移

主從同步

雙寫

流量遷移

切讀

停雙寫

網關層

業務邏輯層

MQ

read

sync

數據訪問層

數據訪問層

write write

MySQL

Master

TiDB

Slave

03新方向探索—分布式關系數據庫應用實戰

NewSQL數據庫樂觀鎖問題

業務場景——手機通知欄推送

uid

token

version

ts

U12

P31

XXX

1XXXX

U2

P2

XXX

1XXXX

用戶—設備ID映射

U3 default XXX 1XXXX

數據變更場景

1賬號登陸多手機

1手機登陸多賬號

優化業務，過濾默認值的數據

03新方向探索—分布式關系數據庫應用實戰

NewSQL數據庫樂觀鎖問題

商品狀態流轉

id

status

ts

bis

1

0//可售

XXX

XXX

2

1//下架

XXX

XXX

3

2//拍下

XXX

XXX

發布者下架商品0-1

買家拍下商品0-2

Transaction1 Transaction2

BeginTransaction

BeginTransaction

setstatus=1whereid=1andstatus=0

if(affected==1)

setstatus=2whereid=1andstatus=0

........

if(affected==1)

..........

commit commit

03新方向探索—分布式關系數據庫應用實戰

悲觀鎖處理方式

Transaction1 Transaction2

BeginTransaction

BeginTransaction

set

status=1whereid=1andstatus=0

setstatus=2whereid=1andstatus=0

//blocking

if(affected==1)

if(affected==1)

........

不會進入

//affected==0

........

commit commit

03新方向探索—分布式關系數據庫應用實戰

樂觀鎖處理方式

Transaction1 Transaction2

BeginTransaction

BeginTransaction

set

status=1whereid=1andstatus=0

if(affected==1)

setstatus=2whereid=1andstatus=0

if(affected==1) //affected==1

........

//MQorRPC！如何回滾？