1、數(shù)據(jù)脫敏大數(shù)據(jù)架構(gòu)設(shè)計(jì)紫金新聞發(fā)布于2019-03-28需求背景系統(tǒng)有數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量。現(xiàn)在針對(duì)以下幾個(gè)需求進(jìn)行講解1、支持冗余設(shè)計(jì)2、支持任務(wù)自動(dòng)分發(fā)，支持自動(dòng)負(fù)載均衡3、支持隨時(shí)擴(kuò)容節(jié)點(diǎn)而無(wú)需關(guān)停原有的系統(tǒng)和業(yè)務(wù)架構(gòu)和模塊架構(gòu)圖謚取韻摳同歲曲務(wù)罌指版進(jìn)戦數(shù)據(jù)同歩阪勞逗行培興握吿脫敏擴(kuò)展性架構(gòu)圖五核心模塊及其主要功能調(diào)度平臺(tái)使用Nginx方式來(lái)調(diào)用數(shù)據(jù)中心，通過(guò)注冊(cè)中心獲取數(shù)據(jù)中心的服務(wù)列表可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務(wù)；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時(shí)；讀取控制臺(tái)DB的配置信息，定時(shí)執(zhí)行數(shù)據(jù)同步任務(wù)對(duì)數(shù)據(jù)同步的

2、調(diào)用，可以按照簡(jiǎn)單的輪詢(xún)方式，也可以根據(jù)數(shù)據(jù)同步服務(wù)器的性能情況，進(jìn)行負(fù)載均衡數(shù)據(jù)同步負(fù)責(zé)執(zhí)行數(shù)據(jù)庫(kù)異構(gòu)數(shù)據(jù)同步任務(wù)，可支持增量，全量模式，用DataX框架來(lái)實(shí)現(xiàn)服務(wù)于調(diào)度平臺(tái)的調(diào)用會(huì)存儲(chǔ)數(shù)據(jù)同步的執(zhí)行結(jié)果，供控制臺(tái)進(jìn)行展示會(huì)上報(bào)服務(wù)器的性能指標(biāo)到數(shù)據(jù)同步DB，以供調(diào)度平臺(tái)參考控制臺(tái)配置管理界面，服務(wù)于用戶(hù)進(jìn)行數(shù)據(jù)同步任務(wù)的配置信息，并存儲(chǔ)到控制臺(tái)DB中；數(shù)據(jù)識(shí)別負(fù)責(zé)針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行數(shù)據(jù)識(shí)別任務(wù)數(shù)據(jù)脫敏按照內(nèi)置規(guī)則、自定義配置，負(fù)責(zé)脫敏數(shù)據(jù)可提前進(jìn)行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉(zhuǎn)換環(huán)節(jié)調(diào)用三個(gè)輔助服務(wù)發(fā)現(xiàn)模塊注冊(cè)中心用于服務(wù)發(fā)現(xiàn)和注冊(cè)數(shù)據(jù)同步注冊(cè)實(shí)例并定期報(bào)心跳可以用zookeerper來(lái)實(shí)現(xiàn)調(diào)

3、度平臺(tái)通過(guò)域名訪問(wèn)注冊(cè)中心獲取數(shù)據(jù)同步的地址列表Nginx和域名系統(tǒng)配合，協(xié)助調(diào)度平臺(tái)訪問(wèn)注冊(cè)中心獲取數(shù)據(jù)同步地址列表和域名系統(tǒng)配合，協(xié)助用戶(hù)訪問(wèn)控制臺(tái)進(jìn)行配置管理可用性分析高可用通過(guò)Nginx、注冊(cè)中心來(lái)實(shí)現(xiàn)，可以支持動(dòng)態(tài)擴(kuò)容。每個(gè)主要模塊都是以無(wú)狀態(tài)集群方式部署的，各自模塊都可以通過(guò)注冊(cè)中心來(lái)實(shí)現(xiàn)服務(wù)注冊(cè)，模塊之間的調(diào)用服務(wù)發(fā)現(xiàn)來(lái)獲取，并以域名方式實(shí)現(xiàn)。考慮到擴(kuò)展，所以設(shè)想的方案是盡可能的做到每個(gè)服務(wù)職責(zé)單一。這樣的拆分，也是考量到每個(gè)環(huán)節(jié)的瓶頸都不一樣，目前預(yù)估不是很精確，這樣可以為后續(xù)擴(kuò)展提供方便性。數(shù)據(jù)脫敏、數(shù)據(jù)識(shí)別需要單獨(dú)獨(dú)立出來(lái)，原因：本身的服務(wù)不在數(shù)據(jù)同步中，可能提前預(yù)處理進(jìn)行

4、。通過(guò)集群部署方式，支持冗余設(shè)計(jì)。調(diào)度平臺(tái)、Nginx集群通過(guò)數(shù)據(jù)同步性能情況，實(shí)現(xiàn)任務(wù)自動(dòng)分發(fā)，支持自動(dòng)負(fù)載均衡。可用性分析可用性表格分析場(chǎng)景影響降級(jí)原因某臺(tái)數(shù)據(jù)同步下歩無(wú)影響教據(jù)冋步無(wú)狀態(tài)調(diào)痘干甘重連其他的數(shù)據(jù)同步服努所有數(shù)據(jù)同步T統(tǒng)調(diào)度平臺(tái)無(wú)法執(zhí)行數(shù)據(jù)同步任務(wù)控制臺(tái)lh常運(yùn)行;調(diào)度平臺(tái)把數(shù)據(jù)同步任務(wù)放入執(zhí)行欽列，等待執(zhí)行某個(gè)Ngirrx下尢影響多Ngiri工部書(shū)數(shù)據(jù)完全同步注冊(cè)中心、控制臺(tái)域名iiiSSLB自動(dòng)切換到其他存活的NgiriJt控制臺(tái)DB宕機(jī)調(diào)度中心無(wú)影響控制臺(tái)無(wú)法更新配置調(diào)度平臺(tái)開(kāi)啟配菁緩存后（對(duì)配置的讀取不受數(shù)據(jù)庫(kù)宕機(jī)影響某臺(tái)數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏卞無(wú)影響數(shù)擔(dān)識(shí)剔、數(shù)據(jù)脫敏無(wú)狀態(tài)”數(shù)據(jù)同步重連其他的數(shù)據(jù)識(shí)別.數(shù)據(jù)脫敏同步服務(wù)全部數(shù)據(jù)識(shí)別、數(shù)括脫敏下數(shù)據(jù)同步可執(zhí)行會(huì)彫響任務(wù)時(shí)長(zhǎng)無(wú)彩晌結(jié)論數(shù)據(jù)同步、控制臺(tái)、調(diào)度平臺(tái)、數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務(wù)模塊，相互協(xié)作完成配置中心業(yè)務(wù)功能，Nginx、注冊(cè)中心是輔助