分布式平臺(tái)技術(shù)規(guī)范本文件規(guī)定了面向聯(lián)機(jī)交易系統(tǒng)的分布式平臺(tái)應(yīng)覆蓋的范圍及應(yīng)具備的基礎(chǔ)功能。本文件適用于聯(lián)機(jī)交易系統(tǒng)所使用的分布式平臺(tái)的建設(shè)。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)data信息的可再解釋的形式化表示，以適用于通信、解釋或處理3.2分布式distributed<計(jì)算機(jī)>物理上由多個(gè)不同的機(jī)器參與執(zhí)行，但在邏輯上完成的是一個(gè)任務(wù)3.3微服務(wù)microservice<計(jì)算機(jī)>職責(zé)單一的、輕量化的服務(wù)單元3.4事務(wù)transaction<計(jì)算機(jī)>訪問并可能更新事務(wù)資源中各種數(shù)據(jù)項(xiàng)的一個(gè)程序執(zhí)行單元(unit)注：一個(gè)事務(wù)如果執(zhí)行成功就全部提交，如果4概述分布式平臺(tái)需要為系統(tǒng)提供全方位的分布式能力，當(dāng)性能遇到瓶頸時(shí)可通過橫向擴(kuò)展的機(jī)制予2以解決，并且需對(duì)分布式帶來的事務(wù)問題提供完備的解決方案。不同領(lǐng)域的聯(lián)機(jī)交易系統(tǒng)對(duì)分布式的需求存在一定差異，在進(jìn)行系統(tǒng)建設(shè)時(shí)可按需選擇，分布式聯(lián)機(jī)交易系統(tǒng)的參考架構(gòu)見圖1，其中分布式平臺(tái)應(yīng)包括：a)微服務(wù)平臺(tái)：提供應(yīng)用層的分布式能力，將一個(gè)復(fù)雜系統(tǒng)拆分為多個(gè)微服務(wù)，每個(gè)微服務(wù)可同時(shí)運(yùn)行多個(gè)實(shí)例，不僅提升了系統(tǒng)的擴(kuò)展性、可用性，還可以快速靈活的應(yīng)對(duì)業(yè)務(wù)變化；b)分布式數(shù)據(jù)：將大數(shù)據(jù)量表中的數(shù)據(jù)進(jìn)行水平拆分，用多個(gè)物理庫來承載，不僅降低了單表的數(shù)據(jù)量，還增加了可用的物理資源；c)分布式緩存：對(duì)于大量的數(shù)據(jù)查詢請(qǐng)求，采用分布式緩存進(jìn)行存儲(chǔ)，降低對(duì)數(shù)據(jù)庫的交互次數(shù)，縮短服務(wù)的響應(yīng)時(shí)間；d)全局序列：提供跨多個(gè)微服務(wù)實(shí)例的序列服務(wù)，以防止不同實(shí)例中的序列重復(fù)；e)分布式調(diào)度：提供統(tǒng)一的分布式調(diào)度機(jī)制，協(xié)調(diào)多個(gè)微服務(wù)節(jié)點(diǎn)及數(shù)據(jù)庫節(jié)點(diǎn)共同參與運(yùn)行，充分利用物理資源，將批量處理的時(shí)間控制在有效范圍內(nèi)；f)分布式事務(wù)：由于微服務(wù)和分布式數(shù)據(jù)，就會(huì)帶來分布式事務(wù)的問題，所以需提供跨數(shù)據(jù)庫、跨微服務(wù)的事務(wù)一致性的保證機(jī)制。圖1分布式聯(lián)機(jī)交易系統(tǒng)架構(gòu)5微服務(wù)平臺(tái)5.1概述微服務(wù)平臺(tái)的主要目的是為聯(lián)機(jī)交易系統(tǒng)提供應(yīng)用分布式的運(yùn)行機(jī)制，以及配套的管理體系，主要包括：接入網(wǎng)關(guān)、微服務(wù)引擎和運(yùn)維監(jiān)控三大部分。5.2接入網(wǎng)關(guān)接入網(wǎng)關(guān)為外部系統(tǒng)訪問提供統(tǒng)一的接入及控制，應(yīng)包括：a)服務(wù)鑒權(quán)：對(duì)服務(wù)的訪問進(jìn)行控制，只有在權(quán)限范圍內(nèi)的才可以訪問，否則將被拒絕；b)流量控制：對(duì)請(qǐng)求的總量進(jìn)行控制，如果超過限制，后續(xù)的請(qǐng)求將會(huì)被拒絕或者等待，還可以按具體的業(yè)務(wù)維度進(jìn)行更細(xì)粒度的控制，例如：按交易渠道進(jìn)行控制；3c)熔斷降級(jí)：如果某個(gè)服務(wù)的失敗率比較高，或者發(fā)現(xiàn)一些明確的異常情況，有可能影響到其他服務(wù)的正常運(yùn)行，自動(dòng)切斷該服務(wù)的所有請(qǐng)求（直接拋錯(cuò)或者返回約定信息），以保護(hù)系統(tǒng)整體的可用性。5.3微服務(wù)引擎微服務(wù)引擎為微服務(wù)平臺(tái)提供運(yùn)行保障，應(yīng)包括如下功能：a)服務(wù)注冊(cè)/發(fā)現(xiàn)：服務(wù)提供者在啟動(dòng)時(shí)將服務(wù)相關(guān)信息注冊(cè)到“注冊(cè)中心”，服務(wù)消費(fèi)者通過“注冊(cè)中心”獲取到最新的服務(wù)列表，當(dāng)服務(wù)提供者下線時(shí)，注冊(cè)信息從“注冊(cè)中心”刪除，服務(wù)消費(fèi)者更新服務(wù)提供者列表；b)負(fù)載均衡：服務(wù)消費(fèi)者調(diào)用提供者時(shí)，根據(jù)本地列表并依據(jù)指定的算法選擇具體的提供者進(jìn)行調(diào)用，整體需保證到多個(gè)提供者上的負(fù)載相對(duì)均衡，平臺(tái)需提供多種常用的負(fù)載均衡策略，例如：輪訓(xùn)、隨機(jī)、最小并發(fā)數(shù)等；c)自動(dòng)隔離/恢復(fù)：當(dāng)服務(wù)提供者出現(xiàn)異常情況（例如宕機(jī)），自動(dòng)從“注冊(cè)中心”刪除，當(dāng)其恢復(fù)后又自動(dòng)加入，期間消費(fèi)者同步獲取到最新的服務(wù)提供者列表；d)集群容錯(cuò)：當(dāng)服務(wù)調(diào)用發(fā)生異常時(shí)，提供多種容錯(cuò)機(jī)制，例如：重試（可以設(shè)定重試次數(shù)）、直接拋錯(cuò)等機(jī)制。5.4運(yùn)維監(jiān)控運(yùn)維監(jiān)控為微服務(wù)平臺(tái)提供管理能力，應(yīng)包括：a)灰度發(fā)布：服務(wù)有新的版本發(fā)布時(shí)，可通過灰度發(fā)布只對(duì)部分用戶開放，運(yùn)行一段時(shí)間如果達(dá)到預(yù)期，再對(duì)所有用戶開放；b)統(tǒng)一配置：通過統(tǒng)一的配置中心快速完成多個(gè)微服務(wù)實(shí)例相關(guān)參數(shù)的調(diào)整，同時(shí)提供配置信息的版本管理，防止配置出現(xiàn)問題時(shí)統(tǒng)一回退；c)服務(wù)治理：服務(wù)治理主要對(duì)服務(wù)運(yùn)行態(tài)的情況進(jìn)行動(dòng)態(tài)調(diào)控。1)負(fù)載策略調(diào)整：對(duì)多個(gè)服務(wù)提供者的負(fù)載均衡策略進(jìn)行調(diào)整，防止某個(gè)提供者上的負(fù)載過高；2)流控策略調(diào)整：根據(jù)實(shí)際需要，對(duì)流量控制的策略進(jìn)行動(dòng)態(tài)調(diào)整；3)熔斷降級(jí)控制：對(duì)服務(wù)的熔斷及降級(jí)的策略進(jìn)行調(diào)整；4)路由控制：通過配置對(duì)服務(wù)的路由策略進(jìn)行干預(yù)，例如：暫時(shí)把某一個(gè)服務(wù)提供者屏蔽。d)調(diào)用鏈跟蹤：支持查看服務(wù)調(diào)用過程的完整鏈路信息，以主動(dòng)發(fā)現(xiàn)和追蹤業(yè)務(wù)系統(tǒng)的調(diào)用關(guān)系，快速定位系統(tǒng)瓶頸；e)分布式日志：把分布式系統(tǒng)下的相關(guān)日志信息進(jìn)行采集、匯總，并把跨多個(gè)微服務(wù)的日志串接起來，提供統(tǒng)一的頁面按不同維度進(jìn)行日志信息的查詢；f)監(jiān)控告警：對(duì)相關(guān)的監(jiān)控對(duì)象制定對(duì)應(yīng)的告警策略，當(dāng)達(dá)到告警條件時(shí)產(chǎn)生告警信息，以便運(yùn)維人員及時(shí)處理。6分布式數(shù)據(jù)46.1概述分布式數(shù)據(jù)的主要目的是將大數(shù)據(jù)量的關(guān)系型表通過水平拆分的方式，將數(shù)據(jù)分布式的存儲(chǔ)到多個(gè)不同的節(jié)點(diǎn)，查詢時(shí)可以到具體的節(jié)點(diǎn)快速訪問。行業(yè)內(nèi)主要包括技術(shù)架構(gòu)層實(shí)現(xiàn)和采用獨(dú)立的“分布式數(shù)據(jù)庫”兩種模式。考慮到分布式數(shù)據(jù)庫是一個(gè)單獨(dú)的領(lǐng)域，該部分不包含在本文件內(nèi)，本文件僅涉及技術(shù)架構(gòu)層實(shí)現(xiàn)模式，主要包括：數(shù)據(jù)路由、語法兼容性、數(shù)據(jù)庫關(guān)聯(lián)性及運(yùn)維監(jiān)控幾個(gè)方面。6.2主要用語說明分布式數(shù)據(jù)涉及到的術(shù)語主要包括：a)數(shù)據(jù)分片：簡稱分片，將一張表的數(shù)據(jù)按照一定規(guī)則進(jìn)行拆分，經(jīng)過拆分后的每一部分?jǐn)?shù)據(jù)叫做一個(gè)數(shù)據(jù)分片；b)分片鍵：也稱為拆分鍵，具體的拆分過程應(yīng)針對(duì)某一個(gè)業(yè)務(wù)屬性，按照一定規(guī)則進(jìn)行，這里的業(yè)務(wù)屬性就是分片鍵，分片鍵一般都是表中的字段，例如，對(duì)“客戶信息”表按照“客戶號(hào)”取模的方式進(jìn)行拆分，“客戶號(hào)”就是分片鍵；c)拆分算法：也稱為分片算法，指用于計(jì)算相關(guān)數(shù)據(jù)在哪個(gè)分片的算法，b）中的取模是一種常用的拆分算法；d)路由：按照拆分算法將SQL發(fā)送到具體的分片上執(zhí)行的過程稱為路由；e)數(shù)據(jù)節(jié)點(diǎn)：簡稱節(jié)點(diǎn)，其概念類似分片，但分片是從數(shù)據(jù)的視角來看的，屬于邏輯概念，而節(jié)點(diǎn)則泛指分片的物理體現(xiàn)；注：物理體現(xiàn)的方式有多種，最常用的就是一個(gè)分片對(duì)f)分庫：當(dāng)一個(gè)分片對(duì)應(yīng)一個(gè)數(shù)據(jù)庫實(shí)例的時(shí)候，這里的每一個(gè)數(shù)據(jù)庫稱為分庫；g)分表：當(dāng)一個(gè)分片對(duì)應(yīng)一個(gè)數(shù)據(jù)庫表的時(shí)候，這里的每一個(gè)表稱為分表。6.3數(shù)據(jù)路由數(shù)據(jù)路由是該部分的核心功能，主要為數(shù)據(jù)的拆分提供策略性支持，應(yīng)包括：a)提供成熟的拆分算法：應(yīng)包括取模、日期、范圍、枚舉、哈希等常用算法；b)支持自定義拆分算法：在上述基本的拆分算法之外提供擴(kuò)展機(jī)制，支持開發(fā)人員根據(jù)實(shí)際業(yè)務(wù)需要自定義更加匹配的算法；c)同時(shí)支持分庫和分表：不僅支持分庫，還支持在分庫的基礎(chǔ)上進(jìn)行分表，以防止在某些情況下分庫數(shù)過多，造成運(yùn)維的不可控；d)指定路由：對(duì)某些特殊的SQL支持指定節(jié)點(diǎn)執(zhí)行；e)間接路由：對(duì)于一些使用率較高的SQL，但其WHERE條件又不包含分片鍵的情況（例如：客戶信息表按客戶號(hào)分片，用手機(jī)號(hào)查詢），應(yīng)提供間接通過分片鍵路由的機(jī)制；f)多維路由：支持同時(shí)按多個(gè)維度進(jìn)行拆分及路由。6.4語法兼容性該機(jī)制應(yīng)支持常用的SQL語句類型，主要包括：a)支持包含分片鍵的增加、刪除、修改和查詢；5b)跨庫的聚合函數(shù)、關(guān)聯(lián)查詢、排序、分頁、分組、聯(lián)合查詢等常用組合；c)支持字符串、數(shù)學(xué)、日期、格式化、聚合等常用函數(shù)。6.5數(shù)據(jù)庫關(guān)聯(lián)性該機(jī)制不應(yīng)跟具體的數(shù)據(jù)庫綁定，應(yīng)支持常用的關(guān)系型數(shù)據(jù)庫。6.6運(yùn)維監(jiān)控應(yīng)提供全面的運(yùn)維監(jiān)控能力，降低運(yùn)維的復(fù)雜度，主要包括：a)可視化的對(duì)數(shù)據(jù)的拆分策略進(jìn)行調(diào)整；b)對(duì)后端的數(shù)據(jù)庫進(jìn)行管理；c)提供數(shù)據(jù)管理員的數(shù)據(jù)操作及管理功能；d)提供在線擴(kuò)容機(jī)制。7分布式緩存本文件提到的分布式緩存主要指對(duì)緩存的分布式訪問，并不是指提供一個(gè)緩存服務(wù)器（隸屬于基礎(chǔ)設(shè)施范疇）。主要提供低侵入的分布式緩存（行業(yè)內(nèi)目前基本以redis為主）的訪問機(jī)制，但需要考慮對(duì)數(shù)據(jù)準(zhǔn)確性的要求。具體應(yīng)包括：a)基礎(chǔ)的分布式訪問的API：提供緩存分布式訪問的基礎(chǔ)API，為業(yè)務(wù)框架及特殊情況使用提供支持；b)跟數(shù)據(jù)庫配合的讀寫支持：對(duì)于跟數(shù)據(jù)庫配合的查詢時(shí)，優(yōu)先從緩存中查詢，如果緩存中沒有再查數(shù)據(jù)庫，并把結(jié)果放到緩存中；對(duì)于寫操作，提供機(jī)制保證緩存跟數(shù)據(jù)庫的數(shù)據(jù)一致性。上述操作應(yīng)降低對(duì)業(yè)務(wù)的侵入，如果是基于Java的實(shí)現(xiàn)宜采用注解的模式；c)臟數(shù)據(jù)的控制：如果并發(fā)的對(duì)緩存中的同一個(gè)數(shù)據(jù)進(jìn)行更新，或者一個(gè)緩存的更新跟查詢交叉在一起的極端情況下，有可能造成臟數(shù)據(jù)，應(yīng)提供完善的應(yīng)對(duì)機(jī)制。8全局序列全局序列為分布式系統(tǒng)提供統(tǒng)一的序列服務(wù)，防止微服務(wù)的各個(gè)實(shí)例自己實(shí)現(xiàn)，造成業(yè)務(wù)層面的序列重復(fù)。應(yīng)提供如下三種類型的序列：a)只保證唯一性，應(yīng)支持嵌入到應(yīng)用系統(tǒng)中使用；b)不僅保證唯一性，還保證序列遞增；c)不僅保證序列的唯一性和遞增特點(diǎn)，還需保證序列完全連續(xù)。9分布式調(diào)度分布式調(diào)度主要應(yīng)對(duì)分布式系統(tǒng)各種任務(wù)的協(xié)同工作，最大限度發(fā)揮分布式系統(tǒng)的特性，以更高效的方式完成待處理任務(wù)。具體應(yīng)包括：a)可視化的定義要執(zhí)行的任務(wù)及其依賴關(guān)系；6b)依據(jù)上述定義的依賴關(guān)系進(jìn)行執(zhí)行，執(zhí)行過程出現(xiàn)異常的任務(wù)可查看異常信息，并支持重新執(zhí)行。執(zhí)行時(shí)可將任務(wù)分配到多個(gè)節(jié)點(diǎn)，如果節(jié)點(diǎn)有異常應(yīng)切換到其他節(jié)點(diǎn)；c)提供機(jī)制保證在任何時(shí)間都至少有一個(gè)調(diào)度節(jié)點(diǎn)可用；d)對(duì)涉及大數(shù)據(jù)量的表的任務(wù)，支持對(duì)數(shù)據(jù)進(jìn)行分段，將其拆分為多個(gè)小的任務(wù)并行到多個(gè)節(jié)點(diǎn)執(zhí)行；e)至少支持手動(dòng)和定時(shí)執(zhí)行兩種方式；f)可視化的查看任務(wù)的執(zhí)行情況，并進(jìn)行相關(guān)操作。10分布式事務(wù)10.1概述分布式事務(wù)是分布式領(lǐng)域重點(diǎn)關(guān)注的問題，不同的業(yè)務(wù)場(chǎng)景對(duì)事務(wù)的關(guān)注點(diǎn)也有一定差異，主要體現(xiàn)在隔離性、一致性保證度、風(fēng)險(xiǎn)、性能及業(yè)務(wù)復(fù)雜度幾個(gè)方面，所以分布式平臺(tái)需要提供多種不同的分布式事務(wù)處理機(jī)制，以適配不同的業(yè)務(wù)場(chǎng)景。10.2處理機(jī)制分布式事務(wù)的處理機(jī)制應(yīng)包括如下幾種模式：a)補(bǔ)償模式：該模式在框架級(jí)提供統(tǒng)一的機(jī)制，避免每個(gè)開發(fā)人員重復(fù)實(shí)現(xiàn)，規(guī)避技術(shù)風(fēng)險(xiǎn)。其主要應(yīng)用于一個(gè)事務(wù)跨多個(gè)服務(wù)的場(chǎng)景，要求每個(gè)服務(wù)都提供對(duì)應(yīng)的補(bǔ)償服務(wù)，當(dāng)后續(xù)的服務(wù)執(zhí)行失敗時(shí)，框架自動(dòng)執(zhí)行前面服務(wù)的補(bǔ)償服務(wù)，將已經(jīng)執(zhí)行成功的服務(wù)回退到執(zhí)行前的狀態(tài)；b)TCC模式：一個(gè)完整的TCC模式由一個(gè)主業(yè)務(wù)服務(wù)和若干個(gè)從業(yè)務(wù)服務(wù)組成，主業(yè)務(wù)服務(wù)發(fā)起并完成整個(gè)業(yè)務(wù)活動(dòng)，從業(yè)務(wù)服務(wù)應(yīng)實(shí)現(xiàn)如下三個(gè)接口：?Try：完成所有業(yè)務(wù)檢查、預(yù)留必須的業(yè)務(wù)資源；?Confirm：真正執(zhí)行業(yè)務(wù)不作任何業(yè)務(wù)檢查，只使用Try階段預(yù)留的業(yè)務(wù)資源，操作滿足冪等性；?Cancel：釋放Try階段預(yù)留的業(yè)務(wù)資源，操作滿足冪等性。如果所有的從業(yè)務(wù)服務(wù)的Try都執(zhí)行成功，就會(huì)分別進(jìn)行各自的Confirm；如果有一個(gè)失敗，則分別執(zhí)行各自的Cancel；c)無侵入模式：該模式通過模擬數(shù)據(jù)庫內(nèi)部的機(jī)制，對(duì)事務(wù)（跨服務(wù)、跨數(shù)據(jù)庫）中的所有SQL操作自動(dòng)構(gòu)建UNDO、REDO的相關(guān)信息，并對(duì)相關(guān)記錄進(jìn)行鎖定。當(dāng)后續(xù)的執(zhí)行出現(xiàn)異常時(shí)，事務(wù)管理器通過UNDO日志對(duì)前面已經(jīng)執(zhí)行的SQL操作進(jìn)行回滾。711異常處理分布式大幅提升了系統(tǒng)的擴(kuò)展性、性能及可用性，但復(fù)雜度也有所提升，在具體的實(shí)踐過程中需對(duì)以下情況提供應(yīng)對(duì)機(jī)制：a)系統(tǒng)運(yùn)行資源不足：在系統(tǒng)運(yùn)行過程中，當(dāng)發(fā)現(xiàn)系統(tǒng)運(yùn)行資源不足（例如：CPU長時(shí)間大于80%）時(shí)，宜自動(dòng)增加運(yùn)行實(shí)例，以提升系統(tǒng)整體的處理能力；注：如果有云平臺(tái)的話，建議采用容器化的b)數(shù)據(jù)量超出系統(tǒng)承載能力：當(dāng)系統(tǒng)運(yùn)行一段時(shí)間后，由于數(shù)據(jù)量的快速增長，已有的分庫數(shù)已經(jīng)不能滿足業(yè)務(wù)需要時(shí)，應(yīng)對(duì)數(shù)據(jù)庫進(jìn)行擴(kuò)容，在擴(kuò)容過程中應(yīng)盡可能的減少對(duì)業(yè)務(wù)的影響；c)物理故障造成的事務(wù)異常：由于分布式事務(wù)涉及多個(gè)獨(dú)立的事務(wù)資源，所以不管是哪種模式，在部分事務(wù)資源出現(xiàn)物理故障的情況下，都面臨不一致的風(fēng)險(xiǎn)，針對(duì)于