證券交易系統架構設計——挑戰與實踐目錄上交所交易系統介紹交易系統技術架構挑戰及解決之道交易系統的未來上交所交易系統介紹

發展歷史1990年11月26日成立，同年12月19日正式營業。1997，1999發展歷史開業的第一天就采用電子撮合系統進行交易撮合基于Novell服務器的局域網絡每秒處理3筆業務，月處理成交2萬筆市場的委托、行情、成交回報等環節仍需要手工完成1992年12月，系統升級Novell主機更換為基于惠普小型機UNIX操作系統每秒200筆，日處理能力200萬筆1993年，采用單向衛星廣播行情，雙向衛星接收報單1997年和1999年進行了兩次設備和應用的重大升級系統處理能力提高到每秒2萬筆，日處理能力800萬筆后隨著不斷的擴容和改造，性能和容量不斷被刷新1990.12.19開業第一天即采用電子撮合系統每秒處理3筆，月處理2萬筆上交所1992.12系統升級，采用UNIX小型機每秒200筆，日處理200萬筆1993.1采用衛星廣播行情雙向衛星接收訂單系統兩次升級，性能提升至每秒2萬筆，日處理800萬發展歷史新一代交易系統的上線2009年11月23日，新一代交易系統上線使用多主機并行撮合最高支持10萬筆每秒全天容量1億筆訂單帳戶容量1億基于新一代交易系統，2014年11月17日滬港通業務上線2009.11.23新一代交易系統上線使用多主機并行撮合最高支持10萬筆每秒全天容量1億筆訂單賬戶容量1億上交所2014.11.17滬港通業務上線海外市場市場結構圖證監會上交所上期所深交所大商所券商基金公司股票債券基金商品期貨貴金屬中金所QDII鄭商所權證監管者基礎設施市場參與者投資者股指期貨OTC產品境內投資者QFIIRQFIIRQFIIQFLP香港投資者上市公司行情商指數公司中登公司SFC港交所滬港通系統結構圖券商柜臺系統交易所報單機通信服務器通信服務器交易主機交易主機交易主機交易主機外部接口主機外部接口主機消息總線存儲網關其他各類系統交易專網核心交易系統內部結構交易系統技術架構交易系統技術架構交易系統的三層式劃分接入點B接入點A接入點C定序器1定序器1定序器2定序器2基金公司資管公司滬港通券商交易層定序層接入層撮合器1撮合器1分配股票（銀行、汽車）分配基金、ETF撮合器2撮合器2分配股票（制作業、零售）分配債券交易層功能執行交易業務邏輯實現模式同組交易主機為接收單一輸入序列的狀態機從一系列獨立運作的交易主機節點中自動選舉產生主節點可利用集群鎖服務來選舉主節點備機可選擇“重演”或者“重放”模式交易層

集群鎖管理模式基于OpenVMS的Lock機制，實現了一套用于集群(Group)管理，集群內各主機同步、通信的工具庫818283獲取鎖成功，成為集群Master獲取該鎖失敗，成為集群Slaver,同時被告知Master為81獲取該鎖失敗，成為集群Slaver,同時被告知Master為81接入層功能點對點的路由轉發將券商端的訂單提交給定序層實例實現模式提供一組彼此對等的實例同時提供對外服務不需要考慮主從劃分和失效接管定序層功能高可用設計的關鍵、確定全序持久化及保持動態一致性實現模式多播通信機制Paxos算法、虛同步自主研發

、商業軟件、開源軟件邏輯概念，可采用單獨排隊機定序或者主撮合定序挑戰及解決之道交易系統面臨的挑戰交易系統在設計之初就要考慮到如何滿足和平衡各方面的技術需求高性能高可用易擴展交易系統架構設計是一個平衡和抉擇的藝術高性能衡量交易系統性能主要指標吞吐量訂單時延系統容量高性能

1.流水線化內存撮合HCCM主機與通信服務器間通信HHCM主機間通信MSRT撮合直通路由器PreMatcher撮合預處理模塊MainMatcher主撮合模塊TradeConfirmation成交確認DataReplication數據持久化MarketData行情數據TradeBookMaintain成交簿維護撮合內部消息流撮合下游消息流高性能

2.內容和鍵值分離App-1MsgSharedMemoryApp-0RefMsg

Ref.MsgABCDMsgApp-nGRef.EFAppl.Process1App-2Ref.FG精簡的進程間通信消息消息body通過內存緩存；進程間傳遞短小的消息header；進程通過header信息，訪問內存獲取消息實體；高性能

3.數據打包處理消息的打包處理請求消息通過用header表示后很短小，支持多條打包模式；申請新的共享內存消息，消息體中包含多個請求實體的header；實際消息通信中傳遞打包消息的消息header即可；進程接收消息后，根據打包消息body中的多個實際消息header，逐一處理。App-1MsgApp-0Msg

ASharedMemoryRef1Msg1Ref2Msg2RefnMsgn…Refi

Ref1+Ref2+…+RefnCBDRef.iFE高性能

4.多線程異步IO應用異步IO提升性能的典型案例調用進程通過異步IO連續的拋出一組IO請求，RMS可以并行地處理這些請求，成倍地提升IO吞吐量；連續發出的請求應當有一定限制，當未完成的請求數量達到限制時，調用進程可以主動將自己阻塞。調用進程AST調用進程RMS(文件系統)達到并發IO請求的上限，主動阻塞高性能

5.多機并行OESCSHost交易主機集群HostHost中央主機集群HostHostHostCSCSOESOES外高橋數據中心陸家嘴數據中心高可用衡量交易系統可用性主要指標恢復時間目標RTO（RecoveryTimeObjectives）恢復點目標RPO（RecoveryPointObjectives）高可用

技術抉擇的難題人工偵測故障

OR

應用程序自動偵測故障？應對單點故障

OR

應對雙點故障？同城災備同步復制

OR

異步復制？高可用

1.站點備份站點備份高可用

2.主機備份高可用

3.進程恢復進程的恢復機制事務/請求數據帶事務的文件存儲，包含相應的狀態位；任何一個進程異常，根據事務文件中數據狀態重演恢復；無法應對程序本身邏輯錯誤TxnDataApp-0AApp-1TxnDataDatabase/JournaledFileData+statusBCDApp-1’TriggerE高可用

4.消息重發/防重處理系統發生主備切換切換完成后的自動通知機制未響應消息重新路由機制消息防重復處理機制高可用

5.流控機制流量/負載控制：系統必須提供自保護機制來處理異常的大量或者突發交易量包括主動控制和被動控制主動控制：主動控制實現于前端(請求源端)會員，根據尚未響應的訂單數量控制請求發送速度系統可配置成會員端總體的請求數量不超過后臺的處理能力，因此從源端控制整個系統的負載被動控制：路由架構內置的自我保護機制每個路由架構組件跟蹤其輸入/輸出差異，并且根據監測的差異觸發自我保護機制來或者阻塞消息流，或者彈回新的請求易擴展主要指標擴展性衡量系統適應業務發展與變更的能力，既包括業務容量的擴展又包括業務模式的擴展應對方案高擴展性需要在內部核心數據結構和接口定義上預留足夠的擴展空間。系統內部結構上，通過分層抽象服務使得某一個層次的升級更新不影響到全局架構，通過模塊化設計使得某一個模塊的變更不影響到整體穩定。易擴展

1.系統架構的擴展Front

EndHost

TierTradingClusterTHCentralClusterCHEICSCSCSCS

TierLAN…OESOESOESOES

Tier…BinaryvaluesFixStepProtocol

Tier…Back

EndLANWANorLAN后臺的擴展交易層中的各個平臺，可以平行擴展設備，支持業務的容量和品種的發展接入層中，可以根據網段規模和接入點無縫第進行平行擴展；每個接入點屬于無狀態設備前臺的擴展對于市場參與者的接入，既提供客戶端的模式，也支持消息協議和API的模式擴展交易所提供的接入端可以無差異的多地不少和彼此備份、分流業務數據等易擴展

2.應用配置的擴展基于產品的不同類別配置，可根據負載均衡的原則，重新進行劃分或擴展單一類別的處理容量可以通過配置參數進行調整。調整后的容量在系統重啟后自動生效銀行股銀行股A銀行股B主機1主機2主機1醫藥板塊零售板塊訂單量200w訂單量200w醫藥板塊零售板塊訂單量500w訂單量150w易擴展

3.設計模式的分層設計業務應用系統PattenLayerFunctionLayerWrapperLayerOS操作系統（Linux,UNIX,FreeBSD等支持POSIX接口的操作系統）批處理架構BATArch消息通訊架構MSGArch應用進程架構SHLArch監控架構MONArch操作架構OPTArch高可用架構HArch共享內存庫SHMLib日志庫LOGLib同步IO庫SIOLib異步IO庫AIOLib配置信息庫CFGLib數據算法庫DSMLib應用鎖庫LCKLibC99標準POSIX標準OSFeatureGLIBLog4cOSW