1系統總體設計.................................................................1

1.1云計算系統設計方案概述..............................................1

1.1.1系統基本功能....................................................1

1.1.2主要設計思想和設計目標、設計原則...............................2

1.1.3智慧交通云平臺的云計算解決方案.................................3

1.1.4系統的主要技術特點.............................................4

1.2系統總體構架........................................................6

1.2.1系統基本組成與構架.............................................6

1.2.2系統功能構架....................................................6

1.2.3系統總體構架與功能模塊........................................11

1.3系統基本功能與處理方案............................................14

13.1交管數據入庫功能與處理方案....................................14

13.2數據存儲功能與處理方案........................................16

13.3查詢分析功能與處理方案........................................18

1.4系統互聯與WS......................................................................................................................20

1.4.1組網方案.......................................................20

1.4.2網絡管理.......................................................22

1.4.3系統安全.......................................................24

1.5系統可靠性與擴展性................................................25

1.5.1系統可靠性.....................................................25

1.5.2系統擴展性.....................................................29

1.6系統謝十性能.......................................................30

1.6.1交管數據流量處理能力..........................................30

1.6.2數據存儲能力...................................................31

1.6.3查詢分析計算性能..............................................33

1.7定制開發方案.......................................................33

2系統設計實施與關鍵技術方法................................................38

2.1系統平臺...........................................................38

2.2系統規格...........................................................42

2.3數據處理;襦.......................................................44

2.4數據存儲系統.......................................................46

2.4.1海量數據分布式數據存儲構架...................................46

2.4.2適應應用需求的混合存儲策略....................................50

2.4.3HDFS數據存儲.................................................51

2.4.4HBase數據存儲................................................55

2.4.5Database糠存儲.............................................59

2.4.6數據存儲的可靠性..............................................62

2.4.7數據壓縮.......................................................64

2.5數據實時處理、實時查詢系統........................................66

2.5.1數據立方(DataCube)...........................................................................................66

2.5.2任務調度器(JobKeeper).................................................................................67

2.5.3eProc數題理.................................................72

2.5.4交管數據處理，瓶呈..............................................74

2.5.5交管轆處理步驟..............................................75

2.6交管數據處理集群的可靠性與負載均衡設計...........................76

2.6.1負載均衡處理機的單點失效容錯處理..............................76

2.6.2查詢處理機的單點失效容錯處理.................................80

2.7計算與存儲集群的可靠性與負載均衡設計.............................81

2.7.1計算與存儲集群Master單點失效容錯處理........................81

2.7.2計算與存儲集群的負載均衡處理..................................90

2.7.3HDFS的可靠性設計.............................................94

2.7.4HBase可靠性設計..............................................96

2.7.5MapReduce計算可靠性.....................................99

2.8查詢統計計算可靠性與負載均衡設計................................103

2.8.1基于Zookeeper的單點失效和負載均衡設計.....................103

2.9系統安全性設計...................................................106

2.9.1安全保障體系框架.............................................106

2.9.2云計算平臺的多級信任保護.....................................108

2.9.3基于多級信任保護的訪問控制...................................115

2.9.4云平臺安全審計...............................................118

2.9.5云計算綜合安全網關...........................................123

3詳細設備配置清單...........................................錯誤!未定義書簽。

圖表1智慧交通云平臺云計算解決方案.......................................4

圖表3智慧交通云平臺總體構架與功能模塊圖.................................11

圖表4智慧交通云平臺架構.................................................15

圖表5數據存儲處理架構...................................................17

圖表6交管數據接入........................................................19

圖表7組網方案............................................................21

圖表8分布式文件存儲系統吞吐量指標.......................................32

圖表10數據匯總上報處理流程..............................................45

圖表11實時數據入庫流程.................................................46

圖表12分布式計算流程....................................................48

圖表13Hadoop結構......................................................49

圖表14Hdfs結構..........................................................53

圖表15HDFSNamenode、DataNode和客戶端們之間的交互................55

圖表16HDFS數據壓縮與組織...............................................65

圖表21負載均衡機分布圖..................................................77

圖表22負載均衡機宕機預案................................................78

圖表23Master節點宕機預案...............................................79

圖表24查詢處理單點失效容錯處理..........................................80

圖表25Master單點失效容錯處理......................................82

圖表26AvatarNodeO以Pimary啟動過程................................84

圖表27AvatarNodel以Standby啟動過程...............................85

圖表28DataNode啟動過程........................................86

圖表29AvatarNodeO宕機后的狀態....................................87

圖表30AvatarNodel切換為Primary過程...............................87

圖表31AvatarNodeO重啟過程......................................88

圖表32AvatarNode啟動切換流程圖....................................89

圖表33Avatar體系架構圖.........................................94

圖表34HBase系統架構..........................................97

圖表35作蛇是交.........................................................101

圖表36JobTrackerO宕機......................................102

圖表37作業注銷.........................................................102

圖表38Zookeeper基本工作結構圖...................................103

圖表39基于Zookeeper的查詢分析計算單點失效和........................105

圖表40基于深度防護戰略的IATF模型.....................................106

圖表41云部署模型的實現.................................................108

圖表42多級信任保護.....................................................109

圖表43基于可信第三方的平臺認證........................................110

圖表44主要因素平臺證書.................................................111

圖表45云存儲安全子系統接口關系圖......................................116

圖表46基于多級信任保護的多級訪問控制流程..............................117

圖表47數據安全交換平臺................................................117

圖表48云存儲安全審計體系結構.........................................119

圖表49安全日志審計系統結構圖..........................................122

圖表50Cloud-USG三種部署模式..........................................126

旗開得勝

1系統總體設計

1.1云計算系統設計方案概述

1.1.1系統基本功能

按照全省公安機關信息化建設總體規劃，為實現對重點車輛的自動比對和動

態管控、對異常車輛行蹤的自動研判預警、對特定車輛行車軌跡的自動生成、對

重要節點道路交通信息的遠程再現、對基層單位和執勤民警的勤務實施管理等建

設目標，為交通管理、治安管控、偵查破案、巡邏防范、反恐處突等各項公安工

作提供服務保障。

系統的基本功能和性能如下：

海量數據存儲

能夠對百億級的海量交通監控數據進行存儲，保存時間為2年。

海量數據實時處理、實時入庫、生成索引

能夠對百億級的海量交通監控數據進行實時處理，能夠處理每天500萬條

記錄，能夠實時處理約60條/秒的實時數據流量。

百億級數據秒級蟄詢能力、秒級實時業務響應

1

讀萬卷書行萬里路

旗開得勝

高效實時數據查詢架構，提供秒級響應時間，1天的記錄能在5秒鐘內查詢

出來，一周記錄能在15秒內查詢出來。

1.1.2主要設計思想和設計目標、設計原則

設計思想：將海量數據分解到由大量X86架構計算機構成的低成本云計算

平臺上進行實時處理，依靠分布式云計算軟件進行容錯，從而提升智慧交通云平

臺海量數據分析的實時性和性價比。

設計目標：利用大量性價比高的計算機，建立云計算平臺，能夠對流量超過

500w條/天的原始交通監控數據流進行實時處理。系統具有可動態可伸縮性、

高度容錯性和響應實時性,達到較之傳統方案有一個數據量級的性能價格比提升。

設計原則：

(1)前瞻性技術與實際應用環境相結合

本項目是既是先進技術應用示范項目，又是工程實施型項目。把握技術正確

性和先進性是前提，但是前瞻性技術實施必須在云計算平臺的實際應用環境和實

際監控流量的基礎上進行，必須結合云計算平臺的實際情況進行研究和開發，只

有與實際應用環境相結合才有實際應用價值。

2

讀萬卷書行萬里路

旗開得勝

(2)學習借鑒國外先進技術與自主創新相結合

在云計算平臺用于超大規模數據處理方面，國內外幾乎是在一個起跑線上；

但在關鍵技術研究及既往的技術積累方面，國外一些大公司有著明顯的優勢。同

時，智慧交通云平臺所將要面對的交通監控數據流高達500w條/天，是一個世

界級的云計算應用。我們將積極學習借鑒國外先進的云計算技術，同時與自主創

新相結合，形成功能強大、性能卓越的能夠滿足實際應用環境需求的云計算數據

處理和分析平臺。

(3)遵循公安320工程相關標準規范

本項目的設計將嚴格遵循公安320工程相關標準規范。

1.1.3智慧交通云平臺的云計算解決方案

在公安網內部，構建若干X86架構計算/存儲節點，虛擬出海量存儲空間、

處理能力和數據管理能力。同時研制面向應用的分布式數據處理軟件，滿足數據

匯總、數據上報、數據入庫、數據查詢、數據計算和數據管理等應用需求。

3

讀萬卷書行萬里路

旗開得勝

-「(

教

數

數

實

據

據

據

時ZooKeeper

存

索

入

報查分

儲

庫

警詢析

I181

MapReduce

HBase

Master

HDFS

Masterbackup

計算/存儲節點

圖表1智慧交通云平臺云計算解決方案

1.1.4系統的主要技術特點

實時性：平臺在高效率并行分布式軟件的支撐下，可以實時完成交管數據入

庫、分析和管理工作，如數據匯總、數據上報、數據入庫、數據查詢、數據計算

和數據管理等。海量數據入庫不會出現數據堆積現象，各類分析和查詢工作基本

都在秒級完成，具有前所未有的高效性。

高可靠性：基于對云計算可靠性深厚的研究積累，徹底解決了當前分布式計

算平臺易出現的單點故障問題。任何一個節點出現故障，系統將自動屏蔽，而且

不會出現丟失數據的現象。包括查詢任務分配節點、計算任務分配節點、HDFS

元數據節點、HDFS數據存儲節點、MapReduceJobTracker節點、MapReduce

4

讀萬卷書行萬里路

旗開得勝

Worker節點、HBase管理節點、HBaseRegion節點等。

可伸縮性：在不停機的情況下，增加節點，平臺的處理能力自動增加；減少

節點，平臺的處理能力自動縮減。這樣，可以做到與云計算平臺的無縫對接，根

據計算和存儲任務動態地申請或釋放資源，最大限度地提高資源利用率。

高性價比：采用X86架構廉價計算機構建云計算平臺，用軟件容錯替代硬

件容錯，大大節省成本。在目標性能和可靠性條件下，可比傳統的小型機加商用

數據庫方案節省10倍左右的成本。

全業務支持：采用分布式數據庫模式，絕大部分海量數據存放于分布式平臺

并進行分布式處理，少量實時性要求很高的數據存放于關系數據庫中，可支撐各

種類型的業務。不僅支撐查詢、統計、分析業務，還可支撐深度數據挖掘和商業

智能分析業務。

5

讀萬卷書行萬里路

旗開得勝

1.2系統總體構架

1.2.1系統基本組成與構架

智慧交通云平臺是一個處于交管數據采集與交管數據監測應用之間的系統。

從系統基本組成與構架上來看，該共享平臺由7個主要部分組成：歷史數據匯總

處理系統，上報數據上報系統，實時數據入庫系統，交管數據存儲系統，交管數

據查詢分析應用系統，數據管理系統以及系統管理。

1.2.2系統功能構架

智慧交通云平臺需要提供的7大主要功能描述如下。

(1)歷史數據匯總處理系統

歷史數據匯總處理主要負責把南京市6個分散的數據中心的歷史數據進行

讀取解析處理，并將處理后的歷史數據匯入一個統一的數據中心。

在內部處理模塊上，歷史數據匯總系統主要包括三個模塊：讀取模塊、解析

模塊和匯總模塊。讀取模塊主要負責各個數據中心歷史數據的讀取處理，解析模

塊主要負責把讀取到的歷史數據解析成合理的數據格式，而匯總模塊主要負責把

解析好的歷史數據上傳到統一的數據中心。

6

讀萬卷書行萬里路

旗開得勝

在系統構架上，為了滿足6個分散的數據中心處理需要，需要在每一個數據

中心處安裝一個數據匯總程序。

(2)上報數據上報處理信系統

上報數據上報處理負責把市數據中心的數據，按照一定的需求(按時間段或

一定的數據量)，上報給省廳數據中心。

在內部處理模塊上，上報數據上報系統主要包括三個模塊：讀取模塊、解析

模塊和上報模塊。讀取模塊主要負責市數據中心需要上報數據的讀取處理，解析

模塊主要負責把讀取到的數據解析成合理的數據格式，而上報模塊主要負責把解

析好的數據上傳到的省廳數據中心。

在系統構架上，為了滿足市數據中心處理需要，需要在市數據中心處安裝一

個數據上報程序。而省廳數據中心需要提供數據上報的接口。

(3)實時數據入庫系統

實時數據入庫系統主要負責全市每個卡口產生的數據實時入庫。

在內部處理模塊上，實時數據入庫系統主要包括三個模塊：接受模塊、解析

模塊和數據入庫模塊。接受模塊主要負責接收每個卡口產生的數據流，解析模塊

a7

4讀萬卷書行萬里路

旗開得勝

主要負責把接受到的數據流解析成合理的數據格式，而數據入庫模塊負責把解析

好的數據加入到市數據中心。

在系統架構上，為了使每個卡口的數據能實時入庫市數據中心，需要在每一

個負責接受卡口數據的工控機上安裝一個實時數據入庫系統。

(4)交管數據存儲系統

原始交管數據，將全部存儲在智慧交通云平臺的云存儲資源中。資源池提供

兩種存儲資源：一種是結構化數據存儲資源，用于存儲少量的接口中間數據；另

一種是分布式文件系統，用于存儲海量的非結構化數據。為了滿足和適應數據量、

數據特征和查詢處理的不同需求，將采用一種混搭式的數據存儲方案。

對容量巨大、常規數據庫難以處理的數據，如交管數據，將主要存儲在基于

HDFS的分布式文件系統中；這些數據將通過HDFS接口進行訪問和計算處理。

而對于部分數據量不大、且查詢響應性能要求很高的數據，如用于報警比對的中

間數據，將被存放在關系數據庫中。關系數據庫將采用SybaseASE版本。這些

數據將通過結構化數據存儲訪問接口(如JDBC)進行訪問。

在存儲構架上，若以存儲3年的原始交管數據、報警信息數據和針對快速查

詢建立的索引數據，在10000條/s的交管數據流量下，將大約需要512TB的存

儲容量，按照每個存儲節點16TB的存儲容量，加上少量的冗余節點，將需要

32個存儲節點。

8

讀萬卷書行萬里路

旗開得勝

(5)交管數據蟄詢分析應用系統

交管數據查詢分析應用主要提供包括實時監控、報警監控、車輛軌跡與回放、

電子地圖、報警管理、布控管理、設備管理、事件檢測報警、流量統計和分析等

功能。

車輛軌跡查詢處理時，由于交管數據量巨大，難以存儲在常規的關系數據庫

中，而如果直接存儲在HDFS或HBase中又難以保證查詢效率。為此，需要考

慮對交管數據進行索引處理，并將索引數據存儲在HDFS或Hbase中。為了建

立交管數據索弓I,需要在交管數據傳送到云存儲系統中時，進行實時的索引處理。

但由于交管數據流量巨大，需要調度使用多臺服務器節點進行并行處理。此外，

用戶從客戶端發起以上各種數據查詢分析任務時，也會產生大量并發的查詢任務。

以上各種杳詢分析計算任務的處理將需要考慮在計算集群上進行并行化任務調

度和負載均衡處理。這些并行計算任務及負載均衡處理將使用Zookeeper基于

計算集群完成統一的控制和實現。

在系統構架上，以上查詢分析計算任務將需要使用一個大規模數據并行計算

集群。在編程實現上，存儲在數據庫中的數據將使用常規的數據庫查詢語言實現；

對存儲在分布式文件系統中的交管數據，針對不同的處理要求，在數據量極大而

處理實時性要求不是特別高的情況下，為了方便對海量數據的并行處理，將采用

MapReduce編程方式實現；而對于那些實時性要求很高的查詢分析計算，由于

MapReduce啟動作業需要較長的時間開銷，將不適合采用M叩Reduce編程

9

讀萬卷書行萬里路

旗開得勝

實現，而需要用非MapReduce編程方式實現。

(6)數據管理系統

在實際使用中，可能用戶會對某一時間段或者類型的數據特別關心，就可以

通過數據管理系統查詢并導出這部分數據以供使用。

包括數據查詢和數據導出兩大部分。數據查詢讓用戶以自定義的條件查詢出

數據，而數據導出就是將這些數據以合理的格式導出到數據中心以外。

(7)系統管理

系統管理主要包括智慧交通云平臺的配置管理、系統安全管理、系統用戶管

理，以及數據備份、系統故障監測復等管理維護功能。

配置管理是其中最主要的部分，是系統各個模塊正常運行的基礎。系統應能

夠對網絡地址、設備地址等進行配置；能夠對用戶做權限管理，以防止數據外泄；

并能及時有效的對數據進行備份和故障檢測等工作，防止數據的意外丟失。系統

應支持樹圖、數據表格、網絡拓撲圖形式展示配置數據。

10

讀萬卷書行萬里路

旗開得勝

1.2.3系統總體構架與功能模塊

基于以上基本的系統組成和功能構架，系統的詳細總體構架和功能模塊設計

如圖所示。

客翦

戶

實時跟查詢系統管

端

蹤界面界面理界面

實時機警交管數據廣詢分析系統芹理

交

管，eb服務程序拓撲管理配置管理

數并行查詢任務分發

告警預警

據安全管理

交管數據車輛軌跡軌跡查詢流?線甘管理

處分析對比幽旬［查詢］車輛］加.工1T

理網絡指標

■用戶管理

基于zookeeper索引、計算,查詢并行

軟監視

、計算任務負敦均衡謂度與單點容錯控制，

件［其他計算［流量統計］查器引［自系統其他系統

層網管管理

數

據

查詢

層索引

系

統

軟

件

層

硬

件

平接口與管理服務器

臺

層

圖表2智慧交通云平臺總體構架與功能模塊圖

上圖中，自底向上分為五個層面。最下層是硬件平臺層，將使用南京市公安

11

C讀萬卷書行萬里路

旗開得勝

局云計算中心所提供的計算、存儲和網絡資源。從系統處理系統的角度看，這一

層主要包括云存儲計算集群，此外還包括接口和管理服務器、包括用于實現客戶

端訪問的Web服務器。

第二層是系統軟件層，包括移動的云存儲系統軟件，綜合分析云計算軟件平

臺，以及Web服務軟件等。云存儲系統將提供基于SybaseASE關系數據庫的

結構化數據存儲訪問能力，以及基于HDFS的分布式文件系統存儲訪問能力，

分別提供基于JDBC/SQL的數據庫訪問接口以及HDFS訪問接口。綜合分析云

計算軟件平臺可提供對HDFS、Hbase數據的訪問，并提供MapReduce編程

模型和接口、以及非M叩Reduce模型的編程接口，以及用于實現并行計算任

務負載均衡和服務器單點失效恢復的Zookeeper。

第三層是智慧交通云平臺中的數據層，包括原始交管數據、索引數據、用于

分析的中間數據、以及系統配置數據等。其中，原始交管數據、索引數據等海量

數據將存儲在南京公安局云存儲系統的HDFS分布式文件系統中,用HDFS接

口進行存儲和訪問處理；而其它用于分析的中間數據等數據量不大、但處理響應

性能要求較高的數據，將存儲在云存儲系統的關系數據庫系統中，用JDBC/SQL

進行存儲和訪問處理。

第四層是交管數據處理軟件層，主要完成智慧交通云平臺所需要提供的諸多

功能，包括實時監控、報警監控、車輛軌跡查詢與回放、電子地圖、報警管理、

布控管理、設備管理、事件檢測報警、流量統計和分析、系統管理等功能。

最上層是客戶端用戶界面軟件，主要供用戶查詢和監視相關的數據信息，除

12

讀萬卷書行萬里路

旗開得勝

了事件檢測報警不需要用戶界面外，其它部分都需要實現對應的用戶界面。

13

讀萬卷書行萬里路

旗開得勝

1.3系統基本功能與處理方案

13.1交管數據入庫功能與處理方案

交管數據入庫系統總架構如圖：

14

讀萬卷書行萬里路

旗開得勝

應用層

應用層其他增值應用

軟件架構層

存儲與管理子系統

.警數據查詢模塊

分布式存儲系統

報警信息存儲模塊

交管數據查詢模塊

拓撲管理索引存儲模塊

實時報瞥模塊

告警管埋

實時報警分析

建立索引

用戶管理

數據推送數據推送數據推送

交管數據解析交管數據解析交管數據解析

負載均衡模塊

圖表3智慧交通云平臺架構

智慧交通云平臺通過實時數據入庫系統接入采集層的交管數據，數據分

配進入負載均衡機，負載均衡機根據集群各節點負載情況，動態分配交管數據到

各存儲處理機，進行報警檢測、建立索引等處理，同時將交管數據存入分步式

存儲系統。

15

登讀萬卷書行萬里路

旗開得勝

負載均衡機功能

監控所集群機器負載情況，動態分配交管數據。監控所有集群機器，如果發

現問題，那么就把分配給這臺機器的交管數據重新分配到其他機器，去除單點故

障，提高系統可靠性。

負載均衡機采用Paxos算法解決一致性問題，集群在某一時刻只有一個

Master負責均衡能力，當Master宕機后，其他節點重新選舉Master。保證負

載均衡機不會存在單點問題，集群機器一致性。

實時業務

對于實時性要求高的業務應用，如：實時監控、實時報警，走實時專道。

1.3.2數據存儲功能與處理方案

數據存儲處理總架如圖：

16

讀萬卷書行萬里路

旗開得勝

圖表4數據存儲處理架構

數據存儲系統提供如下功能：

交管數據處理：接收來自數據匯總和數據入庫系統的交管數據，索引模塊

實時生成索引，以提高杳詢速度。生成的索引存儲到HDFS中，以供查詢交管

數據使用。

專題業務分析，通過MapReduce并行計算，同期提取業務數據，將結果

17

“讀萬卷書行萬里路

旗開得勝

分存兩路，一路存入Hbase或日志詳單存儲，一路存入關系型數據庫。

報警數據處理

智慧交通云平臺對接收到的實時交管數據進行計算，以判斷這輛車有沒有符

合報警條件。如果符合，會對報警信息入庫，并同時通過對外實時報警的接口，

將報警信息迅速展示到用戶界面上。

13.3直詢分析功能與處理方案

交管數據查詢構架如圖：

18

讀萬卷書行萬里路

旗開得勝

圖表5交管數據接入

當客戶發起請求后，客戶端把請求發向查詢接口服務器，查詢接口服務器

解析查詢請求，后向Master任務調度機發送查詢任務執行命令；Master回應

執行命令節點信息，查詢服務器根據節點信息將查詢命令發向查詢計算模塊，進

行具體查詢操作，將查詢結果返回給客戶端，呈現給用戶。

19

讀萬卷書行萬里路

旗開得勝

1.4系統互聯與管理

1.4.1組網方案

組網方案如圖：

20

讀萬卷書行萬里路

旗開得勝

前端

HEPSE0石"

.一工一jSE0f

.BE^MRf9=0HE一>

云存儲機群

交換機

圖表6組網方案

我司可向公安數據中心申請VPN或公網IP服務，如果系統出故障，可以保

21

讀萬卷書行萬里路