大數據平臺

深化設計說明書

大數據平臺深化設計說明書

目錄

1實現架構及功能邏輯1

1.1設計思路1

1.2系統架構3

1.2.1系統體系結構3

1.2.1.1功能架構3

1.2.1.2技術架構5

1.2.1.3物理組架構9

1.2.2系統設計原則10

1.2.2.1適用性原則10

1.2.2.2標準化、規范化原則10

1.2.2.3先進性原則10

1.2.2.4實用性原則10

1.2.2.5開放性原則11

1.2.2.6安全性原則11

1.2.2.7可擴展原則11

1.2.3功能模塊描述12

1.2.3.1重構社會治理大數據存儲結構12

1.2.3.2提供通用全文檢索與分析應用工具12

1.2.3.3面向社會治理應用的大數據服務能力13

大數據平臺深化設計說明書

2大數據中心應用模塊詳細設計13

2.1首頁設計13

2.1.1概要說明13

2.1.2界面設計13

2.1.3主要功能詳細設計14

2.2數據倉庫設計26

2.2.1ODS數據庫28

2.2.1.1數據庫命名28

2.2.1.2表命名規則28

2.2.1.3分區規則29

2.2.1.3.1同步類型29

2.2.1.3.2分區類型29

2.2.1.4審計字段30

2.2.1.5索引規則30

2.2.2DWS數據庫30

2.2.2.1表命名規則31

2.2.2.2索引規則31

2.2.2.3分區規則31

2.2.2.3.1創建分區表：32

2.2.2.3.2創建多級分區32

2.2.2.4審計字段33

大數據平臺深化設計說明書

2.2.3DM數據庫33

2.2.3.1數據庫命名33

2.2.3.2表命名34

2.2.3.3專題庫34

2.2.3.3.1列數據設計原則34

2.2.3.3.2Hbase創建表35

2.2.3.3.3HbaseRowKEY設計35

2.2.3.3.4Hbase數據分散設計37

2.3標準管理40

2.3.1數據字典管理40

2.3.1.1功能描述40

2.3.1.2實現框架41

2.3.1.2.1設計思路41

2.3.1.3接口設計44

2.3.1.3.1新建數據字典接口44

2.3.1.3.2唯一性校驗接口47

2.3.1.3.3修改數據字典48

2.3.1.3.4數據字典列表50

2.3.1.3.5數據字典刪除51

2.3.1.3.6批量導入數據字典52

2.3.1.3.7導出數據字典54

大數據平臺深化設計說明書

2.3.1.3.8查詢數據字典詳情55

2.3.1.3.9根據版本查詢字典項56

2.3.1.3.10標準文件下載58

2.3.2數據元管理59

2.3.2.1功能描述59

2.3.2.2實現框架60

2.3.2.2.1設計思路60

2.3.2.3接口設計62

2.3.2.3.1數據元列表展示查詢接口62

2.3.2.3.2數據元新增接口62

2.3.2.3.3數據元查詢詳情接口63

2.3.2.3.4數據元修改接口65

2.3.2.3.5數據元刪除和批量刪除接口66

2.3.2.3.6數據元批量導入模板下載67

2.3.2.3.7數據元批量導入67

2.3.2.3.8數據元批量導出68

2.3.2.3.9數據元名稱和編碼是否唯一68

2.3.2.3.10數據元版本號驗證69

2.3.2.3.11數據元版本號信息查詢69

2.3.2.3.12數據元版本信息更新70

2.3.3數據標準管理70

大數據平臺深化設計說明書

2.3.3.1功能描述70

2.3.3.1.1設計思路71

2.3.3.2接口設計72

2.3.3.2.1數據標準管理列表查詢接口72

2.3.3.2.2數據標準管理新增接口73

2.3.3.2.3數據標準管理修改接口73

2.3.3.2.4數據標準管理刪除接口74

2.3.3.2.5數據標準查看詳情接口74

2.3.3.2.6數據標準名稱、代碼、標準號、英文名稱是

否唯一75

2.4數據資源共享管理76

2.4.1編目管理76

2.4.2前段碼管理76

2.4.2.1功能描述76

2.4.2.2實現框架77

2.4.2.2.1設計思路77

2.4.2.3接口設計78

2.4.2.3.1前段碼管理列表接口78

2.4.2.3.2前段碼新增接口79

2.4.2.3.3前段碼修改接口80

2.4.2.3.4校驗前段碼名稱和編碼是否唯一80

大數據平臺深化設計說明書

2.4.2.3.5前段碼刪除81

2.4.2.3.6前段碼導入81

2.4.2.3.7前段碼導出82

2.4.2.3.8前段碼批量導入模板下載83

2.4.3資源目錄管理83

2.4.3.1功能描述83

2.4.3.2實現框架84

2.4.3.2.1設計思路84

2.4.3.3接口設計87

2.4.3.3.1資源編目87

2.4.3.3,2編目修改91

2.4.3.3.3資源刪除93

2.4.3.3.4列表查詢94

2.4.3.3.5批量撤銷95

2.4.3.3.6批量導入95

2.4.3.3.7批量導出97

2.4.3.3.8編目詳情97

2.4.3.3.9獲取數據項100

2.4.3.3.10唯一性校驗101

2.4.4文件102

2.4.4.1功能描述102

大數據平臺深化設計說明書

2.4.4.2實現框架103

2.4.4.2.1設計思路103

2.4.4.3主要邏輯實現描述103

2.4.4.4界面設計104

2.4.4.5接口設計105

2.4.4.5.1資源發布105

2.4.4.5.2獲取注冊文件列表106

2.4.4.5.3查看編目信息107

2.4.4.5.4發布撤銷110

2.4.5數據庫/數據集110

2.4.5.1實現框架110

2.4.5.1.1設計思路110

2.4.5.2界面設計112

2.4.5.3接口設計113

2.4.5.3.1數據庫發布113

2.4.5.3.2獲取注冊數據庫列表115

2.4.5.3.3查看編目信息117

2.4.5.3.4發布撤銷119

2.4.5.4需求管理119

2.4.5.5功能描述119

2.4.5.6實現框架120

大數據平臺深化設計說明書

2.4.5.6.1設計思路120

2.4.5.6.2類圖及描述122

2.4.5.7接口設計123

2.4.5.7.1平臺初審需求列表查詢接口123

2.4.5.7.2門戶數據申請接口123

2.4.5.7.3平臺初審各申請狀態下的數據信息數量接

口124

2.4.5.7.4平臺初審125

2.4.5.7.5平臺數據申請詳情查詢125

2.4.5.7.6部門受理反饋接口126

2.4.5.8功能描述126

2.4.5.9實現框架127

2.4.5.9.1設計思路127

2.4.5.10界面設計129

2.5重點人員監控平臺130

2.5.1業務場景130

2.5.2設計原則和設計要求131

2.5.3獲取字典項值131

2.5.3.1請求方式post131

2.5.3.2請求url131

2.5.3.3請求參數131

大數據平臺深化設計說明書

2.5.3.4返回結果131

2.5.3.5獲取指定重點人員列表132

2.5.3.5.1請求方式post132

2.5.3.5.2請求url132

2.5.3.5.3請求參數132

2.5.3.5.4返回結果133

2.5.3.6獲取指定重點人員個人關系133

2.5.3.6.1請求方式post133

2.5.3.6.2請求url133

2.5.3.6.3請求參數133

2.5.3.6.4返回結果134

2.5.3.7獲取指定重點人員活動軌跡134

2.5.3.7.1請求方式post134

2.5.3.7.2請求url134

2.5.3.7.3請求參數135

2.5.3.7.4返回結果135

2.5.3.8獲取指定重點人員重點記錄136

2.5.3.8.1請求方式post136

2.5.3.8.2請求url136

2.5.3.8.3請求參數136

2.5.3.8.4返回結果136

大數據平臺深化設計說明書

2.5.3.9獲取指定重點人員個人信息基本信息137

2.5.3.9.1請求方式post137

2.5.3.9.2請求url137

2.5.3.9.3請求參數137

2.5.3.9.4返回結果137

2.5.3.10獲取指定重點人員活動軌跡用于地圖展示……138

2.5.3.10.1請求方式post138

2.5.3.10.2請求url138

2.5.3.10.3請求參數139

2.5.3.10.4返回結果139

2.5.3.11數據庫設計139

2.5.3.11.1表結構139

2.5.3.12實現邏輯145

2.6輿情監測分析147

2.6.1網絡爬蟲系統147

2.6.1.1業務場景147

2.6.1.2設計原則和設計要求147

2.6.1.3數據庫設計147

2.6.1.4實現邏輯149

2.6.2輿情數據分析150

2.6.2.1功能邏輯描述150

大數據平臺深化設計說明書

2.6.2.2功能模塊結構圖151

2.6.3分析過程數據模型151

2.6.3.1數據庫表：152

2.6.4軟件體系架構描述155

2.6.5設計思路156

2.6.6詳細設計157

2.6.6.1熱詞分析157

2.6.6.1.1概要說明157

2.6.6.1.2類圖及描述157

2.6.6.1.3流程圖及描述158

2.6.6.2熱點聚類158

2.6.6.2.1概要說明158

2.6.6.2.2類圖及描述159

2.6.6.2.3流程圖及描述160

2.6.6.3話題提取160

2.6.6.3.1概要說明160

2.6.6.3.2類圖及描述161

2.6.6.3.3流程圖及描述162

2.7智慧搜162

2.7.1功能模塊結構圖162

2.7.2軟件體系架構描述164

大數據平臺深化設計說明書

2.7.3業務場景164

2.7.3.1.1精確查詢164

2.7.3.1.2模糊查詢165

2.7.3.1.3指定類型查詢165

2.7.4數據來源165

2.7.5接口設計166

2.7.5.1智慧搜首頁查詢接口166

2.7.5.1.1請求方式post166

2.7.5.1.2請求url166

2.7.5.1.3請求參數166

2.7.5.1.4返回結果167

2.7.5.2按照條件分頁搜表數據169

2.7.5.2.1請求方式post169

2.7.5.2.2請求url169

2.7.5.2.3請求參數169

2.7.5.2.4返回結果170

2.7.5.3按照條件和表名分頁搜表數據171

2.7.5.3.1請求方式post171

2.7.5.3.2請求url171

2.7.5.3.3請求參數171

2.7.5.3.4返回結果172

大數據平臺深化設計說明書

2.7.5.4按照身份證號和表分類搜表數據173

2.7.5.4.1請求方式post173

2.7.5.4.2請求url173

2.7.5.4.3請求參數173

2.7.5.4.4返回結果174

2.7.6頁面設計174

2.7.6.1搜索主頁174

2.7.6.2搜索詳情頁175

2.8消息中心、關注對象175

2.8.1模塊架構175

2.8.2個人消息管理UI頁面176

2.8.2.1消息訂閱176

2.8.2.2個人消息176

2.8.3消息管理中心UI頁面177

2.8.3.1消息定義177

2.8.3.2消息訂閱178

2.8.3.3消息推送178

2.8.4概念模型179

2.8.4.1消息實體179

2.8.4.2消息中心179

2.8.4.3消息推送180

大數據平臺深化設計說明書

2.8.5物理模型181

2.8.6類圖181

2.8.7對外接口182

2.9平臺管理模塊182

2.9.1單點登錄182

2.9.1.1交互圖182

2.9.1.2訪問流程184

2.9.2用戶組權限184

2.9,2.1實現框架185

2.9.2.1.1設計思路185

2.9.2.1.2獲取用戶組列表查詢接口187

2.9.2.1.3查看用戶組接口187

2.9.2.1.4用戶組關聯用戶接口188

2.9.2.1.5新增用戶組接口188

2.9.2.1.6修改用戶組接口189

2.9.2.1.7刪除/批量刪除用戶組接口189

2.9.2.1.8數據授權190

2.9.3用戶管理191

2.9.3.1功能描述191

2.9.3.2實現框架192

2.9.3.2.1設計思路192

大數據平臺深化設計說明書

2.9.3.3接口設計194

2.9.3.3.1獲取用戶列表查詢接口194

2.9.3.3.2新增用戶接口195

2.9.3.3.3修改用戶接口197

2.9.3.3.4刪除/批量刪除用戶組接口200

2.9.3.3.5用戶導入和導出201

2.9.3.3.6校驗唯一性202

2.9.3.3.7上傳頭像204

2.9.4角色管理205

2.9.4.1功能描述205

2.9.5權限管理207

2.9.5.1權限管理數據模型207

2.9.5.2物理模型207

2.9.5.3類圖208

2.9.5.4對外接口209

3深化功能209

3.1高分大屏209

3.2權限管理210

3.2.1角色管理210

3.2.2用戶管理210

3.2.3紅名單210

大數據平臺深化設計說明書

3.3日志管理210

3.3.1用戶操作日志210

3.3.2數據處理日志210

大數據平臺深化設計說明書

1實現架構及功能邏輯

1.1設計思路

1.標準規范及統一架構

業務標準規范：按照政務數據共享交換的綱領，總體設計思路嚴格遵

守政務數據共享交換的規范化、標準化原則。遵循國家政務信息資源管理、

交換、共享有關標準及國家政策要求。按照系統建設標準與規范設計設計

數據內容、數據分類與編碼、精度與標準等。

建立統一的技術架構：統一的技術路線、統一的產品支撐、統一的技

術支撐、統一的業務支撐，為應用系統提供多層面的支撐架構。

建立統一的、標準化的應用集成架構，以約束不同開發商的應用服務

接口開發。

2.松耦合、高靈活、可重用設計

政務數據共享交換平臺的業務多樣，需求復雜，如果按傳統的設計思

路，就特定問題給出特定方案，將難以滿足平臺的業務需求的變化及擴展

的需求。

系統、模塊獨立化，采用頂層設計原則，自頂向下設計實現，將業務

系統高度抽象，歸納，組織為相對獨立的子系統，子模塊，采用統一的接

口標準，統一的數據格式與數據結構標準，將一個復雜的大平臺解耦，增

加平臺擴展性，靈活性與生命力。

提供可擴展的功能模塊封裝，包括數據源管理、編目管理、資源管理、

1/246

大數據平臺深化設計說明書

交換管理、共享管理、用戶管理、權限管理、數據分析管理，日志管理，

等通用模塊的封裝，提升各業務系統的質量，提高系統的復用性，減少重

復投資

3.系統、數據的安全性設計

數據訪問授權，對注冊的數據和服務進行訪問權限控制。基于賬號

粒度，控制消費者用戶可以訪問的信息資源。基于唯一設備ID,控制設

備消費者可以訪問的信息資源。

安全防護，全方位、多角度對系統、數據、服務、設備進行安全防護。

證書系統，自帶CA認證的證書，各節點通過證書安全的組建網絡，

保證節點可信、不可抵賴，不可更改等安全特性。

4、技術先進性設計

1）具有良好的開放性，支持對結構化、非結構化等不同類型數據的查

詢接口封裝，支持關系型數據庫、NOSQL數據庫、分布式數據庫、內存數

據庫等多種類型數據存儲模式，符合以Hadoop/Spark為代表的主流技術

發展趨勢要求,能夠兼容開源Hadoop體系中的各類組件。

2）采用J2EE技術路線，提供在UNIX、Linux等操作系統上部署。

3）系統應采用B/S架構，支持兼容JDK1.7及以上版本,支持Websphere、

WebLogic.TOMCAT等主流應用服務器。

4）版本統一要求，需遵循統一業務規范、統一數據標準、統一數據架

構要求。

5）系統支持包括IE8及以上版本的IE瀏覽器、google瀏覽器、FireFox

2/246

大數據平臺深化設計說明書

等主流瀏覽器。

6）系統應遵循公安部關于信息系統管理的各類技術、業務要求、檢測

標準、功能標準和數據標準。

7）系統結構遵循工程統一要求，采用多層結構開發部署，實現業務流

程與數據處理相分離，內容與表現相分離，使系統真正具備可擴展性。

1.2系統架構

社會治理大數據應用服務平臺是一個為網格化社會治理用戶提供社會

治理全要素數據服務的大數據平臺。平臺建設可以分為四個層次。分別為

社會治理大數據存儲結構、全文檢索與分析應用、面向社會治理應用

在大數據服務能力，實現省級平臺數據級聯和共享。

1.2.1系統體系結構

1.2.1.1功能架構

社會治理大數據應用平臺采用面向服務架構設計技術，平臺總體分

層架構由大數據匯集、大數據整合、大數據存儲計算分析平臺、大數據資

源池、大數據研判分析、大數據服務、大數數據可視化展示、大數據管理

等7大核心部分組成。

平臺架構下圖所示：

3/246

大數據平臺深化設計說明書

平臺用戶苣理統一授權統一認證單點登錄笆慧搜通知通告待辦事務數

門戶據

管

理

人員詈理全局態勢信息要素王題信息卷蠅就人像比對服務信息推送服務

監

測

三康地圖要素對象信息輿情分析即席杳詢服更信皂訂閱服務

分

零

Afi蜒三維建筑網格力量輿情監灣智盤搜服務關注對象服務

臺

人員預警視頻圖像接入視頻短信指拄輿情簡報數據核查服務

平人員關系研判模型人員軌跡研判模型事件分析處理模型網絡事件動春監測網格人員動態監測

標

臺

準

應

民生熱點問題監瀏精準幫茨動態監測社會治安質態評估網格員動杳配置校園周邊全規

用

范

管

開

理

發

運

'維

奮

安

接

據

全

自然語言文本處理大

數

入機器學習標至營理數據分忻模型

大

數

存

據

保

等

數

據

儲

資

恚崖處理計算流計算內存計算國計算隙

標

空

據

：

源

t源

準

集

目

M列式數據庫口圖數據庫I全文檢索效先庫內存數據庫關系型政據庫油

群

規

錄

危

-r臺-

分布式文件系統(HDFS)

體

系

數

據

數

會批地J口我數據實時接入數克質量稽核質

據

S量

數受抽取webServiceAPI接口標準化處理

數

據

安

全

綜治大數室公安大數據.政三?我有社會大數據上級大數據互聯網大數樨

計算資源存儲費源網絡綾源政等■外網互聯網轉治專網邊界接入平臺

其中大數據存儲計算分析平臺依托Hadoop開源生態技術棧搭建分布

式存儲和計算框架。提供基于離線計算、實時計算、內存計算、圖計算等

計算框架開發社會治理大數據分析應用。提供關系型數據庫、列式數據庫、

圖數據庫、內存數據庫和全文檢索數據庫五種數據庫，以存儲各種類型的

社會治理數據資源。提供數據資源的存儲、轉換、增量導入、數據清洗等

功能。經導入和清洗的數據資源，根據其不同的性質、數量和應用方式,

將數據存放在相應的數據庫系統中。提供標簽管理、數據分析模型管理功

能，使用圖形化的數據建模環境，通過數據分析過程和算法編排形成數據

分析計算工作流，完成數據建模應用的開發。

4/246

大數據平臺深化設計說明書

1.2.1.2技術架構

技術架構，平臺系統功能可分為4個層次:數據服務層、數據計算層、

數據存儲層DWS、數據采集層。另外加上數據源層ODS層，數據源層為系

統外部業務系統、業務數據庫、業務文檔庫提供。為共享數據交換平臺提

供數據的支撐。

數據接口

數據服務層監控告警交互圖表大屏展示

(API\REST)

______,_______7

11一-——

/\

|SQL引擎數據Club數據倉庫］數據挖掘Manager

數據計算層

［數據探索)［數據窿模|

""實時計[系統管理)

[Spark||Storm|[MapReduce|

［SSO)

I分類T回歸I聚合『關聯

安全管理

MahoutMlib

數據存偌層一?;集群管理

DWSI懿色也

X._________

\(機器學習靠法睪|/茶集管理

［演式管理I

一HDFS數據治理<-4?

I』務模型I

數據采集層

抽取|［轉換］］清洗)|題合||一也化］引領|

ETLI畝訐管理

數據湖

結構化數據非結構化數據I日志管理|

救據源ODS

|Oracle](Oracle]|Oracle][Oracle)Spider

Spider

公安人社民政交通里論熱點

圖-2：綜治中心數據應用架構

數據源0DS層：從業務系統，異構結構化數據如公安、人社、民

政、政法，和非結構化數據，如新浪微博、百度帖吧、論壇，新聞新點抽

取數據到數據湖中存儲。作數據規約化，標準化處理。

數據ETL采集層：

5/246

大數據平臺深化設計說明書

?數據采集層使用可視化的開發開具，通過圖形化拖拉拽，敏捷開

發模式，集數據建模和ETL設計于一體，能快速響應開發，靈

活應對，需求變動，開發者與應用者視角隔離，支持多人協同定

義，共享資料庫，內置數倉分層結構，提供數倉全局一體化視圖，

可視化管理和可視化定義，內置豐富的清洗、轉換、抽取，支持

多種文件格式，如TXT、EXCEL多種數據庫類型，關系型數據庫

Oracle、MySql、SQLService、非關系數據HIVE,

HBase,Elasticseach,消息中心件Kafka、MQActive,ETL定義

支持數據抽樣，轉換過程支持邊設置邊預覽，基于時間或事件的

調度觸發模式，批量加載和并行計算機制。

?數據抽取是根據預設的抽取機制從原始數據中讀取數據，包括結

構化數據的抽取和非結構化數據的抽取。抽取機制支持定時抽取、

全量抽取、增量抽取、時間戳抽取、觸發抽取等。

?預處理層支持對結構化與非結構化數據的數據去重處理；對于結

構化數據，判斷在指定時間窗口內，所有字段如果相同，則合并

為一條記錄。對于非結構化數據，在指定時間窗口內，對非結構

化數據指定范圍計算md5值，相同MD5值的文件體只保留一個原

始文件。

數據存儲DWS層：

?基礎庫：

基礎庫包含HBase數據庫和HDFS。前者用于存儲生產庫中關系型

6/246

大數據平臺深化設計說明書

數據庫數據，后者存儲生產環境中的結構化數據和非結構化數據,

包括文本、視頻、圖片、網頁等。

?HBase數據庫：

基礎庫中的HBase數據庫可以看做是生產庫中關系型數據庫的鏡像庫,

其數據結構按照關系型數據庫中表結構建設，如下圖：

Rowkeycollcol2col3

(Hashvalue)

coll、col2等，與生產庫表字段保持一致，統一在一個列組（列

組名為F）下。Rowkey采用hashcode的算法生成散列的hash值。

表名的命名采用B_來源_tablename的方式，其中B代表BasicDB,

是基礎庫的意思，來源是生產庫用途的拼音的大寫縮寫，例如來

源是旅館，那么其縮寫就是LG。tablename取自生產庫本身的表

名。

數據計算層：

大數據計算層是從大量的原始數據中抽取有價值的信息，即數據轉換

成信息的過程。主要對所輸入的各種形式的數據進行加工整理，這一過程

包含對數據的收集、存儲、加工、分類、歸并、計算、排序、轉換、檢索

和傳播的演變與推導。大數據計算層包括兩大基本因素：數據處理和數據

管理。如下圖所示：

7/246

大數據平臺深化設計說明書

大數據平臺計算層

收集存儲加工

分支［歸并［計算

排序轉換檢索

數據平臺計算層

數據服務層：

數據服務層通過數據接口如API,RESTFUL接口對外提供數據服務。

同時通過數據服務提供BIDashboard指標功能展示，及前端的大屏展示。

基礎設施層：

包括計算設施、存儲設施、網絡設施、安全設施等。是所有上層軟件能力

的物理承載，提供了強大的計算能力、大數據量訪問與可靠的存儲能力、

高吞吐的能力、安全可靠的服務能力。

8/246

大數據平臺深化設計說明書

物理組架構

/uUaogS入

奉賢綜治數據應用服務平臺是由web服務，數據庫服務，hadoop和es的

集群環境組成