數據治理在項目建設中的應用探索

目錄

第一章技術需求分析........................................3

1.1業務功能、業務流程和業務量分析.......................3

1.1.1業務功能分析.....................................3

1.1.2業務流程分析.....................................8

1.1.3業務量分析......................................43

1.2信息量分析與預測....................................44

1.2.1測算思路........................................44

1.2.2測算內容........................................44

1.2.3數據存儲信息量分析與預測........................45

1.2.4數據傳輸流量分析與預測..........................47

1.3系統功能和性能需求分析..............................49

1.3.1系統功能需求分析................................49

1.3.2系統性能需求分析................................52

第二章建設中的應用.......................................55

2.1建設原則和策略......................................55

2.2總體目標............................................55

2.3建設任務............................................56

2.4總體技術方案........................................58

2.4.1技術框架規劃....................................58

2.4.2網絡架構規劃....................................59

2.4.3業務運轉架構規劃................................61

2.4.4數據采集架構規劃................................62

2.4.5數據存儲架構規劃................................64

2.4.6數據縱向傳輸架構規劃............................67

2.4.7數據服務架構規劃................................68

2.4.8主要技術路線....................................70

2.5主要軟硬件選型原則..................................77

2.5.1軟件選型原則...................................77

2.5.2設備選型原則....................................78

第一章技術需求分析

1.1業務功能、業務流程和業務量分析

L1.1業務功能分析

1.1.1.1供需對接業務

(1)數據資源服務需求責需對接業務

當提出數據資源需求時，需要通過需求清單的方式將數據資源需求、

應用場景、需求數據明細及來源部門等信息明確，正式提出資源需求后流

轉到責任部門，如果責任部門確認責任，則形成初步責任清單，在資源編

目完成后需要關聯到資源編碼進行資源掛載直到服務發布的需求實施跟

蹤，服務發布后通過服務門戶提供數據資源服務。當無法確認責任時，數

據管理部門需要組織線下協調會議明確責任部門、可提供數據、數據明細

等內容，形成會議紀要。如確因政策原因無法提供的，由責任部門提供給

政策依據后數據管理部門將該資源加入到負面清單中。

(2)數據融合服務需求責需對接業務

當管理部門提出數據融合需求時，數據管理部門需要組織供需分析協

調會議明確數據融合加工方案、源材料提供部門、源材料數據明細等內容,

并下達融合加工生產工單給數據加工中心，由數據加工中心根據數據融合

需求完成融合加工任務，經質量檢驗合格后提交給服務部門進行服務開發

及服務發布。服務發布成功后通過服務門戶對外提供數據融合服務。

第3頁

1.1.1.2資產管理業務

(1)資產登記

根據上級主管部門下發的聚通用工作任務，需要對全市的信息資產進

行全面摸清底數，需要對信息系統、中間件、數據庫、庫表、自建機房、

網絡、云平臺資源、數據資源等云、數、網信息進行全面摸底，掌握全市

信息資源底數。

(2)資源初始編目

在完成資產登記后，需要將編制好的資源目錄通過服務人員導入到數

據資產管理系統，由各部門對已導入的資源目錄進行注冊、審核及發布。

(3)資產日常管理

當資產信息發生變化時，部門用戶需要對變化的資產信息進行更新維

護。

(4)資源掛載

當資源目錄發布后，需要根據數據共享的工作要求在一定時間內完成

資源掛載，根據實際數據資源的情況，各部門可以選擇接口掛載、庫表掛

載、文件掛載等多種掛載方式的其中一種或者多種將資源目錄對應的數據

資源掛載登記，并將已掛載登記的數據資源上傳到部門前置機。

(5)資產評估

信息化資產評估人員需要根據資產管理實際需求，設置資產評估指標,

創建資產評估模型，按照資產評估的需求執行資產評估任務，并出具資產

評估報告。

第4頁

1.1.1.3數據加工業務

(1)數據采集

需要將部門前置庫、上級主管部門級聯數據、縣區級聯數據采集匯聚

到數據資源池，還需要將數據資源池的數據根據上級主管部門級聯目錄、

縣區級聯目錄將數據分發到上級主管部門共享交換平臺、縣區共享交換平

臺。

(2)數據資源池分類

根據一線城市的經驗，將數據資源分類為原始庫、標準庫、基礎庫、

主題庫、專題庫，其中原始庫和標準庫需要按部門進行分類、基礎庫按照

國家規定分類人口庫、法人庫等，主題庫按照主題進行分類，專題庫按照

行業進行分類。

(3)資產庫管理

為了更好的對數據資源池的資產進行管理，需要在進入資產庫前進行

資產入庫登記，登記完成后才能進行入庫。在出庫前也需要先進行資產出

庫登記，登記完成后才能進行出庫。在日常管理過程中，需要查看庫存臺

賬，掌握當前在庫資產情況。

(4)數據加工

數據進入原始庫后，管理部門可以根據需求或者規劃生成并下達加工

工單，數據加工中心可以根據加工工單按照該工單中已確定的數據標準對

數據進行標準化加工，也可以按照規劃的人口庫、基礎庫、主題庫、專題

庫在標準庫基礎上進行簡單加工或者融合加工。需要支持以數據流向為主

第5頁

的血緣分析，需要支持數據模型、算法的入庫登記、管理及發布。

L1.1.4數據質量管理業務

(1)規則庫管理

需要將實施廠商內置的通用規則庫一次性導入到規則庫中，無需審核

即可使用。也需要支持實施團隊根據國標、行標和業務標準梳理的轉換成

規則描述，經審核后方可生成可執行規則，用于數據加工或者質量稽核。

(2)元數據管理

各部門在數據掛載的時候需要提供接口文檔、表結構設計文檔和共享

文件信息，系統支持適配源數據接入進行自動元數據采集，也支持手工錄

入維護，元數據經審核通過后才能進行發布，發布后的元數據才能夠使用。

當部門由于業務變化或系統變化、或者需求變化時可以提出元數據變

更，同時提出本部門的影響分析，服務團隊對該變更進行變更影響分析，

變更審核通過后通知下游系統后進行版本更新和變更后元數據發布。

(3)主數據管理

數據管理部門制定出臺主數據總體規劃，各部門根據主數據總體規劃

內容規劃提供主數據，主數據經審核發布后可對外提供主數據服務。

(4)質量稽核

質量稽核分為2類，1類是由于供需驅動的任務式稽核，當部門提交

送檢單后，經質量管理部門受理后對送檢數據進行安排稽核任務，質量稽

核人員需要根據送檢數據自定義配置檢驗規則和稽核任務，稽核任務完成

后系統出具初步質量檢測報告，支持導出后再進行優化完善。另1類是計

第6頁

劃稽核，質量管理部門根據常規巡檢計劃或臨時巡檢任務要求抽取部分數

據或全量進行稽核，稽核的規則是依托已積累在規則庫的質量規則，稽核

完成后質量檢測報告上報給市大數據發展局。

(5)問題跟蹤

在質量稽核過程中發現的問題，需形成問題單進行跟蹤，加工中心先

對問題進行溯源分析，如為檢測規則問題，則需要重新調整規則庫，如為

加工某個環節的問題，則由加工中心負責處理，如為原始庫問題，則將問

題反饋給責任部門處理，處理結束后需重新提交原始數據到部門前置庫。

1.1.1.5服務管理業務

(1)服務初始化

當平臺建成后，需要將現在共享交換平臺提供的共享服務進行初始化,

遷移到服務門戶統一對外提供服務。

(2)服務分級分類

根據服務規劃，服務分類2大類，1是資源服務，細分為數據校驗、

數據下載、數據查詢、數據訂閱，2是融合服務，細分為地圖服務、分析

服務、沙箱服務、加工服務。服務共分為3個級別，包括低、中、高。

(3)服務新增

當用戶提出服務新增后，需要將服務新增的信息推送給供需調度進行

需求實施跟蹤，直到服務發布。

(4)服務管理

以服務分級分類為主線，數據管理部門需要對服務發布、生效、變更、

第7頁

暫停、恢復、終止等服務狀態進行管理，同時發生變更時，需要升級服務

版本，舊版本和新版本可以同時對外提供服務，需要支持服務異常的處理,

服務終止后，支持用戶提交服務評價反饋信息，作為服務評價的數據依據

之一。

(5)服務評價

數據管理部門提出服務評價指標，經審核后，需要結合自動采集和手

動采集等多種方式實現指標數據采集，然后將采集后的數據進行匯總分析,

根據服務評價報告要求及周期出具服務評價報告。

1.1.2業務流程分析

1.1.2.1供需管理流程分析

根據需求部門提出的數據服務申請，提供滿足服務需求的數據資源和

計算結果，以服務形式實現需求部門的業務需要。

供需管理流程具體如下圖所示：

第8頁

供需管理流程

提交服務需求內容，并由供需管理部門對需求內容進行評判、溝通和確認。

（2）供需分析：根據服務需求內容，分析需求意圖、需求可行性、需

求資源以及線下溝通相關問題。

第9頁

(3)方案線下對接：通過線下會議、人員對接等方式，確定責任部門、

數據提供部門、數據明細等方案內容。

(4)確定責任部門：通過與數源部門溝通，明確數源部門以及所能提

供的數據資源。

1.1.2.2資產目錄管理流程分析

1.1.2.2.1信息資產登記管理流程(初始摸底)

在系統投運后，根據信息化資產摸底要求，對市級政務部門進行資產

登記和資源摸底，形成全市信息資產編目。信息資產登記管理流程(初始

摸底)具體如下圖所示：

第10頁

信息資產登記管理流程(初始摸底)

圖1.1-2信息資產登記管理流程

(1)總體規劃：大數據發展局通過梳理上級主管部門、市政府相關工

作要求和管理規范，提出《政務信息資產目錄管理辦法》，并根據管理辦

法的要求對資產目錄的工作進行規劃安排。

(2)部門編目規劃：根據《信息化資產登記表》由數源部門編目負責

第11頁

人確定需要核對的信息系統資料，落實對接人，本部門的編目工作規劃和

安排。

（3）填報《信息化資產登記表》：由大數據發展局指導資產目錄填報

工作，編目管理部門提供編目技術服務，數源部門按本部門信息資產情況

在數據資產管理系統填報。

（4）信息資產的提交、審核和發布：通過系統填報信息化資產，提交

到本部門的業務分管領導，由業務分管領導負責審核確定資產信息無誤后,

由單位編目管理員負責統一發布。

1.1.2.2.2資產目錄新增（變更）流程

依據三定方案和權責清單，以及信息資產和供需變化的要求，對資源

目錄的新增和變更進行統一管理。資產目錄新增（變更）流程如下圖所示:

第12頁

資產目錄新增（變更）流程

敢源部門管理部門（編目）運營團隊（加工質量）

新增（變更）原因：

1.三定方案及權責清單變化

2.信息資產變化（云'網、

機房、系統）

3.供需變化（責任清單）

費源目錄新增

指導

（變更）填表

《信息化資產登記表》

（系統填報）

是否'

包填報疑回

T

圖1.1-3資產目錄新增（變更）流程

（1）資源目錄新增：通過在系統上填寫《信息化資產登記表》，數源

部門可以新增資源目錄，填寫過程若有疑問，可以由編目管理部門提供相

關指導。

（2）信息資產的提交、審核和發布：通過系統填報信息化資產，提交

到本部門的業務分管領導，由業務分管領導負責審核確定資產信息無誤后,

第13頁

由單位編目管理員負責統一發布。

1.1.2.2.3資產目錄凍結流程

依據三定方案和權責清單的變化要求，同時根據服務停止的實際需要,

對資產目錄的凍結過程進行統一管理。資產目錄凍結流程如下圖所示：

資產目錄凍結流程

圖1.1-4斐產目錄凍結流程

(1)了解情況：數源部門在凍結資源目錄前，需要先了解資源和目錄

第14頁

的使用情況，分析資源凍結的影響程度。

(2)資產目錄凍結申請：填寫《資源目錄凍結申請表》，記錄要凍結

的目錄名稱、凍結時間和影響程度等。

(3)審核：經過編目管理部門的審核，通過后將首先對服務進行停止

操作，然后系統會自動按凍結時間完成資產目錄的凍結操作。

1.1.2.2.4資產目錄遷移流程

根據職能或事項劃轉的需要，對部門間資產目錄的遷移進行統一管理。

資產目錄遷移流程如下圖所示：

第15頁

資產目錄遷移流程

數源部門（遷出方）數源部門（遷入方）管理部門（編目）

職能劃

開始

資產目錄遷移

申請

S

I

L

結束

圖1.1-5資產目錄遷移流程

（1）資產目錄遷移申請：在系統上提報待遷移目錄名稱、遷出單位、

遷入單位、計劃遷移時間等。

（2）承接目錄遷入：承接目錄遷入主要是線下確認“三定規定”和責

權清單，然后根據申請方提供的信息確認遷入的目錄正確無誤，確認遷入

時間符合要求等。

（3）審核：遷入方同意遷入后，編目管理部門需要審核雙方同意狀態,

第16頁

確保雙方對接流程順利完成，并最終變更目錄所有權。

1.1.2.3加工處理流程分析

1.1.2.3.1規則管理流程

按規則標準的來源建立規則庫，并進行統一的規則管控。規則管理流

程如下圖所示：

加工處理流程（規則管理）

數源部門服務團隊（加工）管理部門（質量）管理部門（加工）

觸發條件：

1.資源目錄編制（摸底與日常）

2質.檢任務

梳理標準數據涉及的國標、地I

行標、業務確認（國標、地標、行標和標和行標

業務標準）

?無效--

元數據初始

轉換成

化、變更流

元數據

看效?

市核結果

元數據規則

關系表

圖1.1-6規則管理流程

（1）梳理標準：將涉及國標、地標和行標的數據規則進行梳理和分類,

形成規則清單。其中行標數據規則需要向業務部門確認，是否認可行標要

求。

（2）新增規則描述：規則來源主要分兩種：標準規則和加工管理規則。

第17頁

標準規則來自標準規范的元數據轉化，加工管理規則來自數據治理過程的

需要和積累。

(3)規則審核、入庫：新增的規則需要經過質量管理部門的審核，主

要確認規則的必要性和可用性。審核通過后即可進入規則庫。

1.1.2.3.2元數據初始化流程

按照元數據的標準和規范，對元數據的采集和發布進行統一管理。元

數據初始化流程如下圖所示：

第18頁

加工處理流程（元數據初始化）

數源部門服務團隊（加工）管理部門（質量）大數據發展局

提供資源數據

標準轉換的

（接口提供地

適配源數據元數據自動

址，數據庫和文

件提供前置服務或手工錄入

器）

采集

圖1.1-7元數據初始化流程

（1）采集元數據：大數據發展局通過集中開會方式，組織和討論元數

據的采集方案和工作安排，并形成會議紀要明確數源部門的職責和安排。

（2）提供資源數據：數源部門按照大數據發展局的會議精神，準備相

關的接口文檔、表結構設計文檔和共享文件信息，提供接口地址、數據庫

和文件所在的前置服務器信息。

第19頁

（3）采集元數據：負責加工的服務團隊通過適配數據源或手工錄入的

方式對元數據進行讀取、克隆和元數據存儲，自動標識元數據的版本和采

集問題，通過預配置規則自動進行元數據審核，若仍存在無法解決的問題

則轉入人工審核，直到問題處理完畢，元數據才能對外發布并被治理過程

所使用。

1.1.2.3.3元數據變更流程

按照業務變化和數據需求，對元數據的變更進行統一管理。元數據變

更流程如下圖所示：

加工處理流程（元數據變更）

數源部門服務團隊（加工）管理部門（質量）

第20頁

(1)提出變更需求：元數據變更可能會影響正在運行的整個數據治理

過程，需要慎重評估變更必要性和可行性后才能實施變更，并嚴格按版本

控制方式對變更范圍進行控制，確保變更過程可控。

(2)變更影響分析；通過查找元數據的使用方，評估影響范圍和應用

重要程度，評估治理過程受影響而需要停止的工作內容，需要配合同步修

改的其他系統模塊，需要兼容或調整的數據量等。

(3)通知下游系統：在變更操作前確保通知到所有受影響的使用方。

1.1.2.3.4數據采集流程

根據數據采集的規范要求，按照各部門前置庫的部署情況進行數據采

集和出入池管理，為數據加工提供數據原料。數據采集流程如下圖所示：

第21頁

加工處理流程(采集)

(1)采集前準備：數源部門需要提前做好的準備有，規范業務描述、

篩選數據資源、提供數據資源進入前置機、提交表設計結構和接口文檔等。

(2)采集數據：首先對數源部門的資源數據進行適配，采集元數據,

采集資源數據，保持數據結構和數據記錄不變，存儲進入歸集庫。通過質

量稽核計劃對數據進行初步檢查，主要是核對數據完整性和一致性，是否

第22頁

與前置庫的數據一致。

1.1.2.3.5出入池管理流程

對數據出入資源池進行登記管理，實現對數據出入信息的統一記錄。

出入池管理流程如下圖所示：

圖L1T0出入池管理流程

入池數據來源：入池數據主要來自加工流程中的采集數據、加工后的

數據資產以及分析處理后的融合數據。

入池登記：通過登記數據來源、數據入池量、存放表、數據唯一標志

和入池時間等信息，自動對數據入池過程進行登記，形成數據入池日志，

供出入池臺賬管理使用。

第23頁

出池登記：數據資產的出庫與實物出庫不同，數據出庫可通過數據調

用標記、數據血緣和使用追蹤等技術對數據出庫情況進行跟蹤和監控。通

過出池登記和監控自動形成數據出庫臺賬。

1.1.2.3.6數據加工流程

根據供需任務、領導交辦事項、數據加工規劃等要求，對數據進行加

工處理，滿足數據需求并提升數據質量。數據加工流程如下圖所示：

第24頁

加工處理流程（加工）

服務團隊（加工）管理部門（加工）管理部門（質量）管理部門（服務）

圖1.1-11數據加工流程

（1）下達加工工單：通過工單系統形成加工工單，并下發給負責加工

的服務團隊。

（2）形成加工方案并進行加工：形成《數據加工方案》，提交質量稽

核部門，同步形成質量稽核方案。根據《數據加工方案》配置數據加工流

程，執行數據加工流程，將加工后的數據資產進行出入池管理，并按批次

第25頁

提交質量稽核部門進行數據質量檢測。

(3)數據問題處理：數據質量檢測發現的未達標數據，將按數據來源

和問題原因進行分類，將問題發回數源單位進行整改處理。

1.1.2.3.7數據分析流程

根據數據計算的需求，從模型庫中選用合適的算法模型對數據進行加

工計算，并實現數據融合結果的過程。數據分析流程具體如下圖所示：

第26頁

圖1.1-12數據分析流程

(1)下達加工工單：通過工單系統形成加工工單指導加工服務團隊工

作。

(2)制定數據加工方案：數據分析的加工方案主要包括數據資源的選

擇，融合加工邏輯的說明，業務模型分析，算法模型的轉化，物理模型的

調試方法以及資產數據的生成算法等。質量稽核部門也要根據加工方案同

第27頁

步制定測試用例和規則對融合數據進行正確性測試。

1.1.2.3.8主數據新增流程

對主數據的規劃和梳理進行標準化管理，實現主數據從規劃到入庫的

全過程新增管控。主數據新增流程具體如下圖所示:

圖L1T3主數據新增流程

(1)商定主數據范圍和要求：由大數據發展局協調組織數源部門，商

定主數據的范圍和要求，出臺《政務信息主數據管理辦法》，形成我市主

數據總體規劃。

(2)主數據申請：數源部門需要對本部門的業務數據進行梳理和分析,

識別出本部門的主數據，并按照主數據的名稱、主數據的結構(元數據)

第28頁

以及主數據的業務規則進行申請，形成市級主數據標準。

（3）主數據入庫審核：由數源部門提出的主數據申請，需要進行數據

轉化，形成符合元數據規則的主數據，加工管理部門對主數據的合法性進

行審核，確定符合主數據管理規范的要求，并在審核通過后自動入庫。

1.1.2.3.9主數據變更流程

根據業務變化和系統變化，對主數據的變更及影響進行標準化管理，

實現主數據變更調整的全過程管控。

主數據更新流程

數源部門股務團隊（加工）管理部門（加工）管理部門（服務）大數據發展局

觸發條件：

1.業務變化或系統變化

」主數據更新申請表

部門主數據更新申請

1

是否通過

圖1.1-14主數據更新流程

主數據更新申請：由數源部門根據主數據變更要求，向加工管理部門

提出主數據變更申請，并通過加工管理部門的審核后，將變更數據更新到

主數據庫中。

第29頁

通知使用部門調整：主數據變更后，主要通知加工處理部門調整相應

的主數據調用方案，使用新版本的主數據進行數據治理。

L1.2.4質量稽核流程分析

1.1.2.4.1質量稽核計劃管理流程

根據常規巡檢任務制定質量稽核計劃，然后根據計劃安排實現定期的

質量稽核，并收集稽核問題進行跟蹤處理，最終形成質檢報告，上報給市

大數據發展局。質量稽核計劃管理流程具體如下圖所示：

第30頁

質量稽核計劃管理流程

數源部門管理部門（加工）管理部門（質量）大數據發展局

《質量送檢單》

常規巡檢規范

加工過程提出

、臨時巡檢任

質檢要求質檢要求

務要求

業務標準《吟陽》.編制

（來自提供方業稽核計劃

務規痘）

按稽核計劃L是否'

準備待測費源凝成待測灌畬

質量稽核《質量送檢單》

流程

圖1.1-15質量稽核計劃管理流程

（1）稽核計劃來源：稽核計劃主要來自三個方面，大數據發展局下發

的常規巡檢規范和臨時巡檢任務要求，數源部門進行數據歸集時提出的質

檢要求，以及加工管理部門對數據加工處理過程中提出的質檢要求。其中

數據歸集的質檢依據數源部門的業務規范，大數據發展局的巡檢要求由質

量管理部門落實具體的質量要求。

第31頁

(2)編制稽核計劃：根據質量稽核任務和要求，質量管理部門負責編

制質量稽核計劃，并輸出《稽核計劃》，為下一步準備質量檢測資源做準

備。準備就緒后即可轉入稽核流程，執行具體的質量稽核操作。

(3)質量檢查報告：例行巡檢結束后，由質量管理部門出具《質量檢

查報告》，復核檢查結果后，將《質量檢查報告》提交大數據發展局。

1.1.2.4.2質量稽核流程

根據送檢任務分析數據的質量檢測要求，通過配置質量檢測規則，執

行質量檢測任務，并形成《質檢結果單》。質量稽核流程如下圖所示：

質量稽核流程

服務團隊(質量)

觸發條件：

1.按質?稽核計劃安排

送檢單:

業務標準

送檢任務

(來自提供方業

務規第)

任務分析

緡林業務嫗則---

形成質量要求信息資產登記管理

數據歸集

流程(初始摸底)

配置質量

業務、通用榭M--

質量檢測規則規則庫管理

執行質量質檢結果單

檢查任務

圖1.1-16質量稽核流程

(1)送檢任務：通過《質量送檢單》提交到質量服務團隊的檢測任務,

會根據數源部門的業務規范作為指導，對送檢任務的數據進行分析，形成

第32頁

具體的質量規則和檢測步驟。

(2)配置質量檢測規則：由國標、地標和行標組成通用規則，由元數

據形成數據標準，加上預制通用規則庫，組成數據治理的質量規則庫。通

過結合業務規則和數據特性，配置形成可用于執行質量檢測的規則方案，

轉化成數據處理程序后執行質量檢測任務。對質量檢測中產生的問題進行

收集和記錄，形成《質檢結果單》。

1.1.2.4.3質量問題處理流程

當常規計劃稽核或者送檢稽核任務完成，發現的問題形成問題工單，

并對問題工單進行問題處理指導工單關閉。質量問題處理流程具體如下圖

所示：

第33頁

質量問題處理流程

數源部門管理部門(質量)管理部門(加工)

觸發條件：

1.數據質量稽核發現的問題

質檢結果單問題分析

問題溯源

原始數據問題加工數據問題

檢測規則問題

復核復核

質量

問題處理問題處理

規則庫管理

G有問熟

自我檢查任務復檢自我檢查

正象復性

是否

復檢要求

存在問I

《質量檢查報告》.工單完結

結束

圖1.1T7質量問題處理流程

(1)問題溯源：通過對《質量結果單》進行分析，將發現的問題按數

源和權責關系進行回溯，原始數據問題返回給數源部門處理，規則檢測問

題由質量管理部門處理，加工過程問題由加工管理部門處理。

(2)自我檢查：各問題處理方完成整改后，需要對自己的整理結果進

第34頁

行復核并自我檢查，確保問題得到有效解決。

(3)工單完結：質量檢查完成后系統會關閉質檢工單，并通知數據治

理的下一步流程管理方，同時形成《質量檢測報告》。

1.1.2.5服務管理流程分析

1.1.2.5.1服務初始新增流程

根據平臺上線后服務初始部署的需要，對服務的分級分類、申報、審

核及發布過程進行流程說明，實現服務的規范化初始部署。服務初始新增

流程具體如下圖所示：

第35頁

服務管理流程（初始新增）

管理部門（服務）I運營團隊（服務）I大數據發展局

圖1.1-18服務初始新增流程

（1）服務規劃：系統上線后，需要對初始化的服務進行整體規劃，實

現服務分類和有序部署，確定資源目錄和服務目錄的掛接關系，服務的分

類分級標準以及每個服務的歸類歸級。

（2）服務分類分級：服務按加工處理的過程及用途和重要程度進行分

類分級，新增的服務要符合分類分級要求。

第36頁

（3）服務審核與發布：服務發布前需要經過主管單位的審核，確定服

務符合數據管理規范。服務發布后，需要通知到使用部門或需求提出部門。

1.1.2.5.2服務需求新增流程

根據照日常新增的服務需求，提供滿足服務需求的數據加工、資源掛

載以及服務發布等標準化服務新增過程。服務需求新增流程具體如下圖所

示：

第37頁

服務管理（需求新增）

需求部門運營團隊（服務）大數據發展局

圖1.1-19服務需求新增流程

（1）登記服務需求：數據需求部門通過服務門戶的需求登記功能在系

統上進行新服務的需求登記，填報所需服務的內容和要求。服務管理系統

自動將需求推送到供需管理系統，由供需管理部門負責對接具體的數據需

求方案。

（2）數據資源生產：落實數據供需方案后，需要經過數據加工處理,

第38頁

資源編目掛載和服務目錄掛接等服務制造過程，然后服務經過新增流程完

成最后的服務發布供需求方使用。

1.1.2.5.3服務變更流程

根據數源部門的數據資源變化情況以及新的數據需求，對服務內容進

行變更調整，實現與數據資源和需求的匹配。服務變更流程具體如下圖所

示：

圖1.1-20服務變更流程

第39頁

(1)影響評估：服務變更最重要的工作是評估服務變更所帶來的影響。

為了控制影響面，服務版本控制是必備措施。

(2)服務發布：通過發布新版數據服務，保留舊的服務接口，實現新

舊服務的平行過度，減少服務變更影響，控制新服務的使用對接進程。

1.1.2.5.4服務暫停流程

在服務出現異常或系統環境需要遷移時，可根據以下流程實現服務暫

停，待異常處理完畢或遷移完成后，再回復服務運行。服務暫停流程具體

如下圖所示：

第40頁

服務管理流程（服務暫停）

圖1.1-21服務暫停流程

（1）發現異常：數據服務運行過程中，通過服務監控可及時發現服務

異常，異常出現后首先分析異常問題性質，若異常對使用方產生影響，將

采用暫停服務的方式避免使用方的數據出現持續錯誤。

（2）異常處理：通過分析異常原因，檢測并處理異常問題，經檢測無

誤后可恢復服務的正常運行。

第41頁

1.1.2.5.5服務評價流程

根據數據服務的評價需求，實現對服務的例行評價，利用評價數據改

進服務品質。服務評價流程如下圖所示：

服務評價流程

管理部門（服務）大數據發展局服務團隊（服務）需求部門

1.膝務狀態情況（數量總量'啟用、暫停、停止數量）

2.腺務運行情況（服務并發量、胤務請求次數,接受次數、

處理次數'出錯次數、拒絕次數，服務響應最大時間、服務

響應最小時間,服務響應平均時間）

3.鹿務事件情況（出錯事件、轉警事件、異常事件）

4.服務質量情況（用戶滿意度、投訴量,投訴處理員）

圖1.1-22服務評價流程

（1）定義評價維度和指標:服務評價關系數據服務質量的改進和提升,

是數據治理成果轉化的重要評估依據。通過對評價的維護和分類進行定義,

采用指標化的標準對服務進行統一規范，形成可量化和考評的指標數據。

（2）評價指標審核：大數據發展局負責評價指標審核，根據考核管理

辦法評估指標的有效性和合理性，確定指標的使用和解析方法等。

（3）指標采集、匯總和分析：指標數據由系統自動采集，并通過報表

方式匯總計算，根據考核要求對指標數據進行人工分析，最后定出《服務

第42頁

評價報告》。

1.1.3業務量分析

1.1.3.1信息采集業務量分析

數據治理平臺的數據采集涉及全市55個委辦局與6區6縣的數據共享

交換。需采集業務數據、歷史數據和各類共享交換數據，隨著全市各部門

的不斷接入，系統的采集業務量需要不斷擴展。

根據調研結果，當前歸集到的數據共享交換平臺數據主要分成歷史庫

表、歷史接口數據、歷史文件等三種類型,其中歷史庫表數據為1.9億條,

按每條庫表數據平均10KB計算，則歷史庫表數據量=1.9億

*10KB/1024/1024/1024=l.77TB；當前歷史接口數據為353個，每個接口數

據平均按10KB計算，則歷史接口數據量=353*10KB=3.53MB；歷史文件(表

格、文稿、PDF等)數據約為178400個，每個文件數據平均為10MB,則歷史

非結構化數據量=178400*10MB/1024/1024=l.70TBo

根據目前的數據匯聚情況，平臺建設后首年匯聚各部門數據、上級主

管部門級聯數據、區縣級聯數據的庫表數據原始庫約為4000萬條，接口

數據200個，文件數據200000個。庫表及接口數據均按每條數據平均10KB

計算，則首年的起始庫表+文件數據量=(4000萬+200)

*10KB/1024/1024/1024=0.37TB,每條文件數據按平均10MB計算，則首年

的起始文件數據量=200000*10MB/1024=l.90TB。

第43頁

1.1.3.2信息訪問量分析

本系統平臺主要面向市大數據發展局、市網管中心、市橫向部門等用

戶，各類用戶訪問業務量如下：

市大數據發展局、市網管中心、市橫向部門等用戶2000人，每天必須

訪問系統的用戶數為200人次，平均每個用戶每次使用時間預計為6小時,

平均每天8小時有用戶在線使用，系統的最大并發量預計為200o

同時本系統平臺建設數據中臺，與全市各個應用系統實現實時接入，

每天必須接入的系統數為500個，系統的最大并發接入數為100o

數據資產運營門戶屬于小范圍試點應用，為運營應用提供可信數據服

務，每天必須接入的接口數為100個，系統的最大并發量預計為50。

1.2信息量分析與預測

1.2.1測算思路

數據存儲量與網絡通信量，主要產生自兩個方面：系統業務處理產生

的數據與系統內數據自動采集所產生的數據。系統業務處理產生的數據量

主要由系統用戶操作系統產生。考慮到本系統的使用用戶量并不大，所以

在測算時該部分產生的影響忽略不計。因此，在測算數據存儲量與網絡通

信量時，只考慮系統內數據自動采集所產生的信息。

1.2.2測算內容

本次測算內容包括系統數據存儲信息量測算和數據傳輸流量分析與預

測。并分別提出這些數據量的現值和3?5年的預測值。

第44頁

1.2.3數據存儲信息量分析與預測

數據存儲信息量主要包括訪問及信息采集產生的信息量。具體的存儲

信息量分析與預測如下：

（1）首年采集數據量測算

因此，首年采集的原始庫結構化數據（含庫表和注冊接口）總量

=0.37TBo

采集的原始庫非結構化數據主要為文件數據，首年采集的非結構化數

據=1.90TBo

（2）用戶訪問信息量測算

系統的用戶訪問業務量測算如下表所示:

序業務量系數每筆業務數平均每月業

主要業務主要相相關因素

號（單位：筆/人據量（單務量（單位：

分類關因素數量

/日）位：KB）GB）

數據治理與業務

1與應用平相關人40010101.14

臺員

2合計1.14

測試說明:

預計平均每天訪問公共治理大數據治理與應用平臺的人數約400人、

平均每人每天操作10次，每筆操作業務量約為10KB。則每月為1.14GB。

每年為12*1.14GB=13.73GB；由于訪問日志信息將定期刪除，因此不計入數

據存儲量測算中。

（3）結構化數據量

根據首年采集的原始庫數據量測算的結果，考慮標準庫存儲容量等于

第45頁

原始庫數據容量，基礎庫、主題庫、專題庫根據實施服務內容確定，每個

庫按原始庫的20%計算，則首年產生的結構化數據總存儲信息量為

0.37+0.37+0.37*3*0.2=0.96TBO本項目采用分布式存儲架構，默認建立3

個副本，即首年的實際結構化存儲需求為2.89TB。

（4）非結構化數據量

根據首年采集的原始局數據量測算的結果，每年產生非結構化數據為

1.90TBo本項目采用分布式存儲架構，默認建立3個副本，即首年的實際

結構化存儲需求為5.70TBo

（5）其他冗余信息量

其他冗余信息量，如緩存信息，系統參數等等每年約產生500GB數據

量。

因此，信息量開銷分析表如下所示：

表1.2-1信息量開銷分析表

序號采集信息項首年數據量

1結構化數據量2.89TB

2非結構化數據量5.70TB

3其他冗余數據量500GB

4合計9.09TB

即首年的存儲數據量為9.09TB/年;

考慮數據治理服務需要將歷史的庫表數據全部進行標準化加工，則歷

史庫表數據實際需求為=1.77（原始庫）+1.77（標準

庫）+1.77*3*0.2=4.60TB,接口數據及文件數據不進行加工，直接提供原生

服務，存儲量需求約等于L70TB,由于采用分布式存儲架構，需考慮默認

第46頁

的3個副本，歷史接口+文件存儲量=3*1.70=5.10TB,即歷史數據存儲量需

求=4.60TB+5.10TB=9.70TB,隨著應用范圍推廣，業務采集的范圍更廣，每

年的數據增長率約30%,預計3年后的數據量為：9.70+8.97+8.97*

(1+30%)+8.97*(1+30%)*(1+30%)=45.49TB,但考慮到適當冗余,建

議預留60T的存儲空間，即結構化數據存儲空間為10TB,非結構化數據為

50TBo

1.2.4數據傳輸流量分析與預測

(1)網絡接入帶寬測算公式

公式：總帶寬需求=當前帶寬需求義(1+年增長率)發展周期

其中：當前帶寬需求=峰值帶寬需求

峰值帶寬需求=數據變化量(每秒數據流量)義瞬時峰值因子XIP包

與承載數據量的比例XIP包頭開銷/線路利用率/(1-協議開銷)

峰值帶寬需求單位為每秒數據流量；

為方便計算，可參考如下計算參數：

數據變化量=并發用戶數x平均每個用戶同時打開頁面數x平均頁面大

小

瞬時峰值因子=2.5

IP包與承載數據量的比例=150%

IP包頭開銷=130%

(2)政務外網帶寬需求

領導用戶、系統使用用戶、系統管理人員等用戶主要通過政務外網進

第47頁

行訪問，數據傳輸流量分析如下:

根據用戶訪問信息量測算，系統最大并發量預計為200,平均每個用戶

同時打開頁面數2個，平均頁面大小為15KB。

數據變化量=200*2*15K=5.86MB/s；

用戶訪問峰值帶寬需求=5.86*8*2.5*150%*130%=228.52Mbps；

根據系統接入量測算，系統最大接入量預計為100,平均每個接入數據

大小為50KBo

數據變化量=100*50K=4.88Mbpso

系統接入峰值帶寬需求=4.88*8=39.04Mbps；

當前帶寬需求=228.52Mbps+39.04Mbps=267.56Mbps；

考慮適當冗余，政務外網帶寬需求為300Mbps。

(3)互聯網出口帶寬需求

根據互聯網應用接入量測算，系統最大接入量預計為50,平均每個接

入數據大小為50KBo

數據變化量=50*50K=2.44Mbpso

系統接入峰值帶寬需求=2.44*8=18.52Mbps；

考慮適當冗余，互聯網出口帶寬需求為30Mbps。

第48頁

1.3系統功能和性能需求分析

1.3.1系統功能需求分析

1.3.1.1服務門戶功能需求分析

按照數據資源服務（數據校驗、數據下載、數據查詢、數據訂閱）、

數據融合服務（地圖服務、分析服務、沙箱服務、加工服務）的分級分類

為管理部門提供統一的服務門戶，通過服務門戶可以瀏覽和下載服務目錄,

用戶可以提出服務使用申請，經授權后可以進行根據申請的應用場景進行

使用。還可以提出新的數據資源需求和數據融合需求，通過供需調度系統

實現需求任務的全流程跟蹤。

1.3.1.2供需調度系統功能需求分析

通過需求驅動的方式，建立數據資源服務、數據融合服務需求提出、

供需分析、需求分發、需求確認并形成數據責任、數據責任完成、需求責

任實施、需求任務完成的線上線下全流程跟蹤管理，不僅可以方便數據需

求部門便捷高效的獲取數據，提升數據共享能力，還能夠通過應用導向的

供需業務不斷完善資源目錄、基礎庫、主題庫、專題庫的質量和有效性。

通過供需調度系統需逐步沉淀形成部門需求清單、部門責任清單及全

市的負面清單等三清單成果產物。

1.3.1.3數據資產管理系統功能需求分析

通過數據資源目錄梳理登記，實現對全市信息系統、云、機房的信息

登記及數據資源的動態管理，按照國家政務信息資源目錄體系實現資源目

第49頁

錄的分類、注冊、審核、發布、凍結等資源目錄的全生命周期管理，同時

支持部門通過接口、庫表、文件等多種方式實現資源掛載，創新資產管理

方式，將資源目錄進行上鏈，建設可信的用戶信任機制。根據上級主管部

門考核要求，借助知識圖譜技術，以數據資源為本體，構建數據資源所在

部門、所在業務科室、所在信息系統、所在云、所在機房、關聯資源目錄

之間的語義關聯。建設數據資源圖譜，關聯數據欄，通過數據欄可以申請

跨部門、跨云、跨庫資源，充分挖掘數據價值。

1.3.1.4數據加工系統功能需求分析

需要將部門前置庫數據，上級主管部門級聯數據、區縣級聯數據采集

到原始庫，需支持數據讀取、數據對賬、斷點續傳、任務管理、解密解壓、

數據分發的數據采集功能，對于暫時無法實現接口對接而又有迫切業務需

要的系統接口對接需求，系統提供數據管道服務，從業務系統的表現層重

構出數據接口，實現業務系統的對接。

數據加工系統提供面向結構化數據記錄、半結構化文本等具體數據的

數據處理能力，能夠對數據進行提取、清洗、轉換、關聯、比對、標識、

融合等數據加工能力，還提供數據治理服務過程中的模型、算法的登記、

管理及發布功能，還需提供數據分級分類、數據脫敏、數據加密解密、權

限控制、安全日志等數據安全防護能力。

1.3.1.5數據質量管理系統功能需求分析

制定數據質量管理工作制度規范，從數據服務的視角提出數據質量管

第50頁

控需求，構建標準數據元、標準字典表，實現數據標準體系的管理，構建

通用規則庫、業務規則庫，并購買成熟廠商的內置通用規則庫，縮短質量

工作機制的形成時間，以元數據管理、主數據管理為質量管理工作抓手，

為高標準的質量改進提供基礎支撐，通過建立從稽核、質量追溯、質量檢

測報告到問題庫的跟蹤管理機制，形成大數據治理平臺的質量管理流程體

系，通過反復的質量稽核及質量改進，逐步提升全市政務數據質量。

1.3.1.6商業智能報表引擎功能需求分析

需要建設商業智能報表引擎能力，支持開發人員基于商業智能報表引

擎根據用戶的定制報表需求實現快速開發響應