1、基于(jy)云計(jì)算的電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)12014年6月共三十三頁(yè)數(shù)據(jù)管理技術(shù)(jsh)定義2數(shù)據(jù)管理技術(shù)(jsh)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計(jì)和內(nèi)容提綱2共三十三頁(yè) 電子政務(wù)公共平臺(tái)數(shù)據(jù)管理技術(shù)是結(jié)合云計(jì)算、大數(shù)據(jù)的管理技術(shù)特征，同時(shí)規(guī)范公共平臺(tái)數(shù)據(jù)管理核心要素，并兼顧、引導(dǎo)傳統(tǒng)(chuntng)數(shù)據(jù)管理技術(shù)逐步轉(zhuǎn)化為云數(shù)據(jù)管理技術(shù)。公共平臺(tái)管理技術(shù)設(shè)計(jì)應(yīng)涵蓋數(shù)據(jù)全生命周期管理，包括數(shù)據(jù)采集管理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)服務(wù)等過(guò)程的管理。 （1）定義(dngy)3共三十三頁(yè)數(shù)據(jù)管理技術(shù)(jsh)定義2數(shù)據(jù)管理技術(shù)(jsh)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計(jì)和內(nèi)容提綱4共三十三頁(yè)目標(biāo)電子政務(wù)公共平臺(tái)數(shù)據(jù)管

2、理的建設(shè)，最終要形成信息資源的統(tǒng)一采集管理、統(tǒng)一存儲(chǔ)管理、統(tǒng)一利用管理和基于平臺(tái)和共享信息資源的應(yīng)用系統(tǒng)管理，形成平臺(tái)相應(yīng)的技術(shù)和管理規(guī)范，保障政務(wù)信息資源的有效服務(wù)利用。電子政務(wù)公共平臺(tái)數(shù)據(jù)管理將是對(duì)平臺(tái)現(xiàn)有的數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)服務(wù)全過(guò)程進(jìn)行統(tǒng)一的數(shù)據(jù)管理、質(zhì)量管控，并且通過(guò)標(biāo)準(zhǔn)的云平臺(tái)技術(shù)下的交換共享服務(wù)模式，實(shí)現(xiàn)政務(wù)數(shù)據(jù)在公共云平臺(tái)上的統(tǒng)一存儲(chǔ)、統(tǒng)一維護(hù)和靈活服務(wù)，提升政務(wù)現(xiàn)有數(shù)據(jù)的安全存儲(chǔ)和高效使用等能力，更加深入地進(jìn)行數(shù)據(jù)挖掘等工作，為政府創(chuàng)造更多的價(jià)值。 （2）目標(biāo)(mbio)5共三十三頁(yè)數(shù)據(jù)管理技術(shù)(jsh)定義2數(shù)據(jù)管理技術(shù)(jsh)目標(biāo)31數(shù)據(jù)管理技術(shù)設(shè)計(jì)和內(nèi)容提綱6共

3、三十三頁(yè)數(shù)據(jù)管理總體設(shè)計(jì)框架(kun ji)7三個(gè)環(huán)節(jié)四部分內(nèi)容共三十三頁(yè) 電子政務(wù)云平臺(tái)數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)，是在指依照云平臺(tái)管理和服務(wù)范圍內(nèi)政務(wù)信息用戶(hù)的需求，從電子政務(wù)云平臺(tái)或者接入云平臺(tái)的有關(guān)信息源或載體內(nèi)對(duì)各種形態(tài)(xngti)的政務(wù)信息（包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等）發(fā)現(xiàn)、定位、采集、提取并加以聚合和集中的管理設(shè)計(jì)。一、數(shù)據(jù)管理采集技術(shù)(jsh)設(shè)計(jì)數(shù)據(jù)管理采集技術(shù)設(shè)計(jì)8共三十三頁(yè)數(shù)據(jù)(shj)采集技術(shù)要解決的問(wèn)題：9確定數(shù)據(jù)源的范圍（什么樣的數(shù)據(jù)源為平臺(tái)合格的數(shù)據(jù)源）；如何將數(shù)據(jù)源變成真正的采集對(duì)象（服務(wù)化，自服務(wù)）；采集對(duì)象的自描述（含蓋哪些屬性(shxng)）；平臺(tái)與采

4、集對(duì)象的綁定（采集過(guò)程的實(shí)現(xiàn)）；對(duì)采集過(guò)程的監(jiān)控與追溯；對(duì)采集行為及任務(wù)完整統(tǒng)計(jì)分析；平臺(tái)將上述功能的服務(wù)化，并為提供給平臺(tái)的使用者。共三十三頁(yè)（1）采集對(duì)象(duxing)管理數(shù)據(jù)管理采集技術(shù)主要(zhyo)內(nèi)容10數(shù)據(jù)源： 平臺(tái)能管理的數(shù)據(jù)來(lái)源，涵蓋在平臺(tái)內(nèi)外部署的所有應(yīng)用系統(tǒng)，應(yīng)包括政務(wù)業(yè)務(wù)應(yīng)用、物聯(lián)網(wǎng)應(yīng)用、互聯(lián)網(wǎng)應(yīng)用和移動(dòng)應(yīng)用等。共三十三頁(yè)11采集對(duì)象： 能自描述和自服務(wù)的所有數(shù)據(jù)源稱(chēng)之為采集對(duì)象。自描述是指它能提供所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)類(lèi)型、更新頻率、訪(fǎng)問(wèn)方式等屬性，并以服務(wù)形式提供給平臺(tái)發(fā)現(xiàn)和定位；自服務(wù)是指它以服務(wù)化方式提供接入平臺(tái)的方式，以便平臺(tái)獲取和收集數(shù)據(jù)。平臺(tái)

5、對(duì)采集對(duì)象管理(gunl)功能：提供采集對(duì)象的屬性描述功能，所有接入的數(shù)據(jù)源需要有唯一標(biāo)識(shí)、所屬單位、數(shù)據(jù)內(nèi)容、數(shù)據(jù)類(lèi)型、更新頻率、訪(fǎng)問(wèn)方式、通信機(jī)制等；提供組織功能，可按用戶(hù)的組織機(jī)構(gòu)、業(yè)務(wù)應(yīng)用等不同方式進(jìn)行分類(lèi)管理；提供對(duì)采集對(duì)象的查詢(xún)/檢索功能；提供生命周期控制功能，包括采集對(duì)象的注冊(cè)、發(fā)布、使用授權(quán)、變更、注銷(xiāo)；支持?jǐn)?shù)據(jù)源管理模型的擴(kuò)展能力，以便適應(yīng)多種新型的信息存取方式。共三十三頁(yè)（2）采集(cij)過(guò)程管理平臺(tái)對(duì)采集對(duì)象的綁定： 通過(guò)綁定方式對(duì)數(shù)據(jù)提供者和使用者進(jìn)行關(guān)聯(lián)和管理，提供數(shù)據(jù)生產(chǎn)方與使用方一對(duì)一、一對(duì)多、多對(duì)多的綁定功能(gngnng)，提供綁定生成、綁定變更、綁定解除等

6、。采集流程調(diào)度： 在采集過(guò)程中，依照數(shù)據(jù)提供周期及使用周期的不同，提供不同頻次的數(shù)據(jù)采集調(diào)度，包括：可以根據(jù)不同業(yè)務(wù)、不同場(chǎng)景，實(shí)時(shí)調(diào)度或者指定在某一天單一調(diào)度，也可以指定在某年、某月、某日、某小時(shí)、某分來(lái)循環(huán)調(diào)度。并行采集技術(shù)： 為提高采集效率，通過(guò)多通道分時(shí)復(fù)用數(shù)據(jù)采集、多通道同步數(shù)據(jù)采集、分布式數(shù)據(jù)采集等采集技術(shù)。共三十三頁(yè)（3）采集監(jiān)控管理狀態(tài)監(jiān)控： 監(jiān)控采集過(guò)程中的所有信息，包括提供采集對(duì)象監(jiān)控，包括采集對(duì)象運(yùn)行狀態(tài)、負(fù)載情況監(jiān)控等。 任務(wù)監(jiān)控： 能實(shí)時(shí)了解供采集任務(wù)執(zhí)行情況，能實(shí)時(shí)了解任務(wù)執(zhí)行時(shí)間、采集數(shù)據(jù)量、采集數(shù)據(jù)大小、空間使用情況、內(nèi)存使用情況等。異常監(jiān)控： 針對(duì)過(guò)程中的異常

7、情況，能提供異常情況預(yù)警；包括采集任務(wù)執(zhí)行失敗、采集節(jié)點(diǎn)狀態(tài)異常、網(wǎng)絡(luò)情況異常等；對(duì)采集異常情況可以進(jìn)行采集任務(wù)追溯。13（3）采集監(jiān)控(jin kn)管理共三十三頁(yè)在數(shù)據(jù)過(guò)程中，采集統(tǒng)計(jì)管理負(fù)責(zé)對(duì)采集過(guò)程和采集結(jié)果的統(tǒng)計(jì)，主要包括：采集任務(wù)運(yùn)行情況統(tǒng)計(jì)；采集任務(wù)資源使用情況統(tǒng)計(jì)；采集任務(wù)異常事件統(tǒng)計(jì)等按照日?qǐng)?bào)(rbo)、周報(bào)、月報(bào)、年報(bào)、實(shí)時(shí)報(bào)方式統(tǒng)計(jì)；將各統(tǒng)計(jì)信息以不同圖表方式展示。14（4）采集(cij)統(tǒng)計(jì)管理共三十三頁(yè) 在云計(jì)算電子政務(wù)公共平臺(tái)環(huán)境下，針對(duì)數(shù)據(jù)(shj)的非確定性、分布異構(gòu)性、海量、動(dòng)態(tài)變化等特點(diǎn)，設(shè)計(jì)采用分布式數(shù)據(jù)管理技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行有效管理，為向用戶(hù)提供高效的服

8、務(wù)奠定基礎(chǔ)。二、數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)(shj)數(shù)據(jù)管理存儲(chǔ)技術(shù)設(shè)計(jì)15共三十三頁(yè)存儲(chǔ)技術(shù)要解決(jiju)的問(wèn)題：按不同用戶(hù)的需求，確定數(shù)據(jù)存儲(chǔ)策略；對(duì)不同用戶(hù)的數(shù)據(jù)，要實(shí)現(xiàn)數(shù)據(jù)隔離或融合機(jī)制；對(duì)用戶(hù)提供高效管理的工具（配置、導(dǎo)入、導(dǎo)出、安全等）；云服務(wù)動(dòng)態(tài)調(diào)度策略和機(jī)制；為用戶(hù)提供對(duì)存儲(chǔ)的有效監(jiān)控；支持(zhch)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理技術(shù)；支持大數(shù)據(jù)存儲(chǔ)與分析。16共三十三頁(yè)數(shù)據(jù)管理存儲(chǔ)技術(shù)主要(zhyo)內(nèi)容（1）存儲(chǔ)管理平臺(tái)云存儲(chǔ)的管理： 通過(guò)集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種存儲(chǔ)服務(wù)，并提供更大更

9、強(qiáng)更好的數(shù)據(jù)訪(fǎng)問(wèn)性能；存儲(chǔ)管理是實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變的核心。云存儲(chǔ)管理要求： 云計(jì)算系統(tǒng)能為不同用戶(hù)提供不同級(jí)別(jbi)的數(shù)據(jù)存儲(chǔ)策略。應(yīng)提供可將計(jì)算機(jī)文件的存放劃分為幾個(gè)等級(jí)，如單機(jī)級(jí)、跨服務(wù)器級(jí)、跨機(jī)柜級(jí)以及跨數(shù)據(jù)中心級(jí)。為單個(gè)用戶(hù)提供獨(dú)立邏輯數(shù)據(jù)存儲(chǔ)空間，必須保證各用戶(hù)之間的數(shù)據(jù)不可見(jiàn)性，確保多用戶(hù)之間的數(shù)據(jù)隔離機(jī)制。17共三十三頁(yè)（2）存儲(chǔ)(cn ch)調(diào)度18存儲(chǔ)調(diào)度策略： 在存儲(chǔ)調(diào)度管理(gunl)過(guò)程中，應(yīng)提供根據(jù)不同任務(wù)需求和調(diào)度模型情況下的云服務(wù)動(dòng)態(tài)調(diào)度機(jī)制： 可通過(guò)相應(yīng)的權(quán)限和優(yōu)先機(jī)制進(jìn)行服務(wù)的調(diào)度處理，以平衡各類(lèi)應(yīng)用壓力，優(yōu)化資源的應(yīng)用； 提供讓用戶(hù)可以按任意的

10、時(shí)間間隔（年、月、日、時(shí)、分）自動(dòng)調(diào)度。（3）存儲(chǔ)監(jiān)控存儲(chǔ)活動(dòng)的運(yùn)行狀態(tài)監(jiān)控： 存儲(chǔ)監(jiān)控指在存儲(chǔ)過(guò)程中對(duì)存儲(chǔ)的所有活動(dòng)進(jìn)行監(jiān)控和管理，包括存儲(chǔ)狀態(tài)監(jiān)控、對(duì)基礎(chǔ)軟硬件進(jìn)行狀態(tài)監(jiān)控和性能監(jiān)控等。 分布式文件系統(tǒng)監(jiān)控： 監(jiān)控信息包括節(jié)點(diǎn)信息、文件/數(shù)據(jù)塊分析、文件歷史操作、數(shù)據(jù)塊操作歷史、文件/數(shù)據(jù)塊排名等監(jiān)控。共三十三頁(yè)19安全設(shè)計(jì)應(yīng)考慮支持多實(shí)例并行： 任一實(shí)例宕機(jī)不會(huì)影響應(yīng)用可用性，系統(tǒng)(xtng)自動(dòng)完成運(yùn)行實(shí)例與數(shù)據(jù)的恢復(fù)。支持集中控制云環(huán)境多節(jié)點(diǎn)數(shù)據(jù)并行備份： 應(yīng)支持系統(tǒng)提供錯(cuò)誤監(jiān)控機(jī)制，對(duì)于故障采取自動(dòng)遷移，采用多份備份來(lái)確保數(shù)據(jù)的安全性，系統(tǒng)達(dá)到高可用性。（4）存儲(chǔ)(cn ch)備份

11、共三十三頁(yè) 電子政務(wù)云平臺(tái)應(yīng)提供數(shù)據(jù)管理的服務(wù)技術(shù)，方便各部門(mén)用戶(hù)管理、處理(chl)和共享所需的各種數(shù)據(jù)資源。設(shè)計(jì)針對(duì)服務(wù)生命周期不同階段進(jìn)行管理提供的服務(wù)。（3）數(shù)據(jù)服務(wù)管理(gunl)技術(shù)設(shè)計(jì)數(shù)據(jù)服務(wù)管理技術(shù)設(shè)計(jì)共三十三頁(yè)服務(wù)技術(shù)要解決(jiju)的問(wèn)題數(shù)據(jù)的使用要以服務(wù)方式體現(xiàn)；要支持?jǐn)?shù)據(jù)服務(wù)的多樣性，形成統(tǒng)一訪(fǎng)問(wèn)方法；要支持?jǐn)?shù)據(jù)服務(wù)靈活變更需求；對(duì)數(shù)據(jù)服務(wù)要有有效監(jiān)控手段；平臺(tái)要支持多租戶(hù)(zh)管理；要有支撐數(shù)據(jù)服務(wù)的支撐技術(shù)。21共三十三頁(yè)22數(shù)據(jù)服務(wù)管理技術(shù)主要(zhyo)內(nèi)容數(shù)據(jù)服務(wù)發(fā)布管理數(shù)據(jù)服務(wù)訪(fǎng)問(wèn)管理數(shù)據(jù)服務(wù)變更管理數(shù)據(jù)服務(wù)監(jiān)控管理共三十三頁(yè)（4）數(shù)據(jù)目錄服務(wù)技術(shù)(js

12、h)設(shè)計(jì) 信息資源目錄服務(wù)技術(shù)設(shè)計(jì)應(yīng)按照政務(wù)信息資源目錄體系系列標(biāo)準(zhǔn)進(jìn)行目錄的各項(xiàng)功能設(shè)計(jì)，并將功能(gngnng)按照公告平臺(tái)規(guī)范要求將各功能(gngnng)進(jìn)行服務(wù)化設(shè)計(jì)。數(shù)據(jù)目錄服務(wù)技術(shù)設(shè)計(jì)共三十三頁(yè)24目錄編目目錄注冊(cè)目錄發(fā)布目錄查詢(xún)目錄維護(hù)數(shù)據(jù)目錄服務(wù)(fw)技術(shù)主要內(nèi)容共三十三頁(yè) 共享交換服務(wù)設(shè)計(jì)，應(yīng)在按照政務(wù)信息資源交換體系系列標(biāo)準(zhǔn)要求的功能基礎(chǔ)上實(shí)現(xiàn)共享交換功能的服務(wù)化，并實(shí)現(xiàn)政務(wù)云平臺(tái)內(nèi)部(nib)應(yīng)用系統(tǒng)間及政務(wù)云平臺(tái)內(nèi)部、外部應(yīng)用系統(tǒng)間的交換服務(wù)。（5）共享交換管理(gunl)技術(shù)設(shè)計(jì)共享交換管理技術(shù)設(shè)計(jì)25共三十三頁(yè)共享交換管理(gunl)技術(shù)主要內(nèi)容26交換橋接前置交

13、換交換傳輸交換管理共三十三頁(yè)（6）數(shù)據(jù)集成服務(wù)技術(shù)(jsh)設(shè)計(jì) 數(shù)據(jù)集成服務(wù)設(shè)計(jì)，應(yīng)提供面向多租戶(hù)的ETL服務(wù)，即數(shù)據(jù)抽取（Extraction）、數(shù)據(jù)轉(zhuǎn)換（Transformation）、數(shù)據(jù)加載（Loading）服務(wù)，同時(shí)提供用戶(hù)自主使用的ETL開(kāi)發(fā)配置和監(jiān)控管理服務(wù)，幫助用戶(hù)將批量異構(gòu)的數(shù)據(jù)集成到統(tǒng)一(tngy)的存儲(chǔ)管理系統(tǒng)中，以便完成進(jìn)一步的數(shù)據(jù)挖掘和分析。數(shù)據(jù)集成服務(wù)技術(shù)設(shè)計(jì)27共三十三頁(yè)數(shù)據(jù)集成服務(wù)技術(shù)主要(zhyo)內(nèi)容28數(shù)據(jù)抽取服務(wù)數(shù)據(jù)轉(zhuǎn)換服務(wù)數(shù)據(jù)加載服務(wù)ETL開(kāi)發(fā)配置服務(wù)ETL監(jiān)控管理服務(wù)對(duì)可支持常見(jiàn)關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)、文件等不同類(lèi)型的數(shù)據(jù)源的數(shù)據(jù)抽取，必須支

14、持主流國(guó)產(chǎn)數(shù)據(jù)庫(kù)。支持全量抽取、增量抽取、基于日志(rzh)的抽取等抽取模式。具備擴(kuò)展能力，可以非關(guān)系數(shù)據(jù)庫(kù)的抽取。共三十三頁(yè)（7）數(shù)據(jù)處理服務(wù)(fw)技術(shù)設(shè)計(jì) 主要指為滿(mǎn)足電子政務(wù)應(yīng)用需求而提供的對(duì)數(shù)據(jù)的多種技術(shù)處理手段。電子政務(wù)中常用的有：數(shù)據(jù)分析服務(wù)(fw)和數(shù)據(jù)展現(xiàn)服務(wù)(fw)等。數(shù)據(jù)處理服務(wù)技術(shù)設(shè)計(jì)29共三十三頁(yè)數(shù)據(jù)處理服務(wù)(fw)技術(shù)主要內(nèi)容 公共平臺(tái)應(yīng)根據(jù)所管理數(shù)據(jù)的規(guī)模和實(shí)際業(yè)務(wù)需求提供大數(shù)據(jù)特征的數(shù)據(jù)分析和預(yù)測(cè)分析服務(wù)：具有(jyu)良好的擴(kuò)展性、容錯(cuò)性和大規(guī)模并行處理特征，滿(mǎn)足電子政務(wù)的智能性分析預(yù)測(cè)的需求；應(yīng)支持海量數(shù)據(jù)挖掘，滿(mǎn)足政府部門(mén)單位TB、PB級(jí)數(shù)據(jù)分析需要。 應(yīng)

15、支持業(yè)界流行的大數(shù)據(jù)存儲(chǔ)、分布式計(jì)算框架，靈活處理分布式挖掘分析應(yīng)用；數(shù)據(jù)分析結(jié)果應(yīng)滿(mǎn)足多種形式的輸出，分析結(jié)果可導(dǎo)出數(shù)據(jù)、分析結(jié)果可生成多種格式的報(bào)表、分析結(jié)果可通過(guò)門(mén)戶(hù)發(fā)布到web頁(yè)面、分析模型及分析結(jié)果可與現(xiàn)有應(yīng)用系統(tǒng)無(wú)縫集成等。（1）數(shù)據(jù)分析服務(wù)30共三十三頁(yè) 公共平臺(tái)通過(guò)統(tǒng)一的數(shù)據(jù)門(mén)戶(hù)提供數(shù)據(jù)展現(xiàn)服務(wù)有關(guān)功能，數(shù)據(jù)門(mén)戶(hù)提供統(tǒng)一的數(shù)據(jù)展現(xiàn)服務(wù)管理，將各類(lèi)數(shù)據(jù)以圖形(txng)、圖像、地圖、動(dòng)畫(huà)等更為生動(dòng)、易于理解的方式來(lái)展現(xiàn)數(shù)據(jù)。應(yīng)提供統(tǒng)一的數(shù)據(jù)門(mén)戶(hù)服務(wù)；支持報(bào)表展現(xiàn)：支持專(zhuān)業(yè)報(bào)表、即席報(bào)表、企業(yè)級(jí)復(fù)雜報(bào)表等多種報(bào)表形式； 支持分析展現(xiàn)：支持假設(shè)分析、多維分析等高級(jí)應(yīng)用； 支持圖展現(xiàn)：提供GIS地圖組件、儀表盤(pán)、熱度圖、樹(shù)圖、組織結(jié)構(gòu)圖、餅狀圖、柱狀圖、曲線(xiàn)圖、曲面圖、雷達(dá)圖、漏斗圖、極坐標(biāo)圖、股票圖等多種交互式圖表等方式。（2）數(shù)據(jù)(shj)展現(xiàn)服務(wù)31END共三十三頁(yè)32共三十三頁(yè)內(nèi)容摘要基于云計(jì)算的電子政務(wù)公共平臺(tái)。自服務(wù)是指它以服務(wù)化方式提供接入平臺(tái)的方式，以便平臺(tái)獲取和收集數(shù)據(jù)。提供組織功能(gngnng)，可按用戶(hù)的組織機(jī)構(gòu)、業(yè)務(wù)應(yīng)