1 1 1 1 1 1 3 4 5 5 7 10 12 16 16 16 17 18 19 194.6.1.政務大數據共享交換平臺 20 204.6.3.政務大數據知識服務平臺 21 224.7.1.互聯網政府主題數據采集工具 22 22 22 23 234.8.1.基于知識圖譜的政策公文智能服務平臺 24 24 25 27 275.1.1.政務大數據治理體系核心概念 275.1.2.政務大數據治理數據體系 285.1.3.政務大數據治理安全體系 295.1.4.政務大數據治理法律法規體系 295.1.5.政務大數據治理標準體系 30 32 322 33 37 41 42 43 43 44 45 46 47 48 48 49 52 53 58 60 60 61 63 65 67 685.6.1.政務大數據共享交換平臺 68 745.6.3.政務大數據知識服務平臺 79 845.7.1.互聯網政府主題數據采集工具 84 88 91 94 98 98 99 11.項目概況2全國大數據標準化工作會議暨全國信標委大數據標準工作組第六次3《國務院辦公廳關于印發政務信息系統整合共享實施方案的通4號52.可行性分析6（ITSS）體系中的“服務管控”領域標準，屬于《信息技術服務治7程中所使用的技術棧都經過互聯網和大數據發展浪潮的打磨而逐漸（1）多源異構數據接入技術89（3）脫敏脫密等數據安全技術（4）跨媒體多模態政務數據融合技術政務大數據治理產品體系下的政務大數據融合平臺和政務數據鍵技術研究項目中對政務文本語義理解和跨媒體政務知識庫構建技知名的國家信息共享交換模型是美國的國家信息交換模型（NIEM對推動中國國家信息共享交換模型理論研究與工程實踐具有重要的標準規范體系接口標準規范體系接口安全保障體系應用層 據 數據源數據源圖1四方偉業數據治理平臺產品功能架構四方偉業數據治理平臺以元數據為核心展開數據治理的相關功圖2華傲數據治理平臺產品功能架構表1競品功能比較無☆無☆無☆☆無☆☆☆☆3.建設目標政務大數據治理產品體系項目建設目標是針對政務場景的打造數據體系安全體系標準規范法律法規技術平臺數據融合平臺數據資源管理平臺數據采集平臺數據接入平臺數據開放平臺數據共享平臺數據知識服務平臺基礎應用服務數據體系安全體系標準規范法律法規技術平臺數據融合平臺數據資源管理平臺數據采集平臺數據接入平臺數據開放平臺數據共享平臺數據知識服務平臺基礎應用服務頂層設計核心概念核心概念應用示范知文智用知文智用智慧督查督辦智慧督查督辦一網通辦一網通辦工具集工具集圖3政務大數據治理產品體系總體架構融合庫（主題庫、行業庫、業務庫等政務大數據資源管理平臺對景案互聯網數據行業數據政務數據政務數據標準化應用場解決方政務數據政務數據挖掘分析政務數據采集融合&景案互聯網數據行業數據政務數據政務數據標準化應用場解決方政務數據政務數據挖掘分析政務數據采集融合&政務大數據治理產品體系可共享數據資源可開放數據資源數據可視化服務數據知識服務可開放數據資源數據可視化服務數據應用超市數據知識服務數據可視化服務算法模型服務政務大數據共享交換平臺政務大數據知識服務平臺知識服務政務大數據政務大數據共享交換平臺政務大數據知識服務平臺知識服務政務大數據基礎應用數據目錄數據資源政務大數據資源管理平臺共享庫數據索引融合庫數據索引 政務大數據接入平臺數據索引政務大數據采集平臺政務大數據融合平臺政務大數據資源管理平臺共享庫數據索引融合庫數據索引 政務大數據接入平臺數據索引政務大數據采集平臺政務大數據融合平臺數據資源原始庫數據資源原始庫數據索引技術外部數據源外部數據源圖4政務大數據治理產品體系技術視圖4.建設內容1）元數據管理：完成用戶所關注的各類元數據的獲取，提供元4）數據資源運維：具體包括數據資源生命周期管理、數據資源政務大數據開放平臺旨在通過門戶網站實現政府公共數據的開4.7.1.互聯網政府主題數據采按照國家政務信息資源目錄編制要求和貴州省政務數據資源目但不允許帶走本地數據)，要求在滿足數據保密的同時又能提供一定政務大數據治理產品體系在整個政務大數據場景中處于中后臺因此政務大數據治理產品體系的落地是隨著各類應用的落地而體現4.8.1.基于知識圖譜的政策公文智化電子政務應用,著力解決信息碎片化、應用條塊化、服務割裂化等5.建設方案5.1.1.2.定義表2國內外權威機構對數據治理的定義數據治理是對數據資產行使權力和控制的活動集數據治理是包含信息相關過程的決策權及責任制數據治理是組織管理其信息知識并回答問題的能圖5政務大數據治理數據體系安全監管安全運行保障體系數據發布安全數據存儲安全數據共享安全實體接入安全數據傳輸安全數據內容安全運維安全技術平臺安全安全技術保障體系安全數據治理開發測試安全基礎安全安全監管安全運行保障體系數據發布安全數據存儲安全數據共享安全實體接入安全數據傳輸安全數據內容安全運維安全技術平臺安全安全技術保障體系安全數據治理開發測試安全基礎安全安全標準 規范標準引入規范標準設計圖6政務大數據治理安全體系表3政務大數據治理法律法規體系國務院頒布《政務信息資源共享管理暫行辦法》（國發數據接口類標準元數據標準政務大數據治理體系標準體系信息安全規范數據接口類標準元數據標準政務大數據治理體系標準體系信息安全規范圖7政務大數據治理標準體系5.2.1.總體架構圖8政務大數據采集平臺總體架構5.2.2.功能架構可視化ETL系統配置參數持久化服務層配置參數持久化配置參數獲取數據源配置數據導出配置數據庫表信息配置表字段信息配置轉換規則配置清洗規則配置表備注說明信息存儲數據源配置數據導出配置數據庫表信息配置表字段信息配置轉換規則配置清洗規則配置表備注說明信息存儲字段備注說明連接狀態測試數據樣例展示圖9政務大數據采集平臺可視化ETL系統功能架構可視化網頁數據采集系統配置參數獲取服務層配置參數獲取分布式網頁數據采集腳本生成新建腳本項目刪除/編輯腳本腳本參數配置新建腳本項目刪除/編輯腳本腳本參數配置數據持久化配置用戶標注數據樣例展示腳本上傳圖10政務大數據采集平臺可視化網頁數據采集系統功能架構集提供可視化編輯器，生成網頁數據采集腳本，主要包含以下功能：用戶標注：為創建工程提供可視化的編輯器，用戶可在界面使用數據持久化配置指對腳本采集的數據進行本地存儲而進行的參采集調度系統服務層ETL數據ETL日志網頁采集數據數據監控展示ETL數據ETL日志網頁采集數據網頁采集腳本日志周期調度數據清洗數據加載ETL調度周期調度數據清洗數據加載單次調度數據抽取數據轉換單次調度分布式部署數據爬取網頁數據采集調度單次調度分布式部署數據爬取周期調度網頁解析數據存儲周期調度數據監控展示單次調度數據采集數據清洗數據存儲交互層周期調度數據監控展示單次調度數據采集數據清洗數據存儲日志監控展示爬蟲分布式部署圖11政務大數據采集平臺采集調度系統功能架構5.2.3.技術架構圖12政務大數據采集平臺可視化ETL系統技術架構圖13政務大數據采集平臺可視化網頁數據采集系統技術架構該模塊基于Scrapy實現了可視化網頁數據采集腳本的生成,獲圖14政務大數據采集平臺采集調度系統技術架構采集調度系統集成了ETL工具Kettle與網頁數據采集框架MVVM前端架構設計界面UI設計路由組件數據流組件配置組件無頭瀏覽器前端交互組件ETL后端架構制定ETL后端框架選型網頁數據采集后端框架選型ETL配置項解析模塊微服務架構設計數據庫ORM模塊網頁數據采集腳本生成模塊微服務架構設計分布式架構設計任務調度模型設計分布式任務調度模塊分布式網頁數據采集模塊調度信息可視化采集數據可視化MVVM前端架構設計界面UI設計路由組件數據流組件配置組件無頭瀏覽器前端交互組件ETL后端架構制定ETL后端框架選型網頁數據采集后端框架選型ETL配置項解析模塊微服務架構設計數據庫ORM模塊網頁數據采集腳本生成模塊微服務架構設計分布式架構設計任務調度模型設計分布式任務調度模塊分布式網頁數據采集模塊調度信息可視化采集數據可視化5.2.5.技術路線MVVM前端框架選型基礎界面搭建拖拽式ETL組件網頁數據采集后端框架制定ETL任務生成模塊網頁數據采集腳本配置項解析模塊網頁數據采集腳本部署模型設計調度任務參數配置模塊采集數據監控圖15政務大數據采集平臺技術路線安全保障體系標準規范體系安全保障體系標準規范體系5.3.1.總體架構…圖16政務大數據接入平臺總體架構5.3.2.功能架構應用層接入適配層應用層接入適配層通道層存儲適配層政務大數據接入平臺接口接口放接口通用業務接API…WebservicAPIAdapterAdapterAdapterAdapterOSS存儲AdapterAdapter消息MQ存儲Adapter…AdapterSTREAM存儲Adapter圖17政務大數據接入平臺功能架構5.3.3.技術架構交互層服務層平臺層具數據層圖18政務大數據接入平臺技術架構基于ETL的數據抽取和轉換工具支撐平臺的所有數據和數據集操作（1）數據獲取性能的靈活擴展技術5.3.5.技術路線 圖19政務大數據接入平臺技術路線5.4.1.總體架構數據資源管理平臺基礎庫主題庫基礎庫主題庫業務庫業務庫融合數據庫數據模型數據模型融合算法融合算法政務大數據融合平臺政務大數據融合平臺數據采集接入平臺圖20政務大數據融合平臺總體架構負矩陣分解和基于深度學習的跨媒體關聯等方法實現非結構化的關5.4.2.功能架構數據資產管理平臺通用域數據模型公共域數據模型模型結構域通用域數據模型公共域數據模型模型結構域數據模型領域數據模型業務庫主題庫業務庫主題庫基礎庫基礎庫融合數據庫融合數據庫邏輯模糊算法貝葉斯估計算法場景識別卡爾曼事件抽取卡爾曼加權平均邏輯模糊算法貝葉斯估計算法場景識別卡爾曼事件抽取卡爾曼加權平均實體抽取D-S證據識別關系抽取關系抽取算法算法政務大數據融合平臺政務大數據融合平臺數據采集接入平臺數據采集接入平臺圖21政務大數據融合平臺功能架構典型相關分析法（CCA）是跨媒體數據關聯分析的典型方法，它5.4.3.技術架構數據模型：利用數據采集接入平臺獲取的數據，通過圖22政務大數據融合平臺技術架構（1）政務數據模型構建技術面向政務大數據應用中存在的跨領域之間的數據模型不統一問數據描述包括分類分類體系主題數據描述包括分類分類體系主題 數據共享查詢點和交換數據語境數據語境數據和數據資產圖23數據模型描述基本框架所有者所有者管理信息資源信息資源參與相關參與關系圖24數據語境的抽象模型返回數據交換包數據提供者傳播查詢 數據接收者產生返回數據交換包數據提供者傳播查詢 數據接收者產生 實體參與相關 關系數據類型定義包含非結構化信息資源是一種是一種信息資源數據類型屬性半結構化信息資源結構化信息資源被約束是一種包含包含引用圖25數據描述的抽象模型（例如查詢一個數據集而共享是指兩個部分之間固定的、不斷發數據訪問接口圖26數據共享的抽象模型文物、遺址等。核心數據模型和業務領域數據模型關系如下圖所示。圖27政務大數據應用的數據模型組成當前政務數據形式多元化、不同的媒體數據存在的“異構鴻溝”1）多元統計方法：是一種基于雙線性特征學習模型，分別學習深度學習方法對于處理跨媒體數據大多采用的是各媒體數據單獨學圖28基于深度學習的跨媒體數據融合算法基于深度學習的跨媒體數據融合算法包括兩個階段:單媒體增強5.4.5.技術路線段:政務數據模型構建、政務數據融合算法研究與政務大數據融合平政務數據融合算法研究階段針對結構化和非結構化數據融合分政務大數據融合平臺集成階段重點實現融合數據存儲管理與平政務大數據融合平臺技術路線研究任務分解政務數據模型構建政務數據融合算法研究政務大數據融合平臺集成通用域數據模型結構域數據模型公共域數據模型領域數據模型第一階段第一階段邏輯模糊算法...跨媒體數據關聯邏輯模糊算法...跨媒體數據關聯卡爾曼濾波算法第二階段第二階段半結構化存儲非結構化存儲半結構化存儲非結構化存儲融合數據庫結構化存儲融合數據 第三階段 第三階段圖29政務大數據融合平臺技術路線安全保障體系標準規范體系安全保障體系標準規范體系5.5.1.總體架構圖30政務大數據資源管理平臺總體架構5.5.2.功能架構政務大數據資源管理平臺數據資源運維數據資數據資源運維數據資源治理數據資源分析元數據管理資源生命周期資源發布資源全鏈管理資源下線資源安全管理安全策略管理數據脫敏資源安全審計資源評估應用資源使用評估資源價值評估敏感數據評估數據標準管理數據架構管理數據標準化指標標準化數據建模管理基線管理模型評審模型稽查數據質量管理質量規則管理資源質量核查資源質量監控資源標簽分類資源類目管理全局資源成本評估資源標簽分類資源類目管理全局資源成本評估標簽分類管理資源地圖元數據分類元數據稽查影響域分析元數據服務元數據分類元數據稽查影響域分析元數據服務元數據采集血緣分析圖31政務大數據資源管理平臺功能架構5.5.3.技術架構交互層交互層數據可視化數據可視化Echarts前端框架前端框架React服務層服務層請求消息隊列ActiveMQAPI網關統一服務Zuul后臺服務微服務集群管理工具（SpringCloud）數據質量管理工具（griffin）統一登錄認證數據審計策略（ApacheAtlas）算法服務數據抽取加載工具（Kettle）數據加密搜索引擎（elasticsearch）數據脫敏（AWSEncryptionSDK）授權證書服務容器化工具流數據處理sql注入監測（sqlmap）數據持Hibernate數據持Hibernate數據存儲層數據庫（MySQL、Oracle、HDFS、Redis、NoSQL）圖32政務大數據資源管理平臺技術架構實用的存取方案。對于量大且性能要求高的批量元數據存取，由于大數據時代各類數據的存儲方式從傳統的紙質存儲變為信息系究提出基于深度學習技術的數據資源價值分析模型(DataResource政務大數據資源管理規劃需求數據資源治理數據資源運維數據生命周期數據標準管理元數據管理數據安全管理數據建模管理元數據分類元數據分類數據評估應用數據質量管理資源地圖元數據稽查............ValueAnalysisModel，DRVAM政務大數據資源管理規劃需求數據資源治理數據資源運維數據生命周期數據標準管理元數據管理數據安全管理數據建模管理元數據分類元數據分類數據評估應用數據質量管理資源地圖元數據稽查............理平臺現狀調研國內外現有數據資源管理機理研究政務大數據資源管理平臺總體設計數據資源分析資源標簽分類政務大數據資源管理平臺試制圖33政務大數據資源管理平臺技術路線5.6.1.1.總體架構圖34政務大數據共享交換平臺總體架構政務大數據共享交換平臺遵循面向服務體系結構（SOA）進行框5.6.1.2.功能架構圖35政務大數據共享交換平臺功能架構向用戶提供數據共享交換API服務與相關數據可視化統計服務的網5.6.1.3.技術架構圖36政務大數據共享交換平臺技術架構（6）監控管理層：針對數據共享交換技術流程體系，進行統一5.6.1.5.技術路線圖37數據共享交換平臺技術路線5.6.2.1.總體架構圖38數據開放平臺總體架構政務大數據開放平臺的搭建是為了能夠將政務數據經過脫敏脫5.6.2.2.功能架構圖39數據開放平臺功能架構政務大數據開放平臺主要依據互聯網架構體系與政府數據開放（4）數據信息開放應用階段：該階段主要利用下層提供的技術用戶可以在該門戶平臺通過調用API等方式，靈活利用公開政務數5.6.2.3.技術架構圖40數據開放平臺技術架構大數據時代各類數據的存儲方式從傳統的紙質存儲變為信息系1）結合人工智能和語義分析等方法，實現政務文本5.6.2.5.技術路線圖41數據開放平臺技術路線安全與運維保障體系標準規范與管理體系安全與運維保障體系標準規范與管理體系5.6.3.1.總體架構知識抽取知識表示與建模知識庫構建知識抽取知識表示與建模通用知識庫領域知識庫知識計算知識計算知識演化與推理知識存儲政務知識服務總線圖42政務大數據知識服務平臺總體架構5.6.3.2.功能架構智能問答、智能決策支持以及政策公文的語義檢索等知識問答演化分析語義檢索政務應用知識問答演化分析語義檢索知識決策支持個性化推薦關系分析預測政務知識服務總線知識抽取知識表示與建模知識庫構建知識抽取知識表示與建模知識庫通用知識庫領域知識庫知識計算知識計算知識演化與推理知識存儲政務大數據采集平臺圖43政務大數據知識服務平臺功能架構5.6.3.3.技術架構應用示范支撐政務數據知識服務平臺知識庫構建知識庫領域知識庫知識庫領域知識庫通用知識庫知識存儲(Neo4j/知識存儲(Neo4j/GraphDB)知識演化與推理（RDFox/SparkSRE）知識鏈接知識抽取（DeepDive/OLLIE）知識表示與建模nerKE)政務服務支撐技術平臺圖44政務大數據知識服務平臺技術架構圖針對政務知識的服務能力薄弱和面向公眾的個性化與精準化服政務文本數據語義理解研究主要面對文本語義理解中存在的語第三階段第二階段第一階段第三階段第二階段第一階段政務服務知識庫構建政務服務知識庫構建政務示范應用研究與實現政務數據知識服務平臺搭建集成政務多源異構數據各功能模塊集成測試知識抽取API設計其他相關功能設計政務數據知識服務平臺知識演化與推理關系分析預測個性化推薦智能問答政務數據知識庫政務知識服務總線知識表示與建模知識存儲與計算平臺搭建任務分解圖45政務大數據知識服務平臺技術路線互聯網政務主題數據采集工具是對分散在互聯網中的政務主題結構化存儲非結構化存儲分布式存儲任務監控腳本管理調度可視化Web數據采集ETL工具集數據實時同步行業數據政府數據行業數據互聯網數據圖46互聯網政府主題數據采集工具功能架構應用層數據層客戶層控制層業務層基礎服務層數據訪問層數據存儲層CSSJavaScriptAjaxSpringBootRestful服務Spring技術SpringBootKafka應用層數據層客戶層控制層業務層基礎服務層數據訪問層數據存儲層CSSJavaScriptAjaxSpringBootRestful服務Spring技術SpringBootKafkaSpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleMongoDBHBase客戶端執行架構PC端/Windows系統數據庫執行架構數據庫服務器/Linux系統系統架構實現方式緩存服務隊列服務參數解析分布式SessionMySQL讀寫分離數據訪問驅動控制MongoDB緩存服務隊列服務參數解析分布式SessionMySQL讀寫分離數據訪問驅動控制MongoDB數據服務HBase通用工具集Web數據采集ETL工具集任務調度數據實時同步應用層執行架構SpringBoot/MVC模式/Linux系統圖47互聯網政府主題數據采集工具技術架構Web數據采集:提供定制化互聯網政務主題的網頁數據采集、下5.7.1.2.技術路線互聯網政府政務主題數據采集工具采用軟件工程瀑布模型進行研究任務分解互聯網政務主題數據采集智能網頁采集腳本生成技術分布式采集任務調度技術第一階段第一階段研究數據采集架構數據存儲Scrapy技術基于示例的第二階段第二階段定時調度分布式任務第三階段雙Master第三階段圖48互聯網政府主題數據采集工具技術路線庫編寫定時調度組件，實現主從架構分布式任務調度，并使用雙5.7.2.1.技術架構政務數據分類分級工具對已收集得到的政府數據集進行語義層專家案例庫基礎能力政務知識圖譜政策法規庫政務數據分類分級工具專家案例庫基礎能力政務知識圖譜政策法規庫用戶操作結果展示結果展示接口調用接口調用Jena推理算法模型Jena推理算法模型機器學習機器學習圖譜構建MySQLNeo4j數據存儲MySQLNeo4j數據存儲互聯網數據采集權責清單政府組織機構職能互聯網數據權責清單政府組織機構職能互聯網數據數據源貴陽市全量貴陽市全量數據目錄圖49政務數據分類分級工具功能架構應用層數據層客戶層控制層業務層基礎服務層數據訪問層數據存儲層HtmlCSSJavaScriptAjaxSpringBootRestful服務ServletSpring技術SpringBootKafka應用層數據層客戶層控制層業務層基礎服務層數據訪問層數據存儲層HtmlCSSJavaScriptAjaxSpringBootRestful服務ServletSpring技術SpringBootKafkaETL工具SpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleSQLServerMongoDBHBase客戶端執行架構PC端/Windows系統數據庫執行架構數據庫服務器/Linux系統系統架構實現方式緩存服務Servlet參數解析分布式SessionMySQL讀寫分離數據訪問驅動控制隊列服務MongoDB數據服務日志服務Neo4j用戶...通用工具集緩存服務Servlet參數解析分布式SessionMySQL讀寫分離數據訪問驅動控制隊列服務MongoDB數據服務日志服務Neo4j用戶...通用工具集專家案例庫政策法規庫知識圖譜算法模型...智能推理應用層執行架構SpringBoot/MVC模式/Linux系統圖50政務數據分類分級工具技術架構5.7.2.2.技術路線政務數據分類分級工具及方法研究研究任務分解政務數據分類分級工具基礎能力政務數據分類分級算法政策法規庫知識圖譜專家案例庫政策法規庫知識圖譜專家案例庫已有的高質量政務分類分級數據不同的篩選需求和知識圖譜技術第一階段第一階段機器學習第二階段機器學習第二階段算法模型選擇Jena推理引擎分類分級圖51政務數據分類分級工具技術路線政務數據開放沙箱工具著力解決政府部門之間數據共享開放和3、分發解密密鑰3、分發解密密鑰P5、上傳模型，解密使用數據訓練模型1、數據目錄放入沙箱3、分發加密密鑰4、上傳加密數據自2、簽訂合約6、取回模型P訪問控制策略沙箱7、銷毀安全策略圖52政務數據開放沙箱工具邏輯流程5.7.3.2.技術路線政務數據開放沙箱工具及方法研究研究任務分解政務數據開放沙箱工具的環境搭建政務數據開放沙箱工具的應用搭建第一階段操作記錄賬號管控權限管理第二階段操作記錄賬號管控權限管理第二階段審計錄像圖53政務數據開放沙箱工具技術路線存、磁盤、GPU、網絡等基礎的組件構成，為沙箱的運行提供一個云5.7.4.1.技術架構結果查詢可視化展示數據統計考核評估智能推送問題反饋動態建模基礎保障數據共享數據開放數據應用組織管理考核材料審核考核材料記錄考核材料管理共享開放平臺考核部門上傳數據考核機構抽查數據圖54政務數