1、精選文檔大數據平臺構思方案一、項目背景“十三五”期間，隨著我國現代信息技術的蓬勃進展，信息化建設模式發生根本性轉變,一場以云計算、大數據、物聯網、移動應用等技術為核心的“新 IT”浪潮風起云涌，信息化應用進入一個“新常態”。為樂觀應對“互聯網+”和大數據時代的機遇和挑戰，適應全省經濟社會進展與改革要求，大數據平臺應運而生。 大數據平臺整合省社會經濟進展資源，打造集數據采集、數據處理、監測管理、猜測預警、應急指揮、可視化平臺于一體的大數據平臺，以信息化提升數據化管理與服務力量，準時精確把握社會經濟進展狀況，做到“用數據說話、用數據管理、用數據決策、用數據創新”，牢牢把握社會經濟進展主動

2、權和話語權。二、建設目標大數據平臺是順應目前信息化技術水平進展、服務政府職能改革的架構平臺。它的主要目標是強化經濟運行監測分析，實現企業信用社會化監督，建立規范化共建共享投資項目管理體系，推動政務數據共享和業務協同，為決策供應準時、精確、牢靠的信息依據，提高政務工作的前瞻性和針對性，加大宏觀調控力度，促進經濟持續健康進展。1、制定統一信息資源管理規范，拓寬數據獵取渠道，整合業務信息系統數據、企業單位數據和互聯網抓取數據，構建匯聚式一體化數據庫，為平臺打下堅實穩固的數據基礎。2、梳理各相關系統數據資源的關聯性，編制數據資源名目，建立信息資源交換管理標準體系，在業務可行性的基礎上，實現數據信息共享

3、，推動信息公開，建立跨部門跨領域經濟形勢分析制度。3、在大數據分析監測基礎上，為政府把握經濟進展趨勢、預見經濟進展潛在問題、幫助經濟決策供應基礎支撐。三、建設原則大數據平臺以信息資源整合為重點，以大數據應用為核心，堅持“統籌規劃、分步實施，整合資源、協同共享，突出重點、留意實效，深化應用、創新驅動”的原則，全面提升信息化建設水平，促進全省經濟持續健康進展。1、統籌規劃、分步實施。結合我省經濟進展與改革領域實際需求，明確總體目標和階段性任務，科學規劃建設項目。先期完成大數據平臺的整體架構建設，后期分步完成業務系統的整合及相互間數據共享問題。2、整合資源、協同共享。對信息資源統一梳理，建立經濟進展

4、與改革信息標準資源庫和數據規范，逐步毀滅“信息孤島”，加快推動數據資源整合，建設共享共用的大數據中心，實現業務協同。3、突出重點、留意實效。以用戶為中心，以需求為導向，以服務為目的，突出重點，留意實效，加強平臺可用性和易用性。4、深化應用、創新驅動。深化了解用戶需求，親密跟蹤信息技術進展趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界融合，豐富管理和服務手段。四、建設方案為了保證項目的順當進行和建設目標的可行性，我們實行如下幾種建設方案。（一）、數據采集方案。我們統一信息資源標準規范，建立多維度數據庫，拓寬數據來源，通過不同的方式匯聚數據，增加分析力度，提高監測預警的精確性和時效性

5、。1、預留接口，支持其它系統各種數據的上傳導入處理。將現存有關經濟運行業務系統中的歷史數據和時效數據，通過上傳數據文件至服務器、分析提取有效數據導入服務器數據庫等方式采集起來，在本平臺上復用。2、支持外接數據的上傳導入處理。可以將企業單位或定點監測機構的數據通過同樣的方式采集起來，在本平臺上復用。3、支持非結構化數據，即搜尋引擎數據、社交媒體數據、地理空間數據和音視頻數據等等。（二）、數據分析方案。大數據之大并不是難點所在，其真正難以應付的挑戰來自于數據類型多樣、要求準時響應和數據的不確定性，而我們所面臨的也正是如此。我們接受批量數據處理系統，借助于深度學習、學問計算和可視化等大數據分析技術，

6、通過對數據的批量處理挖掘其中的價值來支持決策和發覺新的洞察。（三）、業務整合方案。在對社會進展相關業務子系統充分調研基礎上，結合項目需求，可對其進行整合或嵌入處理(本方案整合公共信用信息服務平臺、投資項目信息管理平臺等)。1、整合處理。將原有數據通過上傳或導入方式進行采集，原有功能模塊整合到本平臺中，合二為一，完善的將數據匯聚起來。缺點是耗時較長。2、嵌入處理。以單點登錄的方式將原有系統鏈接嵌入到本平臺中，作為子系統單獨存在。缺點在于數據共享難以實現。五、建設內容1、宏觀經濟監測猜測及可視化平臺政府信息化的最終目標是提高政府的決策水平，其中經濟決策是核心內容。為了提高宏觀調控決策水平，我們必需

7、從依靠傳統統計數據向依靠互聯網非統計數據轉變，從監測猜測宏觀經濟總量向監測猜測宏觀經濟先行指標轉變，從中長期監測猜測向實時監測猜測轉變。宏觀經濟監測猜測及可視化平臺圍繞網絡搜尋、社交媒體、電子商務、終端定位和業務交易等五個方面全面整合互聯網相關數據資源，建設以“容量大、形式多、分類細、響應快”為目標的宏觀經濟監測猜測數據庫，構建基于互聯網數據的宏觀經濟非統計指標監測猜測應用平臺。圍繞重點產業活躍度、區域經濟關聯度、宏觀經濟走向社會預期、社會消費熱點、大宗商品供求及價格走勢、全國就業形勢、外貿訂單變化趨勢等方面，構建大數據宏觀經濟先行指標和現時猜測指標庫，爭辯能客觀、精確反映我省宏觀經濟運行狀況

8、的指標體系，編制“山東指數”。在健全完善監測預警數據庫的基礎上，充分運用大數據技術和理念，加強數據挖掘力度，強化定量分析，建立宏觀經濟分析系列模型，切實提高猜測分析的前瞻性、精確性和牢靠性。樂觀拓寬信息發布渠道，建立可視化平臺，接受Unity3D引擎，三維界面高度仿真，所見即所得。平臺針對多源易構的海量數據，通過數據處理、存儲管理、可視化交互分析等技術，實現圖形化數據查詢、可視化關聯分析、證據鏈和情報線索發掘等功能。利用猜測信號燈系統，形象地刻畫出宏觀經濟總體運行狀況，分析經濟波動緣由，準時了解各地區經濟進展的不平衡性，精確推斷和測定經濟景氣循環運行狀態，提高宏觀經濟決策水平。2、企業信用監測

9、預警服務平臺企業信用危機不僅給社會帶來嚴峻危害，也是關系到企業自身生死存亡的重大大事，它是中國企業乃至中國市場經濟進展的巨大障礙。因此，建立企業信用危機的預警機制和管理機制，對企業信用危機進行有效的預警及管理是格外重要的。企業信用監測預警服務平臺，全面整合社會信用監管信息和社會公眾反映信息，通過整理歸類與加工，將這些信用危機信息轉化為可以量化的指標體系，依據失信行為的嚴峻程度和影響范圍劃分三個預警級別，分別向企業自身、金融機構、其他政府部門及全社會進行通報。納入企業信用預警體系的企業信息包括侵害消費者權益且不履行相關義務的信息、消費者投訴未準時處理信息、行政懲罰逾期未執行信息、查無下落企業信息

10、等23種信息。可以動態配置預警信息項目和相應預警等級，增加監測預警的全面性和機敏性。企業信用監測預警服務平臺以信息技術為支撐，以信用監管為手段，全面提高信用監管信息共享程度，準時預警影響社會交易平安和社會公共平安的不良信用信息，遵循“對外警示社會和企業;對內明確重點，樂觀實行應對措施”的原則，強化企業信用監管防范機制，有力推動“信用保稅區”建設，加強企業信用監督管理的主動性、前瞻性，更好地服務經濟進展，削減交易風險，促進企業信用監管到位，實現企業信用的社會化監督。3、投資項目信息管理平臺建設投資項目(特殊是一些大型項目)具有管理上的簡單性特點，主要是建設周期長、參建方多。投資項目信息管理平臺的

11、建立和應用，可有效解決投資建設項目管理動態過程的信息分析、信息構建，達到各參建方信息共享的目的。投資項目信息管理平臺，支持重大項目推介，建立規范的項目審批流程和項目信息庫，管理項目啟動、方案、執行、監控和收尾的整個生命周期，掩蓋進度、質量、成本、資源、風險等項目管理的各個要素，構建集成項目、流程、學問的信息化平臺。逐步實現與相關部門業務系統的接入，形成全掩蓋的投資項目管理統一工作平臺，真正做好資源共享，為項目的后期評價、領導決策供應支持服務。圍繞設計、招標、監理、質量、平安、進度、施工、資金、變更、合同管理“十大環節”，建立起對投資項目進行事前方案、事中把握、事后評估、全程管理的有效管控模式，

12、促進投資項目管理體系發揮全方位、全過程的方案、組織、協調與把握作用。投資項目信息管理平臺，以現代項目管理方法論為基礎;以項目管理為主線，全面組織、全程貫穿各個業務環節;以項目方案為依據，科學協調各個部門的工作;以成本、進度、質量為最終把握目標;以完整、準時、精確的項目信息和科學的分析模型為項目管理、決策供應依據;遵循“以方案為龍頭，以合同為中心，以投資把握為目的”的現代項目管理理念，構建高效、有用的項目協同管理綜合平臺。4、政務數據共享交換平臺政務數據共享交換平臺是各個平臺中的基礎性和綜合性平臺，是解決“信息孤島”、實現數據互連互通的基礎設施，有利于提高各類信息資源整合共享，以及信息資源的綜合

13、利用。 建設政務數據共享交換平臺的首要目標就是要制造一個信息交換、信息共享的方式和環境，依據統一標準和規范，建立信息資源整合機制，規范數據采集口徑、采集方式，規范數據的服務方式，建立統一的資源信息整合與交換機制。我們依據統一、集約、高效的數據開發利用理念，通過爭辯建立多級交換管理體系，形成政務信息資源物理分散、規律集中的信息共享模式，通過以應用為抓手，進一步打通數據流，滿足政府部門多方位、多層次的數據需求，為跨地域、跨部門、跨平臺不同應用系統、不同數據庫之間的互連互通供應包含提取、轉換、傳輸和加密等操作的數據交換服務。通過分布式部署和集中式管理架構，有效解決各節點間數據的準時、高效上

14、傳下達，在平安、快捷、便利的進行信息交換的同時精準的保證數據的全都性和精確性。政務數據共享交換平臺的全局目標是建立“一個系統”，解決“兩個問題”，支持“三個應用”，面對“四個服務”。建立“一個系統”，即建立一個可擴展、可集成、有統一數據模型、可交換和平安牢靠的分布式系統，對各類政務資源進行組織和管理。解決“兩個問題”，即解決政務信息資源的發覺與定位問題，解決政務信息資源規劃與整理問題。支持“三個應用”，即支持信息集成整合應用、各業務部門辦公應用和政府職能決策應用。面對“四個服務”，即面對政務協作、宏觀決策、市場監管和社會管理服務。六、技術支持與平臺性能1、系統架構結合該項目以大數據平臺為核心，

15、多業務子系統并存的業務需求，以及存在不同種類操作系統、應用軟件、系統軟件的現狀，我們接受面對服務的體系結構，即SOA架構。SOA是一個組件模型，它將應用程序的不同功能單元(稱為服務)通過這些服務之間定義良好的接口和契約聯系起來。接口是接受中立的方式進行定義的，它獨立于實現服務的硬件平臺、操作系統和編程語言。這使得構建在這樣系統中的服務可以以一種統一和通用的方式進行交互。它的本質是實現服務和技術的完全分別，從而最大程度上實現服務的集成和重組。SOA實施是以業務服務為導向的，業務服務獨立于技術之上，技術處于從屬地位，接受SOA架構的主要優勢有：1、SOA與平臺無關，削減了業務應用及業務子系統整合的

16、限制。2、SOA具有低耦合的特點，各個業務子系統對整個業務系統的影響較低，在各個系統不斷變化狀況下，節省的費用會越來越多。3、SOA具有可按模塊分階段進行實施的優勢。可以成功一步再做下一步，將實施造成的沖擊削減到最小。SOA服務交互示意圖如下：2、技術支持1、技術領先的J2EE框架。Java2平臺企業版(Java 2 Platform Enterprise Edition， J2EE)是一種利用Java2平臺來簡化且規范應用系統的開發與部署，進而提高可移植性、平安與再用價值。基核心是一組技術規范與指南，其中包含的各類組件、服務架構及技術層次，均有共同的標準及規格，讓各種依循J2EE架構的不同平

17、臺之間，存在良好的兼容性，解決過去企業后端使用的信息產品彼此之間無法兼容，企業內部或外部難以互通的窘境。基主要的技術規范有JDBC、EJB、JSP、Java Servlet、XML等。JDBC為訪問不同數據庫供應了統一的路徑，使對數據庫的訪問具有平臺無關性。EJB供應了一個框架來開發和實施分布式商務規律，簡化了具有可伸縮性和高度簡單的企業級應用程序的開發。JSP頁面由HTML代碼和嵌入其中的Java代碼組成，簡化了頁面的輸出，保留了腳本語言易于使用的優點。Servlet是一種小型Java程序，擴展了Web服務器的功能。XML供應了一種描述結構數據的格式，簡化了網絡中數據交換和表示，使得代碼、數

18、據和表示分別，作為數據交換的標準格式。2、強大機敏的SSM整合框架。SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC屬于SpringFarmeWork的后續產品，它供應了構建Web應用程序的全功能MVC模塊，分別了把握器、模型對象、過濾器以及處理程序對象的角色，這種分別讓它們更簡潔進行定制。Spring是一個輕量級開源框架，它的主要特點是便利解耦、簡化開發、面對切面(AOP)的編程支持和聲明式事務支持，其主要優點有低侵入式設計、獨立于應用服務器、允許將一些通用任務如日志等進行集中處理。Mybatis是輕量級ORM框架，它消退了幾乎全部的JDBC代碼和參數的手工設置以及結果集的檢索，使用簡潔的XML或注解用于配置和原始映射，將接口和Java的POJOs映射成數據庫中的記錄。其框架架構圖如下： 相比于傳統SSH整合，SpringMVC相比Struts更輕量級，注解的使用削減開發消耗，數據庫操作層接受Mybatis，統一管理SQL甚是便利。 3、平臺性能1、先進性、開放性。基于B/S結構的Java應用技術和SOA開放式的體系框架，結構化設計，機敏可拆分，具有機敏的可擴充接口，易于修改調整、二次開發和擴充，最大限度降低因上游技術升級帶來的系統實