大數據平臺技術方案大數據平臺技術解決方案一、工程背景“十三五〞期間，隨著我國現代信息技術的蓬勃開展，信息化建設模式發Th根本性轉變，一場以云計算、大數據、物聯網、移動應用等技術為核心的“新IT 〞浪潮風起云涌，信息化應用進入一個“新常態〞***〔某政府部門〕為積極應對“互聯網+〞和大數據時代的機遇和挑戰，適應全省經濟社會開展與改革要求，大數據平臺應運而Th。二、建設目標督，建立標準化共建共享投資工程管理體系，推進政務數據共享和業務協同，為決策提供及時、準確、可靠的信息依據，提高政務工作的前瞻性和針對性，加大宏觀調控力度，促進經濟持續健康發展。1、制定統一信息資源管理標準，拓寬數據獲取渠道，整合業務信息系統數據、企業單位數據和互聯網抓取數據，構建會聚式一體化數據庫，為平臺打下堅實穩固的數據根底。2、梳理各相關系統數據資源的關聯性，編制數據資源目錄，建立信息資源交換管理標準體系，在業務可行性的根底上，實現數據信息共享，推進信息公開，建立跨部門跨領域經濟形勢分析制度。3、在大數據分析監測根底上，為政府把握經濟開展趨勢、預見經濟開展潛在問題、輔助經濟決策提供根底支撐。三、建設原那么大數據平臺以信息資源整合為重點，以大數據應用為核心，堅持“統籌規劃、分步實施，整合資源、協同共享，突出重點、注重實效，深化應用、創新驅動〞的原那么，全面提升信息化建設水平，促進全省經濟持續健康開展。1、統籌規戈IJ、分步實施。結合我省經濟開展與改革領域實際需求，明確總體目標和階段性任務，科學規劃建設工程。先期完成大數據平題。23目的，突出重點，注重實效，加強平臺可用性和易用性。4、深化應用、創新驅動。深入了解用戶需求，密切跟蹤信息技術開展趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界融合，豐富管理和效勞手段。四、建設方案為了保證工程的順利進行和建設目標的可行性，我們采取如下幾種建設方案。1、數據采集方案。性和時效性。1、預留接口，支持其它系統各種數據的上傳導入處理。將現存本平臺上復用。2、支持外接數據的上傳導入處理。可以將企業單位或定點監測機構的數據通過同樣的方式采集起來，在本平臺上復用。3、支持非結構化數據，即搜索引擎數據、社交媒體數據、地理空間數據和音視頻數據等等。2、數據分析方案。我們采用批量數據處理系統，借助于深度學習、知識計算和可視化等大數據分析技術，通過對數據的批量處理挖掘其中的價值來支持決策和發現新的洞察。3、業務整合方案。1、整合處理。將原有數據通過上傳或導入方式進行采集，會聚起來。缺點是耗時較長。2平臺中，作為子系統單獨存在。缺點在于數據共享難以實現。五、建設內容1、宏觀經濟監測預測及可視化平臺依靠互聯網非統計數據轉變，從監測預測宏觀經濟總量向監測預測宏觀經濟先行指標轉變，從中長期監測預測向實時監測預測轉變。宏觀經濟監測預測及可視化平臺圍繞網絡搜索、社交媒體、電子商務、終端定位和業務交易等五個方面全面整合互聯網相關數據資臺。圍繞重點產業活潑度、區域經濟關聯度、宏觀經濟走向社會預期、觀、準確反映我省宏觀經濟運行狀況的指標體系，編制"山東指數〞。在健全完善監測預警數據庫的根底上，充分運用大數據技術和理型，切實提高預測分析的前瞻性、準確性和可靠性。Unity3D引擎，三維界面高度仿真，所見即所得。平臺針對多源易構的海量數據，通過數據處理、存儲管理、可視化交互分析等技術，實現圖形化數據查詢、可視化關聯分析、證據鏈和情報線索開掘等功能。利用預測信號燈系統，形象地刻畫出宏觀經濟總體運行狀況，分析經濟波動原因，及時了解各地區經濟開展的不平衡性，準確判斷和測定經濟景氣循環運行狀態，提高宏觀經濟決策水平。2、企業信用監測預警效勞平臺企業信用危機不僅給社會帶來嚴重危害，也是關系到企業自身Th死存亡的重大事件，它是中國企業乃至中國市場經濟開展的巨大障礙。因的預警及管理是十分重要的。企業信用監測預警效勞平臺，全面整合社會信用監管信息和別，分別向企業自身、金融機構、其他政府部門及全社會進行通報。納入企業信用預警體系的企業信息包括侵犯消費者權益且不履行相關義務的信息、消費者投訴未及時處理信息、行政處分逾期未執行信息、 查無下落企業信息等23種信息。可以動態配置預警信息工和相應預警等級，增強監測預警的全面性和靈活性。企業信用監測預警效勞平臺以信息技術為支撐，以信用監管為手段，全面提高信用監管信息共享程度，及時預警影響社會交易平安和社會公共平安的不良信用信息，遵循“對外警示社會和企業；對內明確重點，積極采取應對措施〞的原那么，強化企業信用監管防范機制，有力推進“信用保稅區〞建設，加強企業信用監督管理的主動性、前瞻現企業信用的社會化監督。3、投資工程信息管理平臺應用，可有效解決投資建設工程管理動態過程的信息分析、信息構建，到達各參建方信息共享的目的。投資工程信息管理平臺，支持重大工程推介，建立標準的工程審批流程和工程信息庫，管理工程啟動、方案、執行、監控和收尾的整個Th命周期，覆蓋進度、質量、本錢、資源、風險等工程管理的各個要素，構建集成工程、流程、知識的信息化平臺。逐步實現與相關部門業務系統的接入，形成全覆蓋的投資工程管理持效勞。圍繞設計、招標、監理、質量、平安、進度、施工、資金、變更、合同管理“十大環節〞，建立起對投資工程進行事前方案、事中控方位、全過程的方案、組織、協調與控制作用。目管理為主線，全面組織、全程貫穿各個業務環節；以工程計決策提供依據；遵循“以方案為龍頭，以合同為中心，以投資控制為目4 、政務數據共享交換平臺建設政務數據共享交換平臺的首要目標就是要創造一個信息交換、信息共享的方式和環境，按照統一標準和標準，建立信息資源整合機制，標準數據采集口徑、采集方式，標準數據的效勞方式，建立統一的資源信息整合與交換機制。我們按照統一、集約、高效的數據開發利用理念，通過研究建立多級交換管理體系，形成政務信息資源物理分散、邏輯集中的信息共享模式，通過以應用為抓手，進一步打通數據流，滿足政府部門多方位、多層次的數據需求，為跨地域、跨部門、跨平臺不同應用系統、不同數據庫之間的互連互通提供包含提取、轉換、傳輸和加密等操作的數據交換效勞。通過分布式部署和集中式管理架構，有效解決各節點間數據的及時、高效上傳下達，在平安、快捷、方便的進行信息交換的同時精準的保證數據的一致性和準確性。政務數據共享交換平臺的全局目標是建立“一個系統〞，解決政務協作、宏觀決策、市場監管和社會管理效勞。六、技術支持與平臺性能1、系統架構結合該工程以大數據平臺為核心，多業務子系統并存的業務需求，以及存在不同種類操作系統、應用軟件、系統軟件的現狀，SOA架構。SOA 是一個組件模型，它將應用程序的不同功能單元〔稱為效勞〕通過這些效勞之間定義良好的接口和契約聯系起來。接口全別離，從而最大程度上實現效勞的集成和重組。SOA實施是以業務效勞為導向的，業務效勞獨立于技術之SOA架構的主要優勢有：1SOA與平臺無關，減少了業務應用及業務子系統整合的限制。2SOA具有低耦合的特點，各個業務子系統對整個業務系統的影響較低，在各個系統不斷變化情況下，節省的費用會越來越多。3SOA做下一步，將實施造成的沖擊減少到最小。SOA效勞交互示意圖如下：2、技術支持1J2EE框架。Java2平臺企業版(Java2PlatformEnterpriseEditionJ2EE)Java2平臺來簡化且標準應用系統的開發與部署，進J2EE使用的信息產品彼此之間無法兼容，企業內部或外部難以互通的窘境。基主要的技術標準有JDBC、EJB、JSP、JavaServlet、XML等。JDBC為訪問不同數據庫提供了統一的路徑，使對數據庫的訪問具有平臺無關性。EJB化了具有可伸縮性和高度復雜的企業級應用程序的開發。JSPHTMLJava代碼組成，簡化了頁面的輸出，保存了腳本語言易于使用的優點。ServletJavaWeb效勞器的功能。XML的標準格式。2SSM整合框架。SSMSpringMVC>SpringMybatisSpringMVCSpringFarmeWorkMVC模塊，別離了控制器、模型對象、過濾器以Spring個輕量級開源框架，它的主要特點是方便解耦、簡化開發、面向切面〔A0P〕的編程支持和聲明式事務支持，其主要優點有低侵入式設計、獨0RMJDBC代碼和參數的手工設置XML或注解用于配置和原始映射，將接JavaPOJOs映射成數據庫中的記錄。其框架架構圖如下：一 發送請求----------------ath/myRequest

A RequestMoppingHandlerMappingH?ndkfEx?cwtionChain(H^MyControlM用戶" -

View

SSH

SpringMVCM7、

Mo<lel3 And、札i^MyControllerViewInternaLResourceVie^ResoLverStruts

Ecto觀觀MybatisSQL甚是方便。3、平臺性能1、先進性、開放性。B/SJavaS0A開放式的體系框架，資的有效性和延續性。2、 可擴展性。由于采用了平臺化構建思想，整個系統可做到與底層多種硬件環境、操作系統、數據庫的自由適配，保證系統在軟件、硬件環境方面的靈活配置以及未來的拓展應用。采用基于S0A