大數(shù)據(jù)臺建設(shè)方案（項(xiàng)目需求與技術(shù)方案）一、項(xiàng)目背景“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”，牢牢把握社會(huì)經(jīng)濟(jì)發(fā)展主動(dòng)權(quán)和話語權(quán)。二、建設(shè)目標(biāo)制定統(tǒng)一信息資源管理規(guī)范，拓寬數(shù)據(jù)獲取渠道，整合業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構(gòu)建匯聚式一體化XX，為臺打下堅(jiān)實(shí)穩(wěn)固的數(shù)據(jù)基礎(chǔ)。梳理各相關(guān)系統(tǒng)數(shù)據(jù)資源的關(guān)聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息資源交換管理標(biāo)準(zhǔn)體系，在業(yè)務(wù)可行性的基礎(chǔ)上，實(shí)現(xiàn)數(shù)據(jù)信息共享，推進(jìn)信息公開，建立跨部門跨領(lǐng)域經(jīng)濟(jì)形勢分析制度。在大數(shù)據(jù)分析監(jiān)測基礎(chǔ)上，為把握經(jīng)濟(jì)發(fā)展趨勢、預(yù)見經(jīng)濟(jì)發(fā)展?jié)撛趩栴}、輔助經(jīng)濟(jì)決策提供基礎(chǔ)支撐。三、建設(shè)原則1、統(tǒng)籌規(guī)劃、分步實(shí)施。結(jié)合XX經(jīng)濟(jì)發(fā)展與改革領(lǐng)域?qū)嶋H需求，明確總體目標(biāo)和階段性任務(wù)，學(xué)規(guī)劃建設(shè)項(xiàng)目。先期完成大數(shù)據(jù)臺的整體架構(gòu)建設(shè)，后期分步完成業(yè)務(wù)系統(tǒng)的整合及相互間數(shù)據(jù)共享問題。2、整合資源、協(xié)同共享。對信息資源統(tǒng)一梳理，建立經(jīng)濟(jì)發(fā)展與改革信息標(biāo)準(zhǔn)資源庫和數(shù)據(jù)規(guī)范，逐步消滅“信息孤島”，加快推進(jìn)數(shù)據(jù)資源整合，建設(shè)共享共用的大數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。3、突出重點(diǎn)、注重實(shí)效。以用戶為中心，以需求為導(dǎo)向，以服務(wù)為目的，突出重點(diǎn)，注重實(shí)效，加強(qiáng)臺可用性和易用性。4、深化應(yīng)用、創(chuàng)新驅(qū)動(dòng)。深入了解用戶需求，密切跟蹤信息技術(shù)發(fā)展趨勢，不斷深化應(yīng)用、拓展新技術(shù)在應(yīng)用中的廣度和深度，促進(jìn)跨界融合，豐富管理和服務(wù)手段。四、建設(shè)方案為了保證項(xiàng)目的順利進(jìn)行和建設(shè)目標(biāo)的可行性，我們采取如下幾種建設(shè)方案。1、采集方案。我們統(tǒng)一信息資源標(biāo)準(zhǔn)規(guī)范，建立多維度XX，拓寬數(shù)據(jù)來源，通過不同的方式匯聚數(shù)據(jù)，增強(qiáng)分析力度，提高監(jiān)測預(yù)警的準(zhǔn)確性和時(shí)效性。預(yù)留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導(dǎo)入處理。將現(xiàn)存有關(guān)經(jīng)濟(jì)運(yùn)行業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)和時(shí)效數(shù)據(jù)，通過上傳數(shù)據(jù)文件至服務(wù)器、分析提取有效數(shù)據(jù)導(dǎo)入服務(wù)器XX等方式采集起來，在本臺上復(fù)用。支持外接數(shù)據(jù)的上傳導(dǎo)入處理?？梢詫⑵髽I(yè)單位或定點(diǎn)監(jiān)測機(jī)構(gòu)的數(shù)據(jù)通過同樣的方式采集起來，在本臺上復(fù)用。支持非結(jié)構(gòu)化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、分析方案。大數(shù)據(jù)之大并不是難點(diǎn)所在，其真正難以對付的挑戰(zhàn)來自于數(shù)據(jù)類型多樣、要求及時(shí)響應(yīng)和數(shù)據(jù)的不確定性，而我們所面臨的也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學(xué)習(xí)、知識計(jì)算和可視化等大數(shù)據(jù)分析技術(shù)，通過對數(shù)據(jù)的批量處理挖掘其中的價(jià)值來支持決策和發(fā)現(xiàn)新的洞察。五、建設(shè)內(nèi)容1、宏觀可視臺信息化的最終目標(biāo)是提高的決策水，其中經(jīng)濟(jì)決策是核心內(nèi)容。為了提高宏觀調(diào)控決策水，我們必須從依靠傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)向依靠互聯(lián)網(wǎng)非統(tǒng)計(jì)數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測預(yù)測宏觀經(jīng)濟(jì)總量向監(jiān)測預(yù)測宏觀經(jīng)濟(jì)先行指標(biāo)轉(zhuǎn)變，從中長期監(jiān)測預(yù)測向?qū)崟r(shí)監(jiān)測預(yù)測轉(zhuǎn)變。建設(shè)以“容量大、形式多、分類細(xì)、響應(yīng)快”為目標(biāo)的宏觀經(jīng)濟(jì)監(jiān)測預(yù)測XX，構(gòu)建基于互聯(lián)網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟(jì)非統(tǒng)計(jì)指標(biāo)監(jiān)測預(yù)測應(yīng)用臺。圍繞重點(diǎn)產(chǎn)業(yè)活躍度、區(qū)域經(jīng)濟(jì)關(guān)聯(lián)度、宏觀經(jīng)濟(jì)走向社會(huì)預(yù)期、社會(huì)消費(fèi)熱點(diǎn)、大宗商品供求及價(jià)格走勢、全國就業(yè)形勢、外貿(mào)訂單變化趨勢等方面，構(gòu)建大數(shù)據(jù)宏觀經(jīng)濟(jì)先行指標(biāo)和現(xiàn)時(shí)預(yù)測指標(biāo)庫，研究能客觀、準(zhǔn)確反映XX宏觀經(jīng)濟(jì)運(yùn)行狀況的指標(biāo)體系，編制“XX指數(shù)”。在健全完善監(jiān)測預(yù)警XX的基礎(chǔ)上，充分運(yùn)用大數(shù)據(jù)技術(shù)和理念，加強(qiáng)數(shù)據(jù)挖掘力度，強(qiáng)化定量分析，建立宏觀經(jīng)濟(jì)分析系列模型，切實(shí)提高預(yù)測分析的前瞻性、準(zhǔn)確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化臺，采用Unity3D引擎，三維界面高度仿真，所見即所得。臺針對多源易構(gòu)的海量數(shù)據(jù)，通過數(shù)據(jù)處理、存儲管理、可視化交互分析等技術(shù)，實(shí)現(xiàn)圖形化數(shù)據(jù)查詢、可視化關(guān)聯(lián)分析、證據(jù)鏈和情報(bào)線索發(fā)掘等功能。利用預(yù)測信號燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟(jì)總體運(yùn)行狀況，分析經(jīng)濟(jì)波動(dòng)原因，及時(shí)了解各地區(qū)經(jīng)濟(jì)發(fā)展的不衡性，準(zhǔn)確判斷和測定經(jīng)濟(jì)景氣循環(huán)運(yùn)行狀態(tài)。2、預(yù)警服務(wù)臺企業(yè)信用危機(jī)不僅給社會(huì)帶來嚴(yán)重危害，也是關(guān)系到企業(yè)自身生死存亡的重大事件，它是中國企業(yè)乃至中國市場經(jīng)濟(jì)發(fā)展的巨大障礙。因此，建立企業(yè)信用危機(jī)的預(yù)警機(jī)制和管理機(jī)制，對企業(yè)信用危機(jī)進(jìn)行有效的預(yù)警及管理是十分重要的。企業(yè)信用監(jiān)測預(yù)警服務(wù)臺，全面整合社會(huì)信用監(jiān)管信息和社會(huì)公眾反映信息，通過整理歸類與加工，將這些信用危機(jī)信息轉(zhuǎn)化為可以量化的指標(biāo)體系，按照失信行為的嚴(yán)重程度和影響范圍劃分三個(gè)預(yù)警級別，分別向企業(yè)自身、金融機(jī)構(gòu)、其他部門及全社會(huì)進(jìn)行通報(bào)。3、信息管理臺建設(shè)投資項(xiàng)目（特別是一些大型項(xiàng)目）具有管理上的復(fù)雜性特點(diǎn)，主要是建設(shè)周期長、參建方多。投資項(xiàng)目信息管理臺的建立和應(yīng)用，可有效解決投資建設(shè)項(xiàng)目管理動(dòng)態(tài)過程的信息分析、信息構(gòu)建，達(dá)到各參建方信息共享的目的。投資項(xiàng)目信息管理臺，支持重大項(xiàng)目推介，建立規(guī)范的項(xiàng)目審批流程和項(xiàng)目信息庫，管理項(xiàng)目啟動(dòng)、計(jì)劃、執(zhí)行、監(jiān)控和收尾的整個(gè)生命周期，覆蓋進(jìn)度、質(zhì)量、成本、資源、風(fēng)險(xiǎn)等項(xiàng)目管理的各個(gè)要素，構(gòu)建集成項(xiàng)目、流程、知識的信息化臺。逐步實(shí)現(xiàn)與相關(guān)部門業(yè)務(wù)系統(tǒng)的接入，形成全覆蓋的投資項(xiàng)目管理統(tǒng)一工作臺，真正做好資源共享，為項(xiàng)目的后期評價(jià)、領(lǐng)導(dǎo)決策提供支持服務(wù)。圍繞設(shè)計(jì)、招標(biāo)、監(jiān)理、質(zhì)量、安全、進(jìn)度、施工、資金、變更、合同管理“十大環(huán)節(jié)”，建立起對投資項(xiàng)目進(jìn)行事前計(jì)劃、事中控制、事后評估、全程管理的有效管控模式，促進(jìn)投資項(xiàng)目管理體系發(fā)揮全方位、全過程的計(jì)劃、組織、協(xié)調(diào)與控制作用。投資項(xiàng)目信息管理臺，以現(xiàn)代項(xiàng)目管理方法論為基礎(chǔ)；以項(xiàng)目管理為主線，全面組織、全程貫穿各個(gè)業(yè)務(wù)環(huán)節(jié)；以項(xiàng)目計(jì)劃為依據(jù)，學(xué)協(xié)調(diào)各個(gè)部門的工作；以成本、進(jìn)度、質(zhì)量為最終控制目標(biāo)；以完整、及時(shí)、準(zhǔn)確的項(xiàng)目信息和學(xué)的分析模型為項(xiàng)目管理、決策提供依據(jù)；遵循“以計(jì)劃為龍頭，以合同為中心，以投資控制為目的”的現(xiàn)代項(xiàng)目管理理念，構(gòu)建高效、實(shí)用的項(xiàng)目協(xié)同管理綜合臺。4、共享交換臺務(wù)數(shù)據(jù)共享交換臺是各個(gè)臺中的基礎(chǔ)性和綜合性臺，是解決“信息孤島”、實(shí)現(xiàn)數(shù)據(jù)互連互通的基礎(chǔ)設(shè)施，有利于提高各類信息資源整合共享，以及信息資源的綜合利用。建設(shè)務(wù)數(shù)據(jù)共享交換臺的首要目標(biāo)就是要?jiǎng)?chuàng)造一個(gè)信息交換、信息共享的方式和環(huán)境，按照統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，建立信息資源整合機(jī)制，規(guī)范數(shù)據(jù)采集口徑、采集方式，規(guī)范數(shù)據(jù)的服務(wù)方式，建立統(tǒng)一的資源信息整合與交換機(jī)制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)利用理念，通過研究建立多級交換管理體系，形成務(wù)信息資源物理分散、邏輯集中的信息共享模式，通過以應(yīng)用為抓手，進(jìn)一步打通數(shù)據(jù)流，滿足部門多方位、多層次的數(shù)據(jù)需求，為跨地域、跨部門、跨臺不同應(yīng)用系統(tǒng)、不同XX之間的互連互通提供包含提取、轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換服務(wù)。通過分布式部署和集中式管理架構(gòu)，有效解決各節(jié)點(diǎn)間數(shù)據(jù)的及時(shí)、高效上傳下達(dá)，在安全、快捷、方便的進(jìn)行信息交換的同時(shí)精準(zhǔn)的保證數(shù)據(jù)的一致性和準(zhǔn)確性。務(wù)數(shù)據(jù)共享交換臺的全目標(biāo)是建立“一個(gè)系統(tǒng)”，解決“兩個(gè)問題”，支持“三個(gè)應(yīng)用”，面向“四個(gè)服務(wù)”。建立“一個(gè)系統(tǒng)”，即建立一個(gè)可擴(kuò)展、可集成、有統(tǒng)一數(shù)據(jù)模型、可交換和安全可靠的分布式系統(tǒng)，對各類務(wù)資源進(jìn)行組織和管理。解決“兩個(gè)問題”，即解決務(wù)信息資源的發(fā)現(xiàn)與定位問題，解決務(wù)信息資源規(guī)劃與整理問題。支持“三個(gè)應(yīng)用”，即支持信息集成整合應(yīng)用、各業(yè)務(wù)部門辦公應(yīng)用和職能決策應(yīng)用。面向“四個(gè)服務(wù)”，即面向務(wù)協(xié)作、宏觀決策、市場監(jiān)管和社會(huì)管理服務(wù)。六、技術(shù)支持與臺性能1、系統(tǒng)架構(gòu)結(jié)合該項(xiàng)目以大數(shù)據(jù)臺為核心，多業(yè)務(wù)子系統(tǒng)并存的業(yè)務(wù)需求，以及存在不同種類操作系統(tǒng)、應(yīng)用軟件、系統(tǒng)軟件的現(xiàn)狀，我們采用面向服務(wù)的體系結(jié)構(gòu)，即SOA架構(gòu)。SOA是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱為服務(wù)）通過這些服務(wù)之間定義良好的接口和契約聯(lián)系起來。接口是采用中立的方式進(jìn)行定義的，它獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件臺、操作系統(tǒng)和編程語言。這使得構(gòu)建在這樣系統(tǒng)中的服務(wù)可以以一種統(tǒng)一和通用的方式進(jìn)行交互。它的本質(zhì)是實(shí)現(xiàn)服務(wù)和技術(shù)的完全分離，從而最大程度上實(shí)現(xiàn)服務(wù)的集成和重組。SOA實(shí)施是以業(yè)務(wù)服務(wù)為導(dǎo)向的，業(yè)務(wù)服務(wù)獨(dú)立于技術(shù)之上，技術(shù)處于從屬地位，采用SOA架構(gòu)的主要優(yōu)勢有：SOA與臺無關(guān)，減少了業(yè)務(wù)應(yīng)用及業(yè)務(wù)子系統(tǒng)整合的限制。SOA具有低耦合的特點(diǎn)，各個(gè)業(yè)務(wù)子系統(tǒng)對整個(gè)業(yè)務(wù)系統(tǒng)的影響較低，在各個(gè)系統(tǒng)不斷變化情況下，節(jié)省的費(fèi)用會(huì)越來越多。SOA具有可按模塊分階段進(jìn)行實(shí)施的優(yōu)勢?？梢猿晒σ徊皆僮鱿乱徊?，將實(shí)施造成的沖擊減少到最小。2、技術(shù)支持技術(shù)領(lǐng)先的J2EE框架。Java2臺企業(yè)版（Java2PlatformEnterpriseEdition，J2EE）是一種利用Java2臺來簡化且規(guī)范應(yīng)用系統(tǒng)的開發(fā)與部署，進(jìn)而提高可移植性、安全與再用價(jià)值?；诵氖且唤M技術(shù)規(guī)范與指，其中包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共同的標(biāo)準(zhǔn)及規(guī)格，讓各種依循J2EE架構(gòu)的不同臺之間，存在良好的兼容性，解決過去企業(yè)后端使用的信息產(chǎn)品彼此之間無法兼容，企業(yè)內(nèi)部或外部難以互通的窘境?；饕募夹g(shù)規(guī)范有JDBC、EJB、JSP、JavaServlet、XML等。JDBC為訪問不同XX提供了統(tǒng)一的路徑，使對XX的訪問具有臺無關(guān)性。EJB提供了一個(gè)框架來開發(fā)和實(shí)施分布式商務(wù)邏輯，簡化了具有可伸縮性和高度復(fù)雜的企業(yè)級應(yīng)用程序的開發(fā)。JSP頁面由HTML代碼和嵌入其中的Java代碼組成，簡化了頁面的輸出，保留了腳本語言易于使用的優(yōu)點(diǎn)。Servlet是一種小型Java程序，擴(kuò)展了Web服務(wù)器的功能。XML提供了一種描述結(jié)構(gòu)數(shù)據(jù)的格式，簡化了網(wǎng)絡(luò)中數(shù)據(jù)交換和表示，使得代碼、數(shù)據(jù)和表示分離，作為數(shù)據(jù)交換的標(biāo)準(zhǔn)格式。強(qiáng)大靈活的SSM整合框架。SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC屬于SpringFarmeWork的后續(xù)產(chǎn)品，它提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊，分離了控制器、模型對象、過濾器以及處理程序?qū)ο蟮慕巧?，這種分離讓它們更容易進(jìn)行定制。Spring是一個(gè)輕量級開源框架，它的主要特點(diǎn)是方便解耦、簡化開發(fā)、面向切面（AOP）的編程支持和聲明式事務(wù)支持，其主要優(yōu)點(diǎn)有低侵入式設(shè)計(jì)、獨(dú)立于應(yīng)用服務(wù)器、允許將一些通用任務(wù)如日志等進(jìn)行集中處理。Mybatis是輕量級ORM框架，它消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索，使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs映射成XX中的記錄。其框架架構(gòu)圖如下：相比于傳統(tǒng)SSH整合，SpringMVC相比Struts更輕量級，注解的使用減少開發(fā)消耗，XX操作層采用Mybatis，統(tǒng)一管理SQL甚是方便。3、臺性能1、先進(jìn)性、開放性。基于B/S結(jié)構(gòu)的Java應(yīng)用技術(shù)和SOA開放式的體系框架，結(jié)構(gòu)化設(shè)計(jì)，靈活可拆分，具有靈活的可擴(kuò)充接口，易于修改調(diào)整、二次開發(fā)和擴(kuò)充，最大限度降低因上游技術(shù)升級帶來的系統(tǒng)實(shí)施風(fēng)險(xiǎn)，保證投資的有效性和延續(xù)性。可擴(kuò)展性。由于采用了臺化構(gòu)建思想，整個(gè)系統(tǒng)可做到與底層多種硬件