1、智慧統計大數據云平臺解決方案V3.0暉段釵HE分怖遙度錢桃分析UNERH分僑智慧統計大數據云平臺第一章智慧統計大數據建設背景5第二章項目建設單位概況82.1項目建設單位與職能82. 1. 1建設單位82.1.2建設單位職能82.2項目實施機構與職責8第三章項目建設的必要性103.1項目背景和依據103.2項目建設目標113.3項目建設的意義和必要性12第四章項目需求分析154.1組織結構的需求分析154.2對數據交換的需求分析164.3對行政審批系統需求分析164. 4對協同辦公系統需求分析164.4業務量分析174.6性能需求分析17第五章 項目運行機制體制設計195.1組織機構設計195.

2、2業務流程設計195.3事件處置操作手冊195.4評價體系建立19第六章總體建設方案206. 1建設原則和策略206.2總體邏輯結構216.3網絡總體設計236.4數據庫總體設計246. 4. 1數據庫內容246. 4.2數據庫結構246.4.3數據釆集與整合256.5數據交換平臺總體設計286. 5. 1交換中心管理系統296.5.2接入管理系統326.5.3交換前置子系統346. 5.4交換橋接子系統366. 5.5運行監控平臺386. 5.4系統管理406.6標準與規范體系總體設計416. 6. 1技術標準與規范426. 6.2共享管理辦法426. 6.3運行管理規范42第七章應用系統功

3、能建設437. 1業務應用功能架構437.1.1統計大數據采集437.1.2統計大數據聯網直報447. 1.3自助取統計數報表457.1.4多維分析統計大數據457.2統計業務大數據分析系統467.2.1 "三新”業務大數據采集477.2.2 “三新”業務大數據挖掘477.2.3 "三新”業務大數據分析497. 2. 4文旅液態數據產業統計517.3宏觀經濟預測系統597. 3.1宏觀經濟預測需求分析617. 3. 2宏觀經濟預測建設方案627. 3. 2宏觀經濟預測預警展現方式637.4行政審批系統647. 4.1項目審批667. 4.2任務提醒667.4.3痕跡保留66

4、7.4.4文檔保護667.4.5工作委托677.4.6企業信息查詢677.4.7工作統計677.5協同辦公系統747. 5.1信息門戶747.5.2個人信息757.5.3知識/信息中心767.5.4交流園地777.5.5工作流管理787.5.4公文管理797.5.7檔案管理837.6移動辦公系統837. 6.1通訊錄837.6.2短信群發847.6.3公文簽批847. 6.4公文箱847. 6.5工作安排847. 6.6公告通知857. 6.5移動郵件857.7政府門戶網站集群867.7.1門戶系統整體功能867.7.2門戶系統業務功能877.7.3與其它應用系統的集成967.7.4統一認證的

5、實現977.7.5門戶系統接口987.8平臺接口系統997. 8.1平臺內部接口997.&2平臺外部接口103第八章 項目效益與風險分析1218.1項目的經濟效益和社會效益分析121& 1.1社會效益分析121& 1.2管理效益分析122& 1.3經濟效益分析1238.2項目風險與風險對策124第九章項目組織機構與人員1269.1項目領導、實施和運維機構及組織管理1269.2人員配置1289.3人員培訓需求和計劃128第一章智慧統計大數據建設背景隨著我國經濟進入新常態，當前各種經濟社會矛盾交織在一 起，經濟增長下行，壓力不斷加大，如何準確把握經濟社會形勢 研判經

6、濟社會發展趨勢并提出有針對性的政策建議，以及隨著經 濟社會發展，各種新產業、新業態和新商業模式層出不窮，如何 界定和測度新經濟，這些都是擺在決策者面前的重要課題。在當今的經濟生活中，認識和判斷經濟形勢及其未來走向, 是政府、企業和個人進行決策的基礎和前提。科學的統計制度方 法和真實的統計數據是客觀分析經濟形勢、準確把握經濟走勢的 重要基礎，經濟形勢的客觀分析和經濟走勢的準確把握是科學決 策的重要基礎，科學決策是經濟持續健康發展的重要保障。因此, 統計是重要的基礎性工作。統計要想在經濟分析、科學決策和保持經濟持續健康發展中 真正發揮重要作用，一方面要根據不斷增長和變化的統計需求進 行統計制度方法

7、改革，提高統計制度方法的科學性和適應性，提 高統計數據的準確性和及時性；另一方面要充分利用大數據分析 技術對豐富的統計信息資料進行深度開發，讓這些資源真正體現 出應有的價值。近年來，包括政府統計數據在內的大數據資源迅猛增長，已 成為與自然資源、人力資源同樣重要的國家基礎性戰略資源，成 為促進經濟增長和轉型發展的新動力，成為提升政府治理能力的 新途徑。特別是進入信息化、互聯網和大數據時代，大數據帶來 的一個重大改變就是信息扁平化，人人都是數據的生產者和使用 者，對數據的加工、釆集、匯總、綜合、分析、預測，比任何時 候都要迫切。發達國家大力推動大數據發展和應用，紛紛將研究 開發大數據上升為國家戰略

8、。黨中央、國務院高度重視大數據的 開發應用，大力倡導實施國家大數據戰略，推進數據資源開放共 享；運用大數據技術，提高經濟運行信息及時性和準確性。這些 都將有力推動我國大數據發展和應用。統計局作為組織領導和協調統計工作的主管部門，具有統計 制度和標準制定、統計數據搜集、加工整理、開發利用、發布等 方面的法定職權和技術優勢。長期以來，*統計局的基本業務 開展仍遵循制度設計、調查采集、數據整理上報、數據發布與開 發利用的順序流程，在統計調查方面釆用全面定期統計，抽樣調 查、普查，重點調查，典型調查等方法。近年來，統計工作信息 化水平有較大提高，伴隨著聯網直報系統等信息化項目的應用推 廣，政府統計逐步

9、實現了網絡采集傳輸、集中存儲處理、多工具 分析。同時在長期的統計信息建設過程中統計部門積累了大量經 濟社會數據，政府相關部門也積累了海量經濟社會數據。這些數 據是價值連城的“寶藏”。但由于各種原因，統計部門自身只開 發利用了一小部分，“寶藏”的大部分價值仍有待于進一步開發 利用。要本著先易后難的原則，充分利用互聯網上已有的公開信息, 充實拓展本專業的資料獲取渠道。加快研究將非標準化大數據轉 化為標準化統計數據的方法，積極開發自動導入企業電子化生產 經營記錄的軟件，加快大數據的應用步伐。從數據到大數據，不僅是量的積累，更是質的飛躍。海量的、 不同來源、不同形式、包含不同信息的數據容易被整合、分析

10、, 原本孤立的數據變得互相聯通。通過數據分析，能發現小數據時 代很難發現的新知識，創造新的價值。*統計局大數據統計平 臺的使命就是通過加工整理、開發利用經濟社會數據，為政府決 策和社會治理提供科學依據，為促進經濟社會發展服務。第二章項目建設單位概況2.1項目建設單位與職能2. 1. 1建設單位XX市統計局。2. 1.2建設單位職能負責項目需求的整理，負責與開發方協調，負責。2.2項目實施機構與職責（一）貫徹執行國家和省有關信息化工作的方針、政策和法 律、法規、規章；受委托研究起草信息化工作的地方性政策、法 規和規章，經審議通過后組織實施。（二）組織編制XX市統計局信息化建設中、長期規劃及年度

11、計劃，并組織實施和監督、檢查；會同有關部門組織行業統計及 信息發布；協調解決信息化工作中的重大問題。（三）組織對XX市統計局信息化重大項目的論證、監督和驗 收；貫徹國家、省有關信息化的技術規范和標準；會同有關部門 監督、管理信息產品質量和網絡服務質量；推進信息技術創新, 參與組織實施重大信息科技攻關，指導技術引進、成果轉化和產 業化工作。（四）會同有關部門匯總、提出推進信息化和發展信息產業 的固定資產投資年度計劃；管理市財政用于扶持信息產業和信息 化建設專項資金的配置使用；指導、參與信息化和信息產業利用 外資的工作。（五）組織、協調政府信息化建設；組織、協調和指導信息 資源開發、信息技術應用。

12、（六）會同有關部門引導、培育、規范和促進信息產業發展； 對信息產品制造業、軟件業、信息服務業和通信業行使行業管理 職能。（七）組織、協調和指導信息網絡安全工作；組織信息網絡 安全技術、設備和產品的監督管理；組織、指導和管理計算機病 毒防范工作。（八）負責信息技術應用培訓和普及工作；指導信息化人才 隊伍建設；組織信息科學軟課題研究和國內外技術合作與交流; 聯系、指導信息行業社團組織。第三章項目建設的必要性3.1項目背景和依據XX市按照省社會管理創新的指導思想和建設規范要求，結 合XX市情實際，以解決當前XX市社會服務管理的薄弱環節和 突出問題為突破口，借鑒發達城市社會管理信息化建設的經 驗，理順

13、數字信息化在社會管理創新形勢下的監督指揮部門、 政府相關職能部門的職責分工，切實發揮市一級的社會服務管 理職能。圍繞建設、管理、創新、高效四個環節，力求在管理 精細化上謀突破，在破解難題上謀突破，在便民利民上謀突 破，在動員群眾廣泛參與上謀突破，切實起到示范帶動作用。加強和創新社會管理服務，是中央全面把握國內外新形 勢、新特征，深刻分析全面建設小康社會的關鍵時期和深化改 革開放、加快轉變經濟發展方式的攻堅時期我國經濟社會發展 新的要求，從黨和國家事業發展全局出發確定的一項重大戰略 任務。中央明確指出，加強和創新社會管理服務的根本目的是 維護社會秩序、促進社會和諧、保障人民安居樂業，為黨和國 家

14、事業發展營造良好社會環境。基本任務是協調社會關系、規 范社會行為、解決社會問題、化解社會矛盾、促進社會公正、 應對社會風險、保持社會穩定，建立健全中國特色社會主義管 理體系。做好社會管理服務工作，促進社會和諧發展，是全面 建設小康社會、堅持和發展中國特色社會主義的必然要求和基 本條件。3.2項目建設目標充分發揮現代化信息技術在社會管理創新中的基礎性、關 鍵性作用，全面推進以網格為基礎的整個社會管理服務信息數 字化，建立全市統一，動態更新、聯通共享的智慧統計大數據 云平臺，搭建智慧統計大數據云平臺，實行管理信息化。依托電子政務基礎信息平臺，統一規劃，聯通公安、房 管、規劃、城管、綜治、教育、民政

15、、人社等部門，結合自身 職能，主動對接相應用信息平臺，實現資源共享。通過該平臺的建設，可實現人口基礎數據庫管理、房屋基礎 數據庫管理、社會管理、公共服務和政府協同辦公等功能；利用 電子政務專網，可實現上至市直管理部門，下至基層社區之間的 扁平化、快速化聯動；利用移動信息采集終端，網格管理員可現 場動態釆集系統需要的所有信息，建立“一方采集、多方響應” 的關聯對比制度，推進網格化平臺與職能部門信息融合。同時，在為民服務上，依托基層網格化服務團隊，采用信息 化手段，利用呼叫中心、短信、移動終端、互聯網等技術方法與 互動模式，通過網格化服務團隊的走訪式服務，結合網絡信息平 臺的信息化優勢，并整合政府

16、、黨團組織、工會等公共服務資源 和企業、行業協會、社會公益組織等社會服務資源，為民眾提供 全方位、多元化的服務，并達到“全天候、全方位、全程跟蹤監 督”的服務效果。3.3項目建設的意義和必要性智慧統計大數據云平臺建設是社會管理創新和信息化建設 的重要組成部分。實施以社會管理為主線的系統建設，有助于加 快信息資源的開發利用，促進信息資源共享，滿足社會管理部門 和成員單位對社會管理的更高要求，實現“基礎信息網上錄入、 辦事服務網上管理、工作過程網上監督、責任目標網上考核”四 大能力。智慧統計大數據云平臺是促進社會管理部門各部門信息資 源共享、提高行政管理能力的需要。智慧統計大數據云平臺是電 子政務

17、建設不可或缺的管理系統，是統一和銜接成員單位業務處 理的平臺，是實現社會管理部門之間工作的重要橋梁。在社會管 理部門各成員部門之間逐步建立和完善數據統一、互為補充、相 互共享且能實施更新的系統，已成為電子政務建設的重要基礎工 程。智慧統計大數據云平臺是加強政府對管理社會人員與服務 社會人員的需要。通過智慧統計大數據云平臺建設將有助于加強 對社會人員的監管，強化和不斷完善公共服務，提升各政法成員 部門信息化水平，穩步推進黨政機構的聯結辦公，不斷增強對各 類社會組織的管理，及帶領社會組織深入參與社會管理工作。社會管理服務系統的建設是采用數字化技術手段、網格化 管理模式，打破部門間條塊分割，建立長效

18、管理聯動新機制、提 升社會管理服務的科學水平和城市運行效率的新思路，對地區的 社會和諧穩定、經濟快速發展具有重要意義。通過管理效能的發 揮，能夠取得明顯的社會效益，并具有良好的社會及經濟效益。 具體體現以下七個方面：1、有利于社會管理服務基礎信息資料的共享，增強政府管理 和服務能力。社會管理服務綜合信息系統的建設，將為社會管理服務部門 提供有效的信息共享機制和信息更新機制，各社會管理服務職能 部門的基礎數據及時更新，保持一致性、準確性和權威性。有利 于社會管理服務基礎信息資料的共享，增強政府管理和服務能力O2、有利于提高政府部門工作質量，提高政府部門的宏觀決策 能力。形成各社會管理服務職能部門

19、系統與社會管理服務業務系統 對接，百姓及映的事件快速的流通到相關職能部門，相關部門處 理時，事件的受理人知道事件的進展，保持事件的跟蹤。領導通 過統一平臺統計分析出社會的穩定性，從而做出有效決策。3、有利于推進社會管理服務創新的實施。社會管理服務綜合信息系統的建設有利于提升城市建設和管 理的規范化、精準化、智能化水平，打造高效、科技型的服務政 府。4、有利于提高工作效率，降低工作成本。通過社會管理服務系統的建設，大部分事件通過系統統一處 理，減少了從群眾到村（社區）、村（社區）到鄉鎮（街道）、鄉 鎮（街道）到區的溝通成本。5、有利于加強政府決策的準確率，減少人力成本。通過系統統計分析出社會不穩

20、定因素的原因和問題，有針對 性的展開管理措施，集中人力、物力施政，避免公共服務資源浪 費。6、有利于減少重復建設，提高使用率。社會管理服務系統的基礎信息可以充分共享，減少其它社會 管理服務職能部門的系統建設，避免各部門投入經費重復建設類 似系統，降低工作成本，為國家財政節省了開支；對于國民經濟 建設和廣大用戶將產生不可估量的效益。7、減少社會不穩定因素，創建和諧社會，促進經濟發展通過信息系統快速解決群眾訴求，把不穩定因素降到最低， 將吸引更多的外來投資者。第四章項目需求分析4.1組織結構的需求分析統計局大數據統計平臺的最終建設目標是在政府的統一領 導下，由XX統計局牽頭負責，利用統計局自身擁有

21、的數據資源， 力爭打破數據孤島，謀劃工商、稅務、金融、保險、交通運輸、 海關、財政、教育、醫療等各個行業數據資源的整合機制，加大 對政府公開數據（含政府機構或準政府機構公共公開數據）、商 業數據、互聯網數據、通訊數據、物聯網數據、金融數據等數據 的整合力度，實現各部門、各行業、各區塊數據資源的交互共享， 并推動全省數據資源的整合，實現數據的共享和交互使用，滿足 *社會各界的主要數據需求，建成基于全省大數據統計系統的 經濟預警平臺。根據*統計局當前的實際情況，該項目的建設擬分兩期進 行，本期建設主要基于*統計局的現有數據、其他部門的開放 數據和互聯網數據，建設成服務于*統計局常規統計工作，具 有

22、宏觀經濟預判功能、三新統計功能和服務業統計功能的大數據 統計平臺。目前*統計業務依托于企業聯網直報平臺進行相關的業務 統計，統計業務數據相對孤立、數據價值難于體現，各部門統計 數據之間矛盾日益突出。現大數據高速發展，各項技術手段日漸 成熟，期望依托大數據技術，探索出統計體系科學有效的數據收 集、挖掘、處理平臺，打通各部門之間的屏障，建立統一的標準 規范體系、拓展數據獲取渠道、整合各行業數據，實現數據之前 相互驗證，建立統計業務分類體系、通過數據建模手段實現各項 指標經濟預測。4.2對數據交換的需求分析根據系統建設的需要，需將公安、民政、計生、衛生、人社、 教育、房管、城管和消防部門業務數據與社

23、會管理平臺的數據進 行交換，保證智慧統計大數據云平臺上人口基礎數據、房屋基礎 數據等信息的完整率、鮮活率和準確率，并為社會管理類數據交 換建立相應的標準與規范。“XX信息網”數據交換平臺還應能提供多種外部數據接口 （如人口、房屋、地理信息等），接口使用規范的數據交換接口 格式（如XML）,并能提供統一數據交換接口文檔，方便以后其它 數據的接入與共享。4.3對行政審批系統需求分析建設市行政審批的數據中心，完成審批公共數據庫建設，遵 照各審批部門的事項規定和審批規范，提高辦事效率和透明度, 以“統一受理、統一申報、統一監控、統一咨詢反饋、統一計費 收費、辦理限時、資源共享、信息互動”等為建設目標。

24、4. 4對協同辦公系統需求分析建設XX全市統一的0A系統;建立電子化文檔的管理、傳遞和審批，改變傳統手工辦公模 式，提高辦公效率；建立電子郵件、電子論壇等方便靈活的交流方式，讓員工及 單位更具活力；建立公共信息庫和討論組，共享信息和知識，將所有員工的 智慧積累和發揚；協調和協同工作，讓工作組的所有人員都能掌握工作進度， 發揮群體工作的威力；建立個人建立信息和日程管理，協助部門員工工作更出色； 建立集中的信息處理，加強部門的管理和控制能力；建立移動0A系統，實現隨時隨地辦公。4.4業務量分析本期平臺建設主要涉及到眾多數據庫數據抽取、標準代碼庫 建立以及各種工作提醒與信息反饋等信息，存儲空間設計為

25、4T 為合適。4.6性能需求分析系統整體的性能要求為：系統具有靈活的擴展性和良好的可移植性；充分考慮今后的橫向和縱向的平滑擴張能力；在網絡穩定（帶寬128K）的環境下操作性界面單一操作的系 統響應時間小于10秒;支持不少于100個并發使用用戶連接；系統提供7*24小時的連續運行，平均年故障時間24小時，平均故障修復時間30分鐘；具備較強的系統安全性和災難恢復能力，系統具有安全審計 功能。系統提供強有力的安全保障措施；支持 IE7.0、IE8.0、Chromel® 0、Firefox6. 0 等以上版本 的主流瀏覽器。其中呼叫中心建設的核心指標（建議）:呼入接通時間：ISDN/SS7信

26、令 2秒，SS1信令5秒按鍵響應時間： 1秒系統接通率:99. 96%DTMF收鍵準確率: 99. 99%BHCC（忙時呼叫次數）： 1000K系統可靠性：99. 9%, 7*24穩定運行從占用座席到客戶信息彈出的間隔時間： 1秒第五章項目運行機制體制設計按照建設要求，成立各級網格化社會管理服務中心，通過精 細化管理，實現社會管理全方位覆蓋、全過程管理、全社會參與、 全區域平安。5.1組織機構設計根據項目編制5.2業務流程設計根據項目編制5.3事件處置操作手冊根據項目編制。5.4評價體系建立根據項目編制第六章總體建設方案6. 1建設原則和策略1、統籌規劃，分級實施。平臺建設涉及到各地區和多個部

27、門，要進行統籌規劃、總體 設計和分級實施。要按照國家制定的相關標準規范進行建設， 實現應急管理業務系統和技術支撐系統的有機結合。2、利用現有，整合資源。本著節約的原則，突出建設重點，注重高效實用，充分利用 已有基礎，防止推倒重來、重復建設。整合各級、各部門應急 平臺所需資源，已經建成的平臺要采用接口轉換等技術手段， 新建、改建平臺要采用國家制定的相關技術標準，依托政府電 子政務系統和部門業務系統進行建設，實現政府對上對下各應 急平臺和其他相關應急平臺的互聯互通，信息共享。3、注重實用，講求實效。既要重視XX信息網硬件建設，更要重視應用幵發和信息源 建設，保證平臺的實用性；既要立足應急響應，又要

28、滿足平時 應用，防止重建設、輕應用；既要能夠發揮專業業務系統的作 用，又要提高應急資源整合效益和應急平臺的實用性，克服所 有涉及社會管理部門都搞大而全的智慧統計大數據云平臺建 設，專業相近應急平臺要統一整合建設。4、技術先進，安全可靠。依靠科技，借鑒國內外先進經驗開展建設工作，注重系統設 備的可靠性和先進性，采用符合當前發展趨勢的先進技術，并 充分考慮技術的成熟性。加強核心技術的自主研發和應用，建 立安全防護和容災備份機制，保障應急平臺安全平穩運行。5、立足當前，著眼長遠。平臺建設工作要以需求為向導，以應用促發展，把當前和長 遠結合起來，既要滿足當前工作需要，又要適應未來技術的應 用和發展，不

29、斷提升應急平臺技術應用水平。6.2總體邏輯結構項目總體系統框架設計如下圖所示：應用層新增專疇計宏觀徑濟班能力層多*分析6力帕分祈絵力I 三砂計|文嬌收計=§聯網好其他粗關J33E麴8統TB務和幵放SQL, FTP. WS. MDX. API.數據層獲取層大數據平臺話黠冒敲黑一蠶GN 口醬幅毗、數據源(1) 數據源大數據統計平臺的數據包括聯網直報數據、住建部門數據、國土部門數據、金融機構數據、稅務部門數據、省發展改革委數 據、省文化廳數據、省交通運輸廳數據及互聯網數據，是支撐整 個業務應用系統的數據統計及數據挖掘分析。(2) 數據獲取層數據整理主要通過ETL及內容分析實現數據的治理問題

30、，確 保數據的質量，保證數據的正確性、完整性、一致性、完備性、 有效性、時效性和可獲取性等，主要通過空值處理、規范化數據 格式、拆分數據、驗證數據正確性、數據替換等手段實現數據的 整合。(3) 數據層負責存儲海量數據，提供并行的計算和非結構化數據的處理 能力，實現低成本的存儲和低時延、高并發的查詢能力。數據加 工、關聯、匯總后的業務數據，并提供分布式計算，支撐數據深 度分析和數據挖掘能力，向主數據倉庫輸出KPI和高度匯總數據。(4) 能力層通過對原始數據進行整合匯總，形成上層可用的數據挖掘工 具，平臺能力層主要向用戶提供實時數據處理能力、基礎分析能 力、數據挖掘能力、自助分析能力、數據共享能力

31、等，同時面向 使用人員提供FTP傳輸、API接口、SQLXMDX語句使用能力。(5) 應用層數據應用層存儲不同的綜合級別的數據，主要包括當前明細 數據、輕度綜合數據、高度綜合數據。根據不同的報表分割不同 的數據粒度，實現數據立方體的存儲。根據統計的基礎數據和各 行業各領域的數據構造WEB資源池。根據業務需要實現各種靈活 專題統計任務（如“三新統計”、文化產業統計等）和宏觀經濟 預測。并可以根據新的業務需求，實現新增專題統計。6.3網絡總體設計網絡和硬件為智慧統計大數據云平臺的正常運行、為政府部 門和社會工作提供基礎的支撐能力。考慮到平臺將涉及到有關敏 感數據，高速穩定、安全可靠的網絡系統，是應

32、用系統實現的必 須保障。智慧統計大數據云平臺網絡設計采用模塊化的架構設計方法, 清晰定義和區分不同的功能區域，將網絡平臺劃分為不同的功能 區域，部署不同的應用，使網絡架構具有可擴展性、靈活性、高 可用性、高安全性。網絡圖如下：數據利用防火壤網格化應用服務器儲帶機磯盤陣列血信服務器務網站公共98 呼的中心疝統眼務器協同辦公服務器行政中批服務器*數據交換前置機外網交換機6.4數據庫總體設計6. 4.1數據庫內容智慧統計大數據云平臺數據庫主要有兩大數據庫構成：人口 基礎信息庫、房屋基礎數據庫。6. 4.2數據庫結構XX市智慧統計大數據云平臺數據庫結構圖，如下圖:數據管理網格化社會管理平臺數據采集卜為

33、們專II器"爲鬆I圖：數據庫結構圖6. 4.3數據采集與整合 6. 4. 3.1數據采集與整合設計原則(1) 制定統一的數據采集與整合標準數據采集最終要借助與數據釆集與整合機制來實現，只有采 用統一的標準，遵循共享管理辦法，才有可能實現數據的真正 整合。(2) 提供與操作系統、網絡無關的統一的數據傳輸通道有了統一的數據傳輸通道，數據庫間只需要使用統一的數據 傳輸方式進行數據交互，而不必擔心使用什么樣的網絡協議和 網絡結構。（3）提供多種數據傳輸機制根據訪問方式的不同，系統提供同步傳輸、異步傳輸等數據 傳輸機制：提供跨防火墻的數據庫同步。<4）提供數據差異比對反饋功能對來自各部門

34、的信息進行有效整合，形成權威數據，各部門 數據與權威數據進行差異比對，并把對比結果反饋給相關部 Ho6. 4. 3. 2數據采集與整合的設計方案XX市智慧統計大數據云平臺數據采集與整合機制由XX市智 慧統計大數據云平臺采集平臺與整合平臺、各部門數據采集接 口軟件、數據比對與整合系統組成。6. 4. 3. 3數據采集與整合的體系結構數據采集與整合是一個由主中心前置服務器與各個部門的前 置服務器通過政務外網連接組成的系統。其主要功能如下：（1）實現各個采集點之間安全，可靠的數據采集。<2）及時、自動識別并抽取前置服務器中需要對外發送的數據，交給消息傳輸系統進行發送。(3) 及時從消息總線上提

35、取信息，進行解包和轉換，保持 到前置服務器中。(4) 提供采集流程定義功能，能夠方便、動態地改變數據 采集的方式和流程。6434數據采集與整合的功能數據采集功能通過數據采集接口軟件，將政府各部門的數據通過數據采集 與整合統一匯集到主中心，進行整合、處理后，進入數據庫：(1) 數據采集流程功能采集控制中心通過采集控制組件完成對流的定義和監控。需 要強調的是，流程定義和監控只有在控制中心執行，參與不具 備流程管理能力。(2) 支持基于消息和文件的數據傳輸數據釆集與整合支持基于消息和文件的數據傳輸，支持不同 的數據結構和不同的文件類型。<3)支持不同的消息釆集格式數據采集與整合能夠支持XML或

36、其他自定義的消息采集格 式。(4)監控流程數據采集與整合能夠監控當前數據傳輸任務的執行情況，并 能在需要時檢查數據采集的歷史記錄信息。可以通過使用工具 檢查流程的運行狀態，并可以控制流程的執行，如重啟或終 止。數據差異比對功能在各部門間數據采集和整合的基礎上，根據業務需要，對于 來自不同部門的基礎信息進行差異比對，根據比對結果，找到 部門間數據庫差異和問題，并及時反饋給各部門，更好地為各 部門的業務工作服務。(1)數據一致性比對功能。<2)數據的合法性比對功能。<3)數據量的一致行比對功能。數據整合功能源自各部門的數據經過差異比對后，形成統一的數據格式， 再按照不同的需求，對數據進

37、行抽取、轉換、過濾，整合到XX 市智慧統計大數據云平臺。6.5數據交換平臺總體設計將公安、民政、計生、衛生、人社、教育、房管、城管和消 防等部門業務數據與智慧統計大數據云平臺的數據進行交換， 保證智慧統計大數據云平臺上人口基礎數據庫、房屋基礎數據 庫信息的完整率、鮮活率和準確率，建立XX數據交換標準和規 范，為以后智慧統計大數據云平臺數據交換的建立提供規范指 導。數據交換平臺架構圖如下:交換中心數«交換平臺VLS4IHB-J6. 5. 1交換中心管理系統6. 5. 1.1數據交換標準定義根據對目標系統綜合性應用內容的需求分析，定義出一系列 的數據交換標準。這些標準將反映各個應用所需要

38、的數據的結 構。同時在標準中定義的還有數據“宿主”位置等信息，表示 該塊數據將向哪個業務系統請求獲得。所有的數據交換標準定義信息，均以XML結構記錄。可以通 過數據交換標準定義管理工具完成如下功能：新建標準、修改或刪除標準；維護標準中的屬性，包括數據結構、數據“宿主”位置、缺 省過濾條件等；實現對用戶身份識別與管理權限控制。6. 5. L 2數據交換流程定義數據交換是依據數據交換流程實現的，針對不同的數據，需 要設定和管理不同的數據流轉過程。該模塊的作用是提供圖形 化界面，供給數據交換平臺的管理人員實現數據流轉過程的定 義。數據交換流轉過程的描述也采用XML方式。具體功能如下：新建流程、修改或

39、刪除流程；維護流程的規則、數據加工過程和數據路由方式；實現對用戶身份識別與管理權限控制。6. 5.1. 3數據交換標準與內部數據結構的映射管理由于數據交換標準并不知道在具體業務系統內的相應數據的 位置、屬性、名稱等等信息，所以需要在業務系統內對數據交 換標準中的對應項有一個映射關系的定義。這種定義包括數據 項與數據項的對應或組合對應（公式化）、數據類型的匹配或 轉換關系、數據項位置描述記錄等等。以XML結構保存定義的 內容。具體功能包括：數據交換標準定義信息的導入；維護數據交換標準與內部數據結構間的映射定義表，包括 數據項與數據項 的對應或組合對應（公式化）、數據類型的匹 配或轉換關系、數據項

40、位置描述記錄等等；實現對管理員的身份識別與管理權限控制。6. 5.1.4數據交換流執行數據交換流的執行是通過應用集成中間件實現的。采用中間 件產品可以保證數據交換的高效、安全和可靠地進行。其工作 原理是：讀入數據交換流程，根據流程設定，啟動數據交換過 程。根據業務需要，同時可以并發若干個數據交換流程。當業 務變化時，只需修改數據交換流程定義，就可以實現基于新業 務的數據交換過程，因此系統具有很好的可擴展能力。具體功能如下：接收數據；驗證數據；分析流程定義；根據流程進行數據交互過程；數據交互的事務管理；日志管理和交換數據存儲；消息隊列管理；實現對管理員的身份識別與管理權限控制。6. 5.2接入管

41、理系統6. 5. 2.1接入點注冊在接入點向信息交換平臺注冊時，信息交換平臺會自動檢測 接入點提供的屬性信息是否正確，只有正確后，才可以注冊， 接入點才可以接入信息交換平臺。6. 5. 2.2接入點配置由于有很大一部分的業務系統早已開發完成，且采用的數據 庫不同，有 Sybase> Oracle> SQL Server> Access 等等，各個 業務系統根據實際需要，挑選可共享的數據，定制不同的共享 接入點，將共享接入點發布到數據交換平臺上；也可以根據業 務系統自身的不同的數據種類定制不同的共享接入點，將共享 接入點發布到數據交換平臺上。這樣就最大限度的提供了各自 業務系統

42、數據的共享，也保證了各業務系統數據的安全。共享接入點的管理員可以根據需要設置本接入點的類型（只 能收、只能發、接收都可）、本節點只接收那種信息類型，如 果管理員本身是接入點的創建者，還可以設置本接入點的管理 員帳號。6. 5. 2. 3接入點維護新增接入點根據各個業務系統的實際需要，系統管理員可以增加新的接 入點，和建立新接入點的管理員帳號。為了便于管理和資源的 充分利用，規定一個單位或部門只有一個共享（單位或部門內部 共享）接入點（因為多個業務系統可以通過一個接入點接入交換 信息平臺）。如果要新增接入點，由使用單位或部門提出書面申請，經系 統平臺管理員審核同意后，統一由系統平臺管理員新增接入

43、 點，同時由系統平臺管理員設置新增接入點的相關信息。修改接入點因為各個單位、部門的業務系統的數據種類是變化的，且用 戶的要求也是變化的，所以共享接入點的管理員要根據需求實 時來修改其共享接口，滿足其他用戶、單位、部門對數據的需 求。共享接入點的管理員先查詢到要修改的接口，然后對接口 的關鍵字及其他屬性進行修改，但接入點的唯一標識（比接入點 編號）不允許修改修改后的共享接口在數據交換平臺上能立即 反映出來，以便其他單位、部門使用。刪除接入點如果共享接入點的管理員認為其定制的共享接入點已沒有使 用意義或已被新的的共享接入點替代，由接入點的管理員提出 書面申請，經數據交換平臺管理員（接入點的創建者）

44、審核通過 后，統一由交換平臺管理員進行刪除。共享接入點的管理員只 能申請刪除自己管理的共享接入點，在共享接入點刪除后，數 據交換平臺記錄刪除日志，并刪除與它有關的在數據交換服務器 (JMS)的隊列.刪除接入點的信息要在數據交換平臺監控上立即 反映出來，以便其他單位、部門不再向它發送信息。查詢接入點根據需要，可以按類型、狀態查詢各個接入點的情況，可以 統計各個接入點的類型、狀態(是否有效、是否已刪除)。6.5.3交換前置子系統6. 5. 3.1交換前置子系統的作用政府職能部門配置交換前置機，成為與信息交換總線相連接 的橋梁，同時也是與部門內部業務系統及業務信息庫相隔離的 “堡壘”。在部門前置機上

45、安裝前置交換數據庫、應用適配器 和信息交換軟件，用于實現信息的發送和接收。6. 5. 3. 2交換前置子系統的部署部門交換前置機系統邏輯結構如下圖所示。信息交換軟件1. 操作系統部門交換前置機的操作系統采用Linuxo前置交換數據庫部門交換前置機安裝SQL Server/MySQL數據庫作為部門前 置交換信息庫。2. 應用適配器系統部門交換前置機安裝應用適配器系統。應用適配器系統負責 自動從部門前置交換信息庫提取數據發送到信息交換總線，同 時，從信息交換總線上獲取信息并存儲到部門交換信息庫。部 門交換前置機上的應用適配器系統還實現部門業務信息庫與部 門交換信息庫之間的信息交換橋接功能。3. 信

46、息交換軟件部門交換前置機安裝消息中間件產品作為信息交換軟件系 統，與中心交換服務器的信息交換軟件共同構成信息交換總 線。6. 5.4交換橋接子系統6. 5. 4. 1交換橋接系統的作用交換平臺的交換橋接子系統指由部門業務應用數據庫（或文 件等數據）到前置交換數據庫（或文件等數據）之間的信息交 換橋接接口，以完成兩個數據庫（或文件等數據）之間的在線 實時交換的系統。之所以采用橋接系統是為了保護業務系統的安全性和獨立 性，信息交換平臺通過交換前置機與業務系統相連，在前置機 上建立交換庫，用于存儲各節點向外發布的信息和從其他節點 交換過來的信息。橋接系統的實現可以利用集成中間件提供的編程接口，但業

47、務系統接口的編程是必不可少的，必須像適配器提供一個透明 的數據提供源。考慮到業務系統的復雜情形，有時并不一定是 提供數據接口，也可以是文件的各式，提供給前置交換系統， 再通過交換平臺的進行傳遞。橋接系統還包括把數據交換到目的系統的情形。比如把A系 統的數據通過交換平臺傳遞到B系統，那么B系統在接收這些 數據時也需要利用橋接系統編寫相應的適配器。6. 5. 4. 2交換橋接系統的分工界面交換系統從源到目的都涉及不同單位、不同網絡、不同架構 的異構業務系統，除了在組織協調大量的工作外，在分工界面 上也應清晰。因為數據交換平臺不是萬能的，在數據交換過程 中涉及不少的編程工作，必須有業務單位和業務系統

48、開發商的 配合。以下圖為例：交換平臺從某部門的業務系統獲取數據后，傳送到中心數據 庫，再通過中心數據庫分發到9個不同的業務系統，這里至少 涉及9個不同的系統：首先數據源提供系統必須把數據送入到前置機的數據，或者 放在本地由數據交換平臺去抓取。數據交換平臺無法從業務系 統中去獲取數據，因為它不知道業務系統的數據結構和邏輯， 比如數據交換平臺并不知道0A系統中一份公文的數據保存在哪 些表，流程現在是什么狀態，從安全的角度也不應該由數據交 換平臺直接抓取。正確的做法是業務系統根據要求把數據提取 出來放到某個位置（數據庫或者文件系統），交換系統適配器 去獲得這些數據。其次，接收的目的系統，在獲取到數據

49、后也要對數據進行解 析放入到自己的系統中，否則數據交換平臺不知道該把數據放 在什么位置，即使知道也不安全。所以，從分工界面來說，數據交換與業務系統有著密切的關 心，必須有業務系統的支持才能實現信息的交換。6. 5.5運行監控平臺6. 5. 5.1傳輸監控傳輸監控的主要任務是對交換平臺本身和流過交換平臺的數 據包進行觀察與控制。傳輸監控包括如下幾個方面：1. 對數據流量和狀態的查詢、統計與審計；2. 對信息交換平臺自身運行狀態的查詢和監控；3. 對信息交換平臺的遠程監控。數據流量和狀態的監控，首先是對于所有通過信息交換平臺 進行交換的數據總量的把握，其次是對每個通過信息交換平臺 的數據包狀態的微

50、觀把握。通過監控功能，可以了解在指定時 間內按照進入/轉出、目的地/來源地、數據量大小等項目進行 查詢和統計，從而實現對總量的把握；通過對數據狀態（例如 等待處理、正在進行、處理完畢、回執收到、處理中斷等）的 監控，可以追蹤某一個指定數據的狀態。對信息交換平臺自身運行狀態的查詢和監控，是為了確認信 息交換平臺自身的運行是否正常。查詢和監控的對象主要是構 成共享平臺的各類軟件運行實體（例如進程、隊列等）。以進 程為例，監控的主要操作包括查詢進程狀態、停止進程、重新 啟動進程等。對信息交換平臺的遠程監控，是指通過監控命令的交換，對 系統中的遠端信息交換平臺部件進行上述監控。由于信息交換平臺的運行記

51、錄不僅是進行監控的重要依據， 還是進行審計的重要基礎，因此根據監控的功能設計，必須實 現相應的日志機制。6552前置節點運行監控中心數據交換平臺通過網絡連接了許多不同的節點，通過監 控系統能對分布在不同物理位置的前置交換系統狀態進行必要 的監控，及時發現異常的監控節點。6. 5. 5.3數據庫運行監控數據交換平臺涉及中心數據庫，前置節點數據庫等多套數據 庫系統，通過監控系統能實時了解各節點數據運行的狀態，能 通過圖示的方式進行提醒。6. 5. 5. 4適配器監控監控平臺對橋接服務實行數據傳輸量監控，速率監控，歷史 數據統計等監控管理，對有關交換的各種組件運行狀態及日志 情況，可以非常方便的進行

52、監控及查詢。6. 5.4系統管理6. 5. 4. 1接入編碼管理接入點編號是由交換信息平臺統一分配給各個使用單位或部 門。各個使用單位或部門要接入信息交換平臺，必須先申請接 入點編號。獲得接入點編號后，必須要先進行接入點注冊，然 后才可以通過接入點接入到交換信息平臺。接入點編號規則參考如下：A. 編號長度為九位（數據的長度預留20位：如果以后要加市 的，在原來基礎上前面加多倆位，依此類推：加省、）；B. 位數的意義：第一、二位代表區；第三、四位代表單位類 型；最后五位流水號。比如：00 00 00000區單位類型流水號6. 5. 4. 2數據備份及恢復數據交換平臺涉及大量數據的存儲，需要有良好

53、的數據存儲 機制確保數據的安全，避免數據丟失。6. 5. 4. 3用戶管理數據交換平臺作為一套專門的信息交換系統，具有完善的用 戶管理體系，能創建不同權限、不同角色的用戶帳號，對系統 內的信息進行查看和訪問。6. 5. 4. 4日志管理管理員能查看系統不同類型的日志，對系統的運行狀態進行 監控，及時發現運行過程中出現的問題。6. 6標準與規范體系總體設計建立標準與規范體系是智慧統計大數據云平臺建設的重要基 礎工作，標準與規范體系可以確保有效地開發和利用信息資源和 信息技術，保障系統信息化建設的有序高效，確保信息系統間的 互聯、互通、互操作和信息的安全可靠。標準與規范體系建設過程中，既要與現行的

54、國家標準、行業 標準接軌，又要結合智慧統計大數據云平臺的應用特點，圍繞智 慧統計大數據云平臺軟硬件建設、數據采集與整合、數據管理與 維護、數據共享與服務的要求，建立相應的標準與規范，主要內 容包括：技術標準與規范建設、共享管理辦法制定、運行管理規 范制定。6.6.1技術標準與規范編制系統技術標準體系，明確智慧統計大數據云平臺基礎信 息建設過程中需要遵守的標準規范；制定智慧統計大數據云平臺 建設過程急需統一的技術規范，包括數據元標準、數據采集接口 標準等。6. 6.2共享管理辦法制定智慧統計大數據云平臺共享管理辦法及共享規則，明確 各部門的職責分工和權限范圍，確定各部門需要共享的信息內容、 信息

55、共享的方式、信息共享的途徑、數據采集的規范、安全注意 事項與要求等。6. 6.3運行管理規范制定智慧統計大數據云平臺安全運行管理規范，建立一系列 得運行維護管理流程，包括設備管理、日常操作、安全保密，問 題處理等，同時明確技術人員組成及工作職責。第七章應用系統功能建設7. 1業務應用功能架構計局大數據統計平臺應用系統功能主要由系統管理、ETL平臺、聯網直報、自助取數、多維分析五大功能組成。總體架構圖如下所示:財政金融證券保臉分析 固定資產投資分析教胃分析人民生活和社會保郵分析文化創意服務分析対外貿易分析交通分析文化產業分析生產與自然災書分析 互聯網數提分析工業分析農業分析旅游分析科學技術分析

56、體離分析房地產開發分析人口分析聯網 直報用戶管理 fttBS 交 元敎潺管理 監養業務處理權限設貴制度制定數掘修改數據I：總名錄障管謹釆篥裏設計報衰分" 數提發布JZ總衰設計教損審核 調査任務祁署 系統維護ETL平數據抽取數據轉換數據加載臺流程調度異常處理可視化試圖系統 管理權限管理修改密碼系統日志管理用戶管理報表定制指標比對指標管理自肋 取數7.1. 1統計大數據采集ETL負責將分散的、異構數據源中的數據如關系數據、平面 數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后 加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘 的基礎。ETL是數據倉庫中的非常重要的一環，它是承前啟后的必 要的一步。數據抽取就是從數據源抽取出所需的數據的過程。數據抽取 后，再經過數據清洗、轉換，最終按照預先定義好的數據倉庫 模型，將數據加載到數據倉庫中去。數據轉換主要用于解決數 據不一致性問題