大數據平臺交流1目錄一二三五項目概述總體框架數據匯聚大數據治理四大數據存儲六大數據分析七大數據共享八項目建議21、總體思路以大數據支撐平臺建設為核心，為后續數據應用提供有力支撐

建立數據管控體系，匯聚集團所有數據，通過數據治理手段保障數據質量

提供一系列數據應用支撐組件，為項目人員、業務分析人員、數據分析員提供可視化的數據應用機制。

以大數據平臺為中心，建立系統之間的共享協同機制

選取一到兩類示范業務作為試點，展示大數據平臺的魅力32、建設目標1、數據管理目標：建設統一的數據管控體系，對整個集團各個項目的數據進行集中化管理，保障數據質量。2、數據應用目標

DaaS：DataasaService，使數據管理集中化管理，讓更多的用戶無需去注意底層數據的問題，而將注意力完全放在如何使用這些數據。

BIaaS：BusinessIntelligenceasaservice，提供一系列數據分析、數據可視化組件，作為一種敏捷的BI服務為項目提供支撐。4決策層

儀表盤：通過圖表的方式對關鍵指標數據進行展示，為領導決策提供直觀的數據支持。

報表：按照預定義的格式，在線查詢報表即席查詢：通過即席查詢工具或者自定義SQL方式，完成業務信息的檢索

多維分析：從多個維度靈活組合進行分析，提供上下鉆取等

信息檢索：對文檔數據進行全文搜索數據挖掘：通過數據挖掘工具分析結構化、非結構化數據，通過數據模型挖掘隱藏的數據價值。數據共享：訪問數據平臺匯聚的不同項目共享的數據。

數據分析：提供工具，實現數據的分析與可視化3、不同用戶對數據平臺的關注點業務人員數據分析員業務系統數據管理員數據管控：提供對數據標準、元數據、數據質量的管控體系

數據安全：對數據平臺的數據進行安全訪問控制和監控5目錄二一三五總體框架項目概述數據匯聚大數據治理四大數據存儲六大數據分析七大數據共享八項目建議61、總體框架數據應用數據開放門戶平臺管理門戶數據增值應用業務應用數據治理數據標準元數據數據質量監控數據安全自動化運維資源監控事件管理問題處理運維服務數據分析數據可視化即席分析OLAP分析數據挖掘全文檢索大數據基礎平臺iPaaS數據采集數據清洗數據服務數據分發數據庫、文件、接口、協議適配業務系統APP應用數據資源目錄7匯聚存儲治理分析共享數據適配數據采集數據清洗數據校驗HDFSHBase索引庫數據標準元數據數據資源目錄數據質量數據安全即席分析OLAP分析數據挖掘全文檢索數據可視化數據服務數據分發數據訂閱2、大數據平臺關鍵技術8目錄三二一五數據匯聚總體框架項目概述大數據治理四大數據存儲六大數據分析七大數據共享八項目建議9數據匯聚過程10目錄四二三五大數據存儲總體框架數據集成大數據治理一項目概述六大數據分析七大數據共享八項目建議11數據存儲架構歷史歸檔數據區臨時數據區源數據區主題數據區索引數據區應用數據區沙盤演練區12目錄五二三一大數據治理總體框架數據集成項目概述四大數據存儲六大數據分析七大數據共享八項目建議131、數據治理過程中遇到的問題

在業務需求方面：缺乏企業級通用的業務規則。各業務部門制定自己的業務標準，部門之間的標準常常有矛盾或相互混淆。

在數據質量方面：以滿足功能應用為主，未形成企業級的整體數據架構設計，數據共享上比較困難，數據冗余、數據完整性、數據合規性、數據一致性等問題突出；在組織管控方面：針對數據質量管控提升，業務部門與信息部門之間未達成共識，職責劃分不清，標準規范不統一，未形成企業級統一的管理體系、管理規范和執行流程。

在數據發現方面：各部門建設了大量的業務系統，信息資源數量多、門類廣、分布分散、信息不對稱的特性，沒有統一的機制進行資源的發現和定位。142、解決這些問題需要哪些手段？我們需要一個尺度作為判斷的依據來衡量---建立數據標準體系我們需要一個監測、報告、協助分析數據問題的系統---數據質量管理我們需要對數據問題的影響進行分析，對數據進行統一的版本管理和規范管理控制---元數據管理

我們需要有一套完整的定義、度量、分析、評估、執行的完整制度規范和流程---管理規范和流程

我們需要業務人員、開發人員、數據管理員、數據治理人員等相關人員的通力合作，各司其職對數據負責---組織和角色職責

我們需要一種方式，對眾多的分布分散的信息資源進行發現、定位和使用資源

---信息資源目錄15組織架構數據生產者數據使用者數據管理者數據擁有者制度流程數據治理基本制度數據治理管理辦法數據治理實施細則數據治理管控流程技術平臺數據標準管理元數據管理數據質量管理資源目錄體系系統實現流程制定支持3、數據治理框架163、總體框架---人員組織數據治理組織體系數據生產者數據使用者數據管理者數據擁有者數據標準核對數據質量初審數據質量績效執行理解數據標準、管理制度提出數據質量問題數據發現、定位、使用數據治理績效評估日常數據管理維護數據安全防護執行數據標準化流程修復數據質量問題按照標準建設系統173、總體框架---制度流程數據治理組織架構與崗位職責數據治理制度規范數據治理考核辦法數據標準管理元數據管理數據質量管理數據資源目錄數據安全管理數據標準需求管理流程數據標準制定流程數據標準執行流程數據標準維護流程元數據需求管理流程元數據發布流程元數據維護管理流程元數據變更流程數據質量需求管理流程數據質量核檢定義流程數據質量問題排查流程數據質量問題處理流程數據資源目錄發布流程數據服務申請流程數據訪問流程數據安全控制流程183、總體框架---技術平臺194、數據治理：數據標準管理什么是數據標準化：對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、復制規則等的定義基準，并提供運維這套數據標準成功的科學流程。

有哪些數據標準類型：術語標準、代碼標準（代碼集）、層次代碼標準、規則標準、引用分類標準數據標準化的目標是什么：通過統一信息標準制定、發布使用、制度約束、系統控制等手段，實現信息的完整性、有效性、一致性、規范性、開放性和共享性管理，提高信息化水平205、元數據管理（1）---數據管理面臨的困惑？

龐大的數據資源該如何管理？形態萬千、散落在企業各處的數據資源如何管理？數據資源之間的關系是怎么樣的？如何讓數據資源正確、有效的被使用并產生價值？215、元數據管理（2）---可以帶來什么價值？

對數據資源再組織并形成全局性的視圖幫助用戶更好的理解各個環節的數據和系統的建設現狀是保障企業數據質量的基礎支持企業信息化的知識傳承

提高數據信息化管理水平226、數據質量管理237、數據資源目錄HOWWHENWHATWHOWHERE什么時候可以使用？什么時候可以提供？什么時間用的？有什么資源？資源的內容是什么？信息從哪里來？需要的信息在哪里？信息到哪里去？在哪里使用？誰提供的？誰加工的？誰使用的？如何使用？如何管理？如何發布？如何查找？24目錄六二三五大數據分析總體框架數據集成大數據治理四大數據存儲一項目概述七大數據共享八項目建議25大數據分析是大數據平臺的核心價值，只有通過分析才能獲得更多智能的、深入的、有價值的信息。

由于目前廣州地鐵業務部門對大數據分析的需求不是非常明確，但大數據平臺作為公司的核心資源，需要提供一套完善的數據分析工具，為業務部門、項目提供數據分析和數據可視化支撐。

將分析和可視化平臺作為一種敏捷的BI服務，提供給各個業務部門和項目使用，方便數據的探索，充分利用數據的價值。1、大數據分析概述262、大數據分析總體思路大數據應用，是利用大數據分析的結果，為用戶提供輔助決策，發掘潛在價值的過程。大數據應用建設總體建設思路：1、建立大數據分析和可視化支撐平臺，為項目提供數據統計、分析、挖掘服務。2、遷移目前一些常用的數據統計和分析功能到大數據平臺，并提供統一的可視化系統。3、通過與業務部門的需求溝通和數據分析建模，針對一些業務做深度的數據挖掘和分析。273、大數據分析服務即席查詢服務：提供SQL即席分析機制，簡便快捷的檢索、分析小規模的數據集，并提供靈活方便的配置方式，允許用戶自定義查詢，并生成查詢結果和統計圖表。

多維自助分析服務：結合數據立方體（Cube）技術實現多維度快速OLAP分析能力。通過建立維度分析機制，有效的減少Hadoop在億級以上數據規模情況下的查詢延遲。

全文信息檢索服務：借助索引、分詞等技術，對大數據平臺的大量結構化、非結構化數據提供統一的數據檢索方式。

可視化數據挖掘服務：建立通用的算法庫，和可視化數據建模方式，使得分析人員探索數據模式及特征，進而發現行為規律，專業人員就可以預測到未來可能發生的變化趨勢。284、數據可視化大數據可視化是以圖形的方式直觀的展示數據信息，能夠幫助人們更快的理解數據，輔助人們更為直觀和高效地洞悉大數據背后的信息、知識與智慧。大數據分析支撐平臺可以通過一個直觀的拖放界面就可創造交互式的圖表，輕松打造“私人訂制”級的數據可視化,有力支持管理者進行商業決策，提高核心競爭力。

常用可視化方法：圖形可視化、多維數據可視化、時空數據可視化、網絡關系可視化、文本信息可視化29目錄七二三五大數據共享總體框架數據集成大數據治理四大數據存儲六大數據分析一項目概述八項目建議30大數據共享概述

大數據平臺匯聚了大量的企業數據，以大數據平臺為中心，構建DaaS服務，實現企業不同系統之間的數據共享和業務協同。數據共享方式：服務共享：通過接口服務的方式訪問共享數據，支持字段級權限控制。數據分發：預定義規則將大數據平臺處理的數據分發到不同的系統。數據訂閱：業務系統訂閱自己關心的數據主題，當有數據變更時會通知到相應的訂閱方31目錄八二三五項目建議總體框架數據集成大數據治理四大數據存儲六大數據分析七大數據共享一項目概述321、總體建議建設大數據平臺