曙光XData大數據產品介紹解決方案中心技術路線選擇大象擴展性好成本低單機性能差關系型數據庫支持差鐵人一體化設備擴展性差價格昂貴

曙光自主代碼

開源實現

在開源基礎上改進

商業產品XData大數據一體機XData-Hadoop管理組件分布式存儲系統(HDFS-2.0/P200)非結構化數據庫(Hbase-0.94)數據倉庫(Hive-0.10)數據挖掘工具(Mahout-0.7)數據傳導器(Sqoop-1.4)海量日志收集器(Flume-1.3)協同工作服務(Zookeeper-3.4)類SQL編譯器(Pig-0.10)任務調度器(Mesos-0.13)開源關系數據庫(PostgreSQL-0.92)商業關系數據庫(Oracle-8i/9i/10g/11g)統一編程接口(XJDBC/JDBC/ODBC)類SQL編譯器(SQL++)圖形化任務流(UDF-1.0/Oozie-3.3)全文檢索器(Katta/Lucene)并行處理框架(Map/Reduce)并行執行引擎

XData大數據處理基礎平臺-v1.0多數據轉換器(SETL)大數據專用數據服務器XData-Hadoop大數據軟件高密度云存儲節點(5U80盤)大數據專用數據服務器1.基于XEON處理器的存儲服務器產品；2.機箱采用上開蓋，豎插硬盤方式；3.整機深度800mm，可用于普通機柜；4.每U15塊3.5”硬盤，業內密度最高的可熱插拔服務器存儲XData大數據處理基礎平臺應用程序XDataAPI接口（XJDBC）連接管理數據驅動日志模塊預處理加載計數器連接池管理加載服務連接管理數據驅動日志模塊類SQL分析分發執行連接池管理查詢服務結果匯總連接管理數據驅動日志模塊事務緩存管理連接池管理配置服務事務執行數據同步負載均衡服務管理日志管理認證管理系統監控安裝部署系統管理HDFS數據節點/數據庫節點HDFS數據節點/數據庫節點HDFS數據節點/數據庫節點HDFS數據節點/數據庫節點元數據庫存儲劃分參數設置索引管理模式定義分區管理對象管理元數據管理DIM管理工具

管理API元數據庫SQL++工具自定義請求核心技術并行任務流執行控制計算定義和請求描述數據轉換和遷移數據關聯加載技術數據劃分和存儲組織

任務流執行同步控制技術

任務間數據劃分和傳輸控制

大表關聯和嵌套查詢數據劃分到文件的映射

數據模式定義和解釋計算語義的預定義技術

SQL/MR作業的級聯和關聯

混合任務流描述和解析結構化/非結構化數據轉換技術

并行處理內部隱式數據轉換

據導入導出和數據遷移技術

DB/Hadoop數據模式映射

多源關聯數據導入HDFS*132451.統一編程接口ETLSQL++2.SQLonHadoop3.數據倉庫功能增強元數據統一管理并行執行控制4.分布式存儲系統5.任務流控制圖形化任務流6.Hadoop圖形管理系統曙光Xdata-hadoopHDFS/HBase/Hive增強Hive增強替代HDFS替代Oozie替代AmbariHive/Pig增強直接面向用戶，讓用戶方便地使用XData，提供標準接口，保持用戶原有習慣1.統一對外編程接口Oracle/PGHDFSHBaseHive數據定義服務加載服務查詢服務ICE中間件數據定義專用接口加載專用接口查詢專用接口統一對外編程接口SQL++其他支撐工具XData的命令行工具，XData平臺的入口之一，類似于oracle的sqlplus為用戶提供快捷方便的使用途徑，不需要寫代碼，直接輸入sql語句就可以執行方便地定制顯示格式批量執行腳本中的命令結果可保存到本地文件支撐工具-SQL++支撐工具-ETLOracle/PGHDFSHBaseHive抽取轉換工具加載服務加載工具本地文件數據庫、HDFS、Hbase、Hive的相互轉換本地文件的快速加載2.SQLonhadoop關鍵功能：預定義和自定義FUNCTION分區條件過濾限制數據量結構化與非結構化關聯多任務級聯并行執行控制3.數據倉庫功能增強元數據模塊Xdata項目中的元數據服務并行查詢執行框架加載服務元數據查詢服務控制配置服務數據定義服務統一的客戶端訪問接口（類JDBC接口）統一的數據訪問驅動數據庫Hadoop其他類型數據服務管理負載均衡備份恢復容錯管理系統圖形化管理工具日志管理SQL*結果創建對象記錄數據HIVE體系結構中的元數據庫元數據庫:存儲數據倉庫里所有的各種表與分區的結構化信息通常存儲在關系數據庫(MySQL,Derby).HDFS體系結構中的元數據庫元數據:維護HDFS文件系統中文件和目錄的信息。

存儲在文件系統中，由NameNode來維護。

4.分布式存儲系統圖形化任務流處理技術（在研）5.任務流控制6.XData-Hadoop管理組件PAAS平臺一體化集成平臺統一調度平臺應用開發平臺運維設備監控服務監控運行監控統計報表告警管理調優診斷自維護軟件部署服務管理配置管理節點管理運行數據查詢數據轉換任務流作業編寫作業提交作業調度數據導入作業監控文件瀏覽文件上傳文件下載文件編輯運用移動終端Portal數據可視化數據分析

一鍵式快速安裝多維度系統監控全方位故障診斷集中式便捷管理XDataaBSM產品套裝為我們帶來了什么？XData運維功能特色XData運維功能覆蓋軟件部署服務管理節點管理

向導式安裝一鍵式安裝一鍵式卸載服務啟停高可用管理角色配置節點擴容刪除節點節點服務監控節點設備監控服務運行監控第三方監控集成告警報表配置管理狀態告警閾值告警郵件告警統計報表趨勢報表對比報表參數配置配置同步配置備份調優診斷日志分析審計日志推薦參數XData:便捷的部署提供一鍵安裝和向導安裝兩種方式，助您輕松完成復雜的安裝過程：向導式安裝：根據向導按步驟的定義相關配置，即可完成復雜系統的安裝過程。一鍵式安裝：只需上傳xls文件，即可一鍵完成安裝，讓您的安裝過程輕松自如XData:完善的管理提供完善的管理功能，可以為大數據軟件的各種組件提供圖形化的：服務啟停角色配置增刪節點高可用設置復雜的操作、復雜的集群，通過輕點鼠標，即可快速完成XData:全面的監控XData提供全面的監控功能，支持各個層次軟硬件的監控：設備監控：提供各物理節點的狀態、部件的基本信息監控。組件監控：提供大數據各組件HDFS、MapReduce、HBase、Hive等服務的監控集群監控：提供集群整體性能、狀態監控監控全方位、多層次，讓你對系統的運行一覽無余。多種告警方式告警引擎統一告警平臺XData:健全的告警發送策略定義告警關聯管理業務人員管理消息模板管理聲光顯示條件郵件短信控制可用性反應系統各層級設備、應用、軟件的當前可用性、歷史可用性、資源使用情況等評估預測單指標歷史趨勢和多指標融合對比，反應系統各個層面狀態，預測系統問題挖掘基于應用特性分析，優化配置應用和資源XData:多樣的報表XData:易用的調參為用戶提供易用的調參工具，針對不同的應用快速調整參數，以使得系統處于最佳運行狀態。XData:快速的診斷為用戶提供快速的日志定位查詢功能，幫助用戶準確定位故障的來源，迅速排除各組件的故障。HDFS文件瀏覽、上傳、下載、在線編輯Mapreduce作業/任務編寫、提交、調度、監控Hbase/Hive表的增刪管理、數據查詢圖形化任務流工具數據導入、數據導出等批量圖形化工具數據抽取轉換等ETL工具XData運行功能XData:文件管理利器XData提供全面的基于WEB的文件管理功能，可以輕松實現基于WEB對文件進行上傳、下載、瀏覽、查詢、編輯等功能。XData:作業管理助手XData提供基于WEB的MapReduce作業提交、調度、作業級任務級監控功能。祝您輕松完成Hadoop作業管理。XData:數據操作幫手XData提供基于WEB的Hbase/Hive表、數據的創建、刪除、修改，查詢功能，所有操作借助圖形界面輕松完成。XData:圖形化，讓您生活更輕松XData提供了Hadoop各組件的設計、瀏覽、管理、監控等WEB圖形化工具，讓開發人員使用運行Hadoop輕松愜意。XData:PAAS平臺功能

一體化的運維、運行、運用功能插件式的一體化軟件集成平臺應用開發平臺統一調度平臺一體化集成平臺應用模板應用PortalIDE插件MPI和Hadoop統一調度Xdata-Hadoop大數據軟件RoadmapQ3’13Q4’13Q1’14Q2’14Q3’14Q4’14789101112123456789101112Hdfs-2.0.01.自動分級存儲2.元數據集群（節點數可達128臺，可存儲400億以上文件）3.元數據HA（兩兩互備，30秒內可完成切換，業務不中斷）4.N+M數據布局（利用率可達80%-94%）5.存儲瀏覽功能Hbase-0.94.21.支持對處理結構化數據2.UDF引擎支持結構化數據處理3.SQL92大部分支持1

Co-processor改進，提高數據持續寫入性能2多線程flush優化，異步flush優化，3應用級分區+regionserver預分配策略1.支持數據表跨數據中心2.表內容直接瀏覽功能Hive-0.10.01.自定義業務流提交和執行2.多組件聯合的數據處理綜合業務流3.表內容直接瀏覽功能Flume-1.3.0Mahout-0.7Sqoop-1.4.2Zookeeper-3.4.5Pig-0.10.0定期與社區保持同步Hadoop管理系統-1.0MapReduce1.JobtrackerHA實現1.數據傳輸和遷移功能增強2.模式轉換功能1.基于WEB界面的上傳下載功能2.MR作業提交、任務監控3.Hbase/Hive表瀏覽及查詢、增刪4.應用portalHadoop管理系統-2.01.圖形化任務流2.數據訪問監控3.數據訪問工具集4.數據可視化XData一體機RoadMap2013Q42014Q12014Q22014Q32014Q42015Q12015

Q2101112123456789101112123456V4.2:通用結構化/非結構化數據存儲和處理中間件ZHX應用定制，形成專門日志分析應用版：研發日志抓取、格式化、加載、統計、展示、用戶行為分析等工具。面向日志分析和用戶行為分析類應用XHS項目定制，形成新媒體行業專用版：關鍵詞、標簽、分類聚類等新聞話題內容處理工具集，面向內容檢索和輿情分析類應用GJY廣電項目定制，形成廣電行業專用版：含用戶日志和行為分析，圖像特征化提取工具，圖像和視頻存儲和檢索工具包，面向廣電行業多種應用類型