大數(shù)據(jù)技術應用實施方案建議信息技術管理部2013年6月1大數(shù)據(jù)技術應用實施方案建議信息技術管理部1目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究我行大數(shù)據(jù)技術的應用策略2目錄我行新一代數(shù)據(jù)集成平臺能力要求2新一代管理分析類應用需求3運營與信息安全運行日志存儲與分析安全日志存儲與分析營銷支持加強客戶洞察分析，實現(xiàn)靈活深入的客戶細分；科學的客戶行為及渠道經(jīng)營分析報告與決策全面的計劃預算管理價值導向的管理會計；流程化的財務會計體系集成高效的財務運作及時、準確的財務報告風險管理滿足新協(xié)議合規(guī)和內部管理需要的全面風險管理體系市場風險、信用風險、操作風險等全面的風險計量；風險建模監(jiān)管合規(guī)支持全面整合的反洗錢和欺詐風險管理；監(jiān)管合規(guī)長時間保存數(shù)據(jù)需求；審計供數(shù)；非結構化數(shù)據(jù)保存數(shù)據(jù)管控支持數(shù)據(jù)完整、全面（廣度、深度）；數(shù)據(jù)可信；數(shù)據(jù)易用；數(shù)據(jù)生命周期管理應用需求新一代管理分析類應用對于大數(shù)據(jù)處理分析技術提出了高要求新一代管理分析類應用需求3運營與信息安全營銷支持報告與決策風新一代數(shù)據(jù)集成平臺數(shù)據(jù)特點與挑戰(zhàn)4Volume數(shù)量大數(shù)據(jù)內容豐富（賬戶信息、賬戶明細、流水信息等）數(shù)據(jù)存儲周期長（監(jiān)管要求保存20年）PB級的海量數(shù)據(jù)Variety種類多數(shù)據(jù)類型多樣，包括結構化、半結構化、非結構化數(shù)據(jù)，如交易數(shù)據(jù)、日志數(shù)據(jù)、影像視頻數(shù)據(jù)等等Velocity速度快近實時數(shù)據(jù)處理（即席數(shù)據(jù)分析）實時訪問(如歷史數(shù)據(jù)查詢)流式數(shù)據(jù)計算（如反欺詐）大數(shù)據(jù)時代，技術面臨著Volume、Variety、Velocity

3V的挑戰(zhàn)新一代數(shù)據(jù)集成平臺數(shù)據(jù)特點與挑戰(zhàn)4Volume數(shù)據(jù)內容豐富（目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究技術特性研究技術應用研究我行大數(shù)據(jù)技術的應用策略5目錄我行新一代數(shù)據(jù)集成平臺能力要求5大數(shù)據(jù)技術一覽圖6大數(shù)據(jù)技術主要包含應用領域（如商務智能）、基礎設施領域（結構化數(shù)據(jù)庫技術、分析型數(shù)據(jù)技術等）和基礎技術領域的各種相關技術。大數(shù)據(jù)技術一覽圖6大數(shù)據(jù)技術主要包含應用領域（如商務智能）、重點調研的相關大數(shù)據(jù)存儲技術產(chǎn)品調研TDAsterData基于商用硬件的分布式數(shù)據(jù)庫技術HADOOP技術對于大數(shù)據(jù)技術、產(chǎn)品的調研分兩類進行，即關系型數(shù)據(jù)庫與非關系型技術，前者以基于X86的MPP技術為代表，后者以HADOOP技術為代表重點調研的相關大數(shù)據(jù)存儲技術產(chǎn)品調研TDAsterDat大數(shù)據(jù)技術特性研究結論8分析維度X86MPPHADOOP數(shù)據(jù)特性僅支持結構化數(shù)據(jù)支持非結構化、半結構化、結構化數(shù)據(jù)擴展性可擴展至數(shù)百節(jié)點可擴展至數(shù)千個節(jié)點數(shù)據(jù)可靠性每份數(shù)據(jù)只有一個備份每份數(shù)據(jù)可有多個備份產(chǎn)品成熟度介于傳統(tǒng)關系型數(shù)據(jù)庫與HADOOP之間新技術，產(chǎn)品與技術均不成熟易開發(fā)性相對容易與傳統(tǒng)數(shù)據(jù)庫差異較大，開發(fā)復雜運維管理缺少統(tǒng)一的運維管理工具復雜，缺少統(tǒng)一的運維管理工具人員技能要求一般，僅需熟悉傳統(tǒng)關系型數(shù)據(jù)庫高，需要對產(chǎn)品、技術及程序設計有深入理解基于X86的MPP技術與傳統(tǒng)分析型數(shù)據(jù)庫的差異不大，但是提供了良好的擴展性，適合替代現(xiàn)有技術進行關系型數(shù)據(jù)的分析HADOOP技術支持的數(shù)據(jù)類型多，擴展性強，適合海量非結構化的數(shù)據(jù)分析，但技術不成熟，需逐步試點大數(shù)據(jù)技術特性研究結論8分析維度X86MPPHADOOP數(shù)目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究技術特性研究技術應用研究我行大數(shù)據(jù)技術的應用策略9目錄我行新一代數(shù)據(jù)集成平臺能力要求9美國銀行大數(shù)據(jù)技術應用情況10技術類型產(chǎn)品系統(tǒng)/機柜數(shù)集群容量(PB)數(shù)據(jù)量(PB)應用領域使用案例專有一體機Teradata2453.1數(shù)據(jù)倉庫企業(yè)/集中式數(shù)據(jù)倉庫Netezza80+2.81.1數(shù)據(jù)集市OLAPExadata10+10.08數(shù)據(jù)集市（OLAP和OLTP混合）全球人力資源部、CRC（客戶報告中心：22TB）、AMT基于商用硬件的分布式數(shù)據(jù)庫Vertica20.570.34數(shù)據(jù)集市OLAPHadoop技術ClouderaHadoop若干>1.6>1.6ETL集團DW、電子商務、信用風險數(shù)據(jù)暫存與歸檔銀行卡系統(tǒng)過期數(shù)據(jù)歸檔；

集團數(shù)據(jù)倉庫數(shù)據(jù)歸檔信息安全數(shù)據(jù)庫、防火墻、應用程序等日志存儲與分析風險分析定量風險技術(最大的Hadoop應用集群，173臺機器，1.6PB未壓縮數(shù)據(jù))、

欺詐檢測沙箱分析

美國銀行在數(shù)據(jù)集市領域大量使用X86MPP技術，HADOOP主要用于ETL、數(shù)據(jù)歸檔、日志分析及風險分析等應用美國銀行大數(shù)據(jù)技術應用情況10技術類型產(chǎn)品系統(tǒng)/機柜數(shù)集群容美國銀行未來大數(shù)據(jù)技術應用11產(chǎn)品美國銀行的最佳定位戰(zhàn)略性產(chǎn)品IBMNetezza純分析性的工作量的首選解決方案。高性能和高擴展性。費用較低，比Exadata或Teradata更容易

進行管理。并發(fā)性方面的局限，使其適用于數(shù)據(jù)市場，或可能適合小型部門的數(shù)據(jù)倉庫。是OracleExadata適用于I/O要求極為嚴苛并需要20TB以上的交易/分析混合工作量。能夠處理同一系統(tǒng)中的多種工

作量。也可視為適用于20TB以上的分析數(shù)據(jù)庫（目前運行的是標準Oracle數(shù)據(jù)庫），因為它比

Netezza更容易移植是Vertica(HP)作為一種新興的主要候選方案，可替代Netezza和Exadata，為大型數(shù)據(jù)市場或部門數(shù)據(jù)倉庫（20TB

以上）提供基于商品的列式數(shù)據(jù)庫。通過創(chuàng)新的寫優(yōu)存儲和讀優(yōu)存儲以及經(jīng)驗證的PB級別，擴展

架構。在美國銀行進行了兩項重大且成功的實施。是SybaseIQ(SAP)列存儲的首個商業(yè)實施。穩(wěn)定、成熟的產(chǎn)品。許可交易使部署不受任何限制。通過標準的x86服務

器和SAN運行。以前不屬于擴展解決方案，且在這方面仍未經(jīng)過驗證。計劃作為5-20TB數(shù)據(jù)市場

的首選商品方案。是Teradata行業(yè)標準，適用于大型、要求高和復雜的企業(yè)數(shù)據(jù)倉庫，此類數(shù)據(jù)倉庫需要復雜的工作量管理和其

他高級功能。高度專有化、昂貴且不易獲得支持。美國銀行的使用應僅限于W數(shù)據(jù)倉庫，以及可能

需要與W進行極高水平集成的某些數(shù)據(jù)市場。是SAPHANA最佳用途是為運行SAP軟件的應用程序實現(xiàn)加速。對于一般的非SAP工作量，不必采用此解決方案。

亦沒有證據(jù)證明，HANA在SAP前端之外的市場廣受歡迎。否ParAccel產(chǎn)品的發(fā)展速度非?？?。供應商聲稱自己在POC方面無人可及。創(chuàng)新的架構和光纖通信。這是此表

中唯一一個仍歸小型獨立供應商所有的解決方案。需要考慮供應商的規(guī)模、穩(wěn)定性和長期生存能力。

盡管技術令人印象深刻，但目前沒有計劃將ParAccel作為戰(zhàn)略性產(chǎn)品。否結構化數(shù)據(jù)分析領域，Netezza、Exadata、Vertica、Teradata及SybaseIQ是美國銀行未來的戰(zhàn)略產(chǎn)品美國銀行未來大數(shù)據(jù)技術應用11產(chǎn)品美國銀行的最佳定位戰(zhàn)略性產(chǎn)國內銀行同業(yè)中國銀行采用HADOOP實現(xiàn)系統(tǒng)日志的分析中國農(nóng)業(yè)銀行進行歷史數(shù)據(jù)的歸檔中國銀聯(lián)歷史數(shù)據(jù)歸檔12目前中行、農(nóng)行、銀聯(lián)等都已經(jīng)開始了基于HADOOP技術的應用探索及規(guī)劃國內銀行同業(yè)中國銀行12目前中行、農(nóng)行、銀聯(lián)等都已經(jīng)開始了基淘寶大數(shù)據(jù)技術應用情況13應用領域批處理：ETL數(shù)據(jù)分析，OLAP大數(shù)據(jù)量分析—主要使用Hive點擊流日志分析；搜索排行榜和其他搜索相關的業(yè)務機器學習數(shù)據(jù)生命周期管理：歸檔存儲：歷史訂單明細查詢應用規(guī)模3000多個節(jié)點，36PB數(shù)據(jù)，20多個事業(yè)群，150多用戶組，3000多用戶。Hadoop應用發(fā)展歷程淘寶數(shù)據(jù)服務平臺架構淘寶采用HADOOP技術構建了完整的數(shù)據(jù)倉庫及處理分析平臺淘寶大數(shù)據(jù)技術應用情況13應用領域Hadoop應用發(fā)展歷程淘大數(shù)據(jù)技術應用研究結論14關系型數(shù)據(jù)領域非關系型數(shù)據(jù)領域Teradata主要用于數(shù)據(jù)倉庫X86MPP技術在數(shù)據(jù)集市中得到廣泛應用HADOOP技術在如下領域得到廣泛應用數(shù)據(jù)歸檔存儲ELT半結構化數(shù)據(jù)分析隨著HADOOP技術快速發(fā)展，其對關系型數(shù)據(jù)的處理支持也越來越強，關系型與非關系型數(shù)據(jù)的處理技術邊界已經(jīng)日漸模糊，后續(xù)應用HADOOP技術可能實現(xiàn)統(tǒng)一的數(shù)據(jù)處理分析平臺大數(shù)據(jù)技術應用研究結論14關系型數(shù)據(jù)領域非關系型數(shù)據(jù)領域Te目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的發(fā)展及應用研究我行大數(shù)據(jù)技術的應用策略15目錄我行新一代數(shù)據(jù)集成平臺能力要求15我行大數(shù)據(jù)技術應用規(guī)劃建議我行大數(shù)據(jù)技術應用規(guī)劃建議技術應用領域建議技術應用領域建議ORACLE滿足OLTP類應用需求X86MPP在某些非關鍵應用領域作為TERADATA的替代技術，降低應用成本;復雜的歷史數(shù)據(jù)查詢(如：多表關聯(lián)，查詢條件可自由組合的查詢)Teradata核心數(shù)據(jù)倉庫應用海量、多維度的復雜數(shù)據(jù)分析HADOOP技術歷史數(shù)據(jù)歸檔;簡單歷史數(shù)據(jù)查詢(查詢條件固定的單表查詢)；半結構化數(shù)據(jù)分析；RDW區(qū)(ORACLEExadata)SOR區(qū)（X86MPP）ADW&CM區(qū)(TERADATA)LDS區(qū)(X86MPP+HADOOP)HDS-歸檔區(qū)（HADOOP）HDS-訪問區(qū)（HADOOP+X86MPP）Staging區(qū)我行大數(shù)據(jù)技術應用規(guī)劃建議我行大數(shù)據(jù)技術應用規(guī)劃建議技術應用第三階段引入基于X86平臺的商用硬件的分布什數(shù)據(jù)庫產(chǎn)品，以較合理的性價比，提高海量數(shù)據(jù)的計算能力與時俱進、積極應用總體規(guī)劃、分步實施制定計劃、穩(wěn)步推進第二階段第一階段引入遵行HADOOP技術標準的HADOOP技術產(chǎn)品，實現(xiàn)：海量結構化歷史數(shù)據(jù)的歸檔保存信息安全日志的存儲與分析擴展HADOOP技術的應用范圍：電商數(shù)據(jù)分析其他場景……我行大數(shù)據(jù)技術應用實施路徑建議不斷豐富大數(shù)據(jù)技術上的應用功能，形成我行完善的大數(shù)據(jù)技術應用體系。17第三階段引入基于X86平臺的商用硬件的分布什數(shù)據(jù)庫產(chǎn)品，以較HADOOP技術選擇方案比較18詳細見：比較項方案方案一：采用免費開源發(fā)行版ClouderaHadoop方案二：采用商業(yè)開源發(fā)行版(如Cloudera、Hortonworks)方案三：采用閉源的HADOOP技術產(chǎn)品(如IntelHadoop、IBMBigInsights、EMCPivotalHD))是否關鍵指標成熟度與穩(wěn)定性高高中是應用案例與規(guī)模多多少是產(chǎn)品和服務成本低中高是運行維護成本高中中是行內技術儲備要求高中中是國內支持力量弱一般稍強是服務支持響應時間長較長一般是運行風險高中中是廠商依賴程度低中高否開放程度高高低否產(chǎn)品按需定制的靈活度高中低否HADOOP技術選擇方案比較18詳細見：比較項大數(shù)據(jù)技術應用初步實施計劃19階段主題開始時間結束時間第一階段引入X86分布式數(shù)據(jù)庫，分擔Teradata批量數(shù)據(jù)處理壓力，合理降低成本已完成

第二階段HADOOP測試案例準備與實現(xiàn)2013年6月13日2013年7月26日HADOOP產(chǎn)品選型測試2013年7月29日2013年12月30日歷史數(shù)據(jù)歸檔應用基于HADOOP構建2014年初2014年底信息安全應用日志存儲與分析基于HADOOP構建2014年中2015年中第三階段電子商務大數(shù)據(jù)分析2015年初2015年底持續(xù)應用階段不斷豐富大數(shù)據(jù)技術上的應用功能2016年-大數(shù)據(jù)技術應用初步實施計劃19階段主題開始時間結束時間第一階Q&AQuestions?20Q&AQuestions?20大數(shù)據(jù)技術應用實施方案建議信息技術管理部2013年6月21大數(shù)據(jù)技術應用實施方案建議信息技術管理部1目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究我行大數(shù)據(jù)技術的應用策略22目錄我行新一代數(shù)據(jù)集成平臺能力要求2新一代管理分析類應用需求23運營與信息安全運行日志存儲與分析安全日志存儲與分析營銷支持加強客戶洞察分析，實現(xiàn)靈活深入的客戶細分；科學的客戶行為及渠道經(jīng)營分析報告與決策全面的計劃預算管理價值導向的管理會計；流程化的財務會計體系集成高效的財務運作及時、準確的財務報告風險管理滿足新協(xié)議合規(guī)和內部管理需要的全面風險管理體系市場風險、信用風險、操作風險等全面的風險計量；風險建模監(jiān)管合規(guī)支持全面整合的反洗錢和欺詐風險管理；監(jiān)管合規(guī)長時間保存數(shù)據(jù)需求；審計供數(shù)；非結構化數(shù)據(jù)保存數(shù)據(jù)管控支持數(shù)據(jù)完整、全面（廣度、深度）；數(shù)據(jù)可信；數(shù)據(jù)易用；數(shù)據(jù)生命周期管理應用需求新一代管理分析類應用對于大數(shù)據(jù)處理分析技術提出了高要求新一代管理分析類應用需求3運營與信息安全營銷支持報告與決策風新一代數(shù)據(jù)集成平臺數(shù)據(jù)特點與挑戰(zhàn)24Volume數(shù)量大數(shù)據(jù)內容豐富（賬戶信息、賬戶明細、流水信息等）數(shù)據(jù)存儲周期長（監(jiān)管要求保存20年）PB級的海量數(shù)據(jù)Variety種類多數(shù)據(jù)類型多樣，包括結構化、半結構化、非結構化數(shù)據(jù)，如交易數(shù)據(jù)、日志數(shù)據(jù)、影像視頻數(shù)據(jù)等等Velocity速度快近實時數(shù)據(jù)處理（即席數(shù)據(jù)分析）實時訪問(如歷史數(shù)據(jù)查詢)流式數(shù)據(jù)計算（如反欺詐）大數(shù)據(jù)時代，技術面臨著Volume、Variety、Velocity

3V的挑戰(zhàn)新一代數(shù)據(jù)集成平臺數(shù)據(jù)特點與挑戰(zhàn)4Volume數(shù)據(jù)內容豐富（目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究技術特性研究技術應用研究我行大數(shù)據(jù)技術的應用策略25目錄我行新一代數(shù)據(jù)集成平臺能力要求5大數(shù)據(jù)技術一覽圖26大數(shù)據(jù)技術主要包含應用領域（如商務智能）、基礎設施領域（結構化數(shù)據(jù)庫技術、分析型數(shù)據(jù)技術等）和基礎技術領域的各種相關技術。大數(shù)據(jù)技術一覽圖6大數(shù)據(jù)技術主要包含應用領域（如商務智能）、重點調研的相關大數(shù)據(jù)存儲技術產(chǎn)品調研TDAsterData基于商用硬件的分布式數(shù)據(jù)庫技術HADOOP技術對于大數(shù)據(jù)技術、產(chǎn)品的調研分兩類進行，即關系型數(shù)據(jù)庫與非關系型技術，前者以基于X86的MPP技術為代表，后者以HADOOP技術為代表重點調研的相關大數(shù)據(jù)存儲技術產(chǎn)品調研TDAsterDat大數(shù)據(jù)技術特性研究結論28分析維度X86MPPHADOOP數(shù)據(jù)特性僅支持結構化數(shù)據(jù)支持非結構化、半結構化、結構化數(shù)據(jù)擴展性可擴展至數(shù)百節(jié)點可擴展至數(shù)千個節(jié)點數(shù)據(jù)可靠性每份數(shù)據(jù)只有一個備份每份數(shù)據(jù)可有多個備份產(chǎn)品成熟度介于傳統(tǒng)關系型數(shù)據(jù)庫與HADOOP之間新技術，產(chǎn)品與技術均不成熟易開發(fā)性相對容易與傳統(tǒng)數(shù)據(jù)庫差異較大，開發(fā)復雜運維管理缺少統(tǒng)一的運維管理工具復雜，缺少統(tǒng)一的運維管理工具人員技能要求一般，僅需熟悉傳統(tǒng)關系型數(shù)據(jù)庫高，需要對產(chǎn)品、技術及程序設計有深入理解基于X86的MPP技術與傳統(tǒng)分析型數(shù)據(jù)庫的差異不大，但是提供了良好的擴展性，適合替代現(xiàn)有技術進行關系型數(shù)據(jù)的分析HADOOP技術支持的數(shù)據(jù)類型多，擴展性強，適合海量非結構化的數(shù)據(jù)分析，但技術不成熟，需逐步試點大數(shù)據(jù)技術特性研究結論8分析維度X86MPPHADOOP數(shù)目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的特性及應用研究技術特性研究技術應用研究我行大數(shù)據(jù)技術的應用策略29目錄我行新一代數(shù)據(jù)集成平臺能力要求9美國銀行大數(shù)據(jù)技術應用情況30技術類型產(chǎn)品系統(tǒng)/機柜數(shù)集群容量(PB)數(shù)據(jù)量(PB)應用領域使用案例專有一體機Teradata2453.1數(shù)據(jù)倉庫企業(yè)/集中式數(shù)據(jù)倉庫Netezza80+2.81.1數(shù)據(jù)集市OLAPExadata10+10.08數(shù)據(jù)集市（OLAP和OLTP混合）全球人力資源部、CRC（客戶報告中心：22TB）、AMT基于商用硬件的分布式數(shù)據(jù)庫Vertica20.570.34數(shù)據(jù)集市OLAPHadoop技術ClouderaHadoop若干>1.6>1.6ETL集團DW、電子商務、信用風險數(shù)據(jù)暫存與歸檔銀行卡系統(tǒng)過期數(shù)據(jù)歸檔；

集團數(shù)據(jù)倉庫數(shù)據(jù)歸檔信息安全數(shù)據(jù)庫、防火墻、應用程序等日志存儲與分析風險分析定量風險技術(最大的Hadoop應用集群，173臺機器，1.6PB未壓縮數(shù)據(jù))、

欺詐檢測沙箱分析

美國銀行在數(shù)據(jù)集市領域大量使用X86MPP技術，HADOOP主要用于ETL、數(shù)據(jù)歸檔、日志分析及風險分析等應用美國銀行大數(shù)據(jù)技術應用情況10技術類型產(chǎn)品系統(tǒng)/機柜數(shù)集群容美國銀行未來大數(shù)據(jù)技術應用31產(chǎn)品美國銀行的最佳定位戰(zhàn)略性產(chǎn)品IBMNetezza純分析性的工作量的首選解決方案。高性能和高擴展性。費用較低，比Exadata或Teradata更容易

進行管理。并發(fā)性方面的局限，使其適用于數(shù)據(jù)市場，或可能適合小型部門的數(shù)據(jù)倉庫。是OracleExadata適用于I/O要求極為嚴苛并需要20TB以上的交易/分析混合工作量。能夠處理同一系統(tǒng)中的多種工

作量。也可視為適用于20TB以上的分析數(shù)據(jù)庫（目前運行的是標準Oracle數(shù)據(jù)庫），因為它比

Netezza更容易移植是Vertica(HP)作為一種新興的主要候選方案，可替代Netezza和Exadata，為大型數(shù)據(jù)市場或部門數(shù)據(jù)倉庫（20TB

以上）提供基于商品的列式數(shù)據(jù)庫。通過創(chuàng)新的寫優(yōu)存儲和讀優(yōu)存儲以及經(jīng)驗證的PB級別，擴展

架構。在美國銀行進行了兩項重大且成功的實施。是SybaseIQ(SAP)列存儲的首個商業(yè)實施。穩(wěn)定、成熟的產(chǎn)品。許可交易使部署不受任何限制。通過標準的x86服務

器和SAN運行。以前不屬于擴展解決方案，且在這方面仍未經(jīng)過驗證。計劃作為5-20TB數(shù)據(jù)市場

的首選商品方案。是Teradata行業(yè)標準，適用于大型、要求高和復雜的企業(yè)數(shù)據(jù)倉庫，此類數(shù)據(jù)倉庫需要復雜的工作量管理和其

他高級功能。高度專有化、昂貴且不易獲得支持。美國銀行的使用應僅限于W數(shù)據(jù)倉庫，以及可能

需要與W進行極高水平集成的某些數(shù)據(jù)市場。是SAPHANA最佳用途是為運行SAP軟件的應用程序實現(xiàn)加速。對于一般的非SAP工作量，不必采用此解決方案。

亦沒有證據(jù)證明，HANA在SAP前端之外的市場廣受歡迎。否ParAccel產(chǎn)品的發(fā)展速度非?？臁９搪暦Q自己在POC方面無人可及。創(chuàng)新的架構和光纖通信。這是此表

中唯一一個仍歸小型獨立供應商所有的解決方案。需要考慮供應商的規(guī)模、穩(wěn)定性和長期生存能力。

盡管技術令人印象深刻，但目前沒有計劃將ParAccel作為戰(zhàn)略性產(chǎn)品。否結構化數(shù)據(jù)分析領域，Netezza、Exadata、Vertica、Teradata及SybaseIQ是美國銀行未來的戰(zhàn)略產(chǎn)品美國銀行未來大數(shù)據(jù)技術應用11產(chǎn)品美國銀行的最佳定位戰(zhàn)略性產(chǎn)國內銀行同業(yè)中國銀行采用HADOOP實現(xiàn)系統(tǒng)日志的分析中國農(nóng)業(yè)銀行進行歷史數(shù)據(jù)的歸檔中國銀聯(lián)歷史數(shù)據(jù)歸檔32目前中行、農(nóng)行、銀聯(lián)等都已經(jīng)開始了基于HADOOP技術的應用探索及規(guī)劃國內銀行同業(yè)中國銀行12目前中行、農(nóng)行、銀聯(lián)等都已經(jīng)開始了基淘寶大數(shù)據(jù)技術應用情況33應用領域批處理：ETL數(shù)據(jù)分析，OLAP大數(shù)據(jù)量分析—主要使用Hive點擊流日志分析；搜索排行榜和其他搜索相關的業(yè)務機器學習數(shù)據(jù)生命周期管理：歸檔存儲：歷史訂單明細查詢應用規(guī)模3000多個節(jié)點，36PB數(shù)據(jù)，20多個事業(yè)群，150多用戶組，3000多用戶。Hadoop應用發(fā)展歷程淘寶數(shù)據(jù)服務平臺架構淘寶采用HADOOP技術構建了完整的數(shù)據(jù)倉庫及處理分析平臺淘寶大數(shù)據(jù)技術應用情況13應用領域Hadoop應用發(fā)展歷程淘大數(shù)據(jù)技術應用研究結論34關系型數(shù)據(jù)領域非關系型數(shù)據(jù)領域Teradata主要用于數(shù)據(jù)倉庫X86MPP技術在數(shù)據(jù)集市中得到廣泛應用HADOOP技術在如下領域得到廣泛應用數(shù)據(jù)歸檔存儲ELT半結構化數(shù)據(jù)分析隨著HADOOP技術快速發(fā)展，其對關系型數(shù)據(jù)的處理支持也越來越強，關系型與非關系型數(shù)據(jù)的處理技術邊界已經(jīng)日漸模糊，后續(xù)應用HADOOP技術可能實現(xiàn)統(tǒng)一的數(shù)據(jù)處理分析平臺大數(shù)據(jù)技術應用研究結論14關系型數(shù)據(jù)領域非關系型數(shù)據(jù)領域Te目錄我行新一代數(shù)據(jù)集成平臺能力要求業(yè)內大數(shù)據(jù)技術的發(fā)展及應用研究我行大數(shù)據(jù)技術的應用策略35目錄我行新一代數(shù)據(jù)集成平臺能力要求15我行大數(shù)據(jù)技術應用規(guī)劃建議我行大數(shù)據(jù)技術應用規(guī)劃建議技術應用領域建議技術應用領域建議ORACLE滿足OLTP類應用需求X86MPP在某些非關鍵應用領域作為TERADATA的替代技術，降低應用成本;復雜的歷史數(shù)據(jù)查詢(如：多表關聯(lián)，查詢條件可自由組合的查詢)Teradata核心數(shù)據(jù)倉庫應用海量、多維度的復雜數(shù)據(jù)分析HADOOP技術歷史數(shù)據(jù)歸檔;簡單歷史數(shù)據(jù)查詢(查詢條件固定的單表查詢)；半結構化數(shù)據(jù)分析；RDW區(qū)(ORACLEExadata)SOR區(qū)（X86MPP）ADW&CM區(qū)(TERADATA)LDS區(qū)(X86MPP+HADOOP)HDS-歸檔區(qū)（HADOOP）HDS-訪問區(qū)（HADOOP+X86MPP）Staging區(qū)我行