大數據行業用戶案例_第1頁
大數據行業用戶案例_第2頁
大數據行業用戶案例_第3頁
大數據行業用戶案例_第4頁
大數據行業用戶案例_第5頁
已閱讀5頁,還剩42頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

大數據行業用戶案例HPEVerticaReal-timeAnalyticsPlatform專為大數據分析構建的關系數據庫和非結構化分析引擎,分析100%的數據大數據實時分析平臺高擴展高擴展列式計算實時聚合高級分析概念模型語義理解X86大規模并行處理架構(MPP)自動優化高速并行裝載實時分析查詢SQLODBC/JDBC/ADO.NETSQLODBC/JDBC/ADO.NET50x–1000x性能提升TBs~10PBs在線擴展節約90%的存儲空間開放、簡單易用結構化非結構化ConnectorsRESTful

簡單、高效、可擴展、開放的關系數據庫和非結構化分析引擎大數據分析平臺架構)ODBCJDBCADO.NET安裝管理監控優化備份恢復

標準SQL解析,列式計算優化器內存存儲自定義存儲管理控制臺列式計算執行引擎列式存儲抽象層HDFSCLI本地文件系統物理存儲層負載均衡和失敗轉移接口層負載管理實時聚合MPP架構數據庫引擎New原生高級分析算法自定義分析處理算法SDK:C++、Java、R非結構化引擎RESTfulNewVertica專注于大數據分析,尤其是實時分析數據量高低OLTP系統作業類型單行數據實時性高低批量混合型場景傳統數據倉庫大數據分析大數據交易以網絡為中心的電信業務模式Telco1G…AMPS|nodata2G…GSM|nodata2.5+G…GPRS&EDGE|56kb/s3G…UMTS|237kb/s3.5+G…HDPA/HSPA|14mb/s4G…LTE|100mb/s電信架構演變Vertica電信行業典型方案BSS經營分析〔BASS〕詳單〔CDR〕分析流量經營分析精準營銷分析歷史庫與報表合作伙伴與電子渠道分析用戶分類與收益分析……OSS信令分析網絡錯誤與性能優化網絡分析網絡綜合分析綜合監控分析網絡容量管理客戶體驗管理漫游分析……MSSERP數據倉庫財務報表系統集中數據分析……創新業務增值業務分析平臺大數據分析平臺互聯網分析用戶行為分析用戶位置分析點擊流分析……超快分析速度、無限的擴展能力;SQL標準和開放性實時分析和聚合、無限的擴展能力;SQL標準和開放性超快分析速度;SQL標準和開放性開放性和與Hadoop/R的整合能力;超快分析速度、無限的擴展能力;非結構化分析數據量大分析處理能力要求高數據量巨大實時性要求高分析性能要求高數據量巨大分析處理能力要求高分析算法要求豐富業務域挑戰的優勢HP最具競爭力!很強競爭力!較強競爭力!典型場景:信令監測、共享和分析業務信令采集和實時信令共享,對上層業務數據從多維度關聯分析和挖掘,支撐數據業務精確營銷和新數據產品效勞。面臨的挑戰數據量100sTB~PB:從網絡和DPI設備上采集的海量日志和日益豐富的應用數據,傳統數據倉庫難以滿足存儲和處理的要求分鐘級準實時性:以社交新媒體和游戲為重點的應用,要求快速抓取社會熱點,傳統分析工具無法滿足準時分析挖掘的要求Vertica解決方案帶來的好處無限的擴展能力快速、持續的數據裝載,實時分析和聚合SQL標準和開放性準實時分析,大數據變現典型案例:山西移動信令檢測分析60節點HPBL460cG7刀片〔VCFlex10〕D2200sb存儲存儲〔12*1TB7200RPMSATA〕TMR數據入庫超過200MB/s包括GB,IUPS,GN,DPI等原始表入庫周期為分鐘級別匯總表入庫周期為15分鐘級別保存2個月,總量超過500TB多種粒度的匯總5分鐘、小時、天Vertica準實時分析,前所未有典型場景:網絡性能分析和優化業務采集網絡設備日志和路測優化無線網絡運行狀態和效勞質量,提升用戶體驗。面臨的挑戰數據量100sTB:從大量的網絡設備采集的海量日志,傳統數據倉庫難以滿足存儲和處理的要求分鐘級準實時性:快速發現網絡質量問題,盡可能防止用戶投訴Vertica解決方案帶來的好處無限的擴展能力快速、持續的數據裝載,實時分析和聚合歷史和相似場景分析預測潛在問題,有效防止設備過多配置的浪費準實時分析,提升網絡效勞質量典型案例:四川電信無線網絡優化CDTCM、FM、PMIMSI-終端映射表Rx/Tx/FFER/SINR,位置CDT服務器OMMServer電信終端分析系統FTP普通終端采集數據工參電信資源管理系統數據采集NDS服務器數據預處理:話單分析容量分析,關聯分析,預測數據分析電信網優云處理云:解析匯總存儲云:話單數據,匯總指標數據應用呈現FTP處理云:Hadoop集群完成數據解析匯總存儲云:HPVertica集群完成大數據存儲6個節點集群,數據量超過30T主表單表超過20TB,分鐘級準實時入庫典型場景:經營分析業務利用業務支撐、網絡、效勞和財務等系統產生的大量根底數據實現經營情況的分析和監控,供經營決策依據,以實現精細化營銷。面臨的挑戰數據量100sTB~PB:傳統數據倉庫難以滿足存儲和快速處理的要求Vertica解決方案帶來的好處超快分析速度無限的擴展能力SQL標準和開放性大數據高性能分析支撐精細化營銷和差異競爭能力典型案例:河南移動經營分析32節點,數據量360TB數據自助效勞:業務用戶自助分析營銷大數據分析:各種營銷模式和促銷手段的大數據分析客戶屬性數據的關聯分析,包括客戶畫像查詢、標簽客戶群刷新、標簽分析的數據刷新典型方案:社交媒體情感分析支撐的營銷和效勞系統100%數據深度分析全面把握瞬變的趨勢典型案例:CDR/DDR分析+網絡性能監控分析2013年營業收入1280億

4GLTE用戶2.8億1.8億高速寬帶用戶裸數據容量3.2PB眾多電信分析業務的集中代表典型案例:KDDI網絡流量分析平臺日本第二大電信運營商4100萬用戶,15萬個基站通過分析所有網絡流量來了解用戶行為精準營銷差異化經營網絡質量分析快速定位解決問題,提升客戶滿意度、提升競爭力Vertica平臺:66節點,2.5PB數據量最好的性價比與高可擴展性,大量PB級別的真實案例其它競爭對手都有缺陷Netezza:邊加載邊查詢性能差,壓縮比低本錢高Exadata:PB級別查詢性能差,本錢高昂國內電信行業案例上海電信3G網絡流量分析,>30TB中國電信集團互聯網增值業務,>50TB四川電信網絡優化,>30TB山西移動信令實時分析,>500TB山東移動網絡綜分,>20TB河南移動經營分析,>300TB深圳移動全網監控智能分析平臺移動西北諸省甘肅移動大數據平臺青海移動經分系統陜西移動經分系統典型案例其他行業典型案例Vertica全球超過2500客戶,并且不斷增長金融行業消費市場在線網站和游戲醫療零售通信行業很多數據量超過1PB的案例能源行業應用場景行業優先工作重點減少能源開采成本通過分析區域數據減少區域服務成本智能電量、智能電表解決方案主要應用場景M2M/智能傳感數據分析預測分析個性化價格方案客戶行為分析客戶價值管理忠誠度管理實時使用分析具體行業公共事業能源開采智能電表智能電網智能數據倉庫公司經營面臨的挑戰公司支撐波羅的海和北歐周邊國家的能源供給,包括電力、熱能、石油、天然氣和頁巖氣等。整個行業已在2021年1月經被解除管制,公司不再是壟斷經營。因此公司需要更好的了解他們的客戶,并提供優質和增值的效勞。當前客戶的集中化數據倉庫已經運行多年,基于Oracle平臺。每天晚上的數據加載和批處理時間過長,已經無法在規定時間窗口內完成。現有平臺的升級本錢過高,Oracle只提供一體機方案未來3年公司將廣泛實施智能電表、智能計價,會產生大規模的傳感和計價數據。因此需要一個可擴展的、充分滿足未來3年增長需求的數據倉庫平臺解決方案。智能數據倉庫HPVertica解決方案支持超過30種業務流程與分析模型,包括各種深度分析,幫助愛沙尼亞能源創造多種新的業務場景:銷售與市場支持:通過消費者使用率分析來指導各種定價標準和市場策略,吸引新客戶、保存現有客戶用戶消耗:用戶可以通過快速的查詢到按時間維度的詳細資源消耗,包括電力、天然氣、熱力等。損失定位:快速定位能源損耗,是計價設備問題還是偷盜行為。5年前的能源損失率是12%,而在使用新系統后這個數值降為7%,大大提高了利潤率和收入。分析和運營報表:快速的生成運營報表,實時加載實時查詢,無時間窗口限制,產生更多的各種不同維度的分析報表,供業務部門使用。5個月全部完成了從Oracle到Vertica的應用和數據的遷移生產數據量10TB,1000+張表。包括4個Vertica環境:開發、開發測試、測試和生產典型案例:機器生成數據實時分析智能樓宇實時測控、高能效標準要求電、氣、水供給,空調制冷、空氣處理、…基于海量的傳感器數據的實時分析:實時數據采集和連續裝載實時調整優化能源控制策略實時監控設備狀態,主動維護設備Vertica實時分析能力和時間序列分析算法,極大限度地優化了資源配置,大幅降低了故障率,提升客服滿意度云端部署(AmazonEC2),可隨時按需擴展智能高能效樓宇醫療保健典型應用場景藥物開發

藥物發現基因數據科學研究

循證醫學

預測副作用分析藥物風險評估臨床治療基于效果的診斷和治療個性化治療

藥物影響行為患者護理分析預防慢性疾病業務運維收入保障

內部風險評估

索賠處理方案合規工作流管理收入保障價格優化/醫療保健本錢建模索賠欺詐品牌管理Web分析營銷活動優化

醫療創新既挽救生命又省錢5400萬條生命,35億人月的醫療保健數據不可預知的客戶需求,極長的批處理隊列借助Vertica,可將響應時間縮短到數分鐘/秒,批處理等待時間為0現在用于醫療費用建模、慢性疾病預防、索賠欺詐發現、非品牌藥的使用等“開始時使用一個研究工程做試驗,查詢結果返回得如此之快,我們還以為查詢失敗了呢!如今我們已將整個分析堆棧遷移到Vertica!很快樂成為Vertica的客戶。〞藍十字藍盾協會高級副總裁兼首席信息官DougPorter藍十字藍盾協會您了解嗎?數據科學家經常將Vertica與SAS或R等工具一起用于深入的預測性建模Cerner挑戰CernerMillennium平臺需要更快分析更多的電子健康記錄和大量的系統性能度量指標提高醫生效率,提升醫療效勞效果和質量,改善診療流程解決方案Vertica準實時分析效果提升60倍分析性能,幫助Cerner更全面洞察診療全過程,大幅改善醫生效率每天快速分析2百萬告警,幫助Cerner提前了解面臨的問題,并防患于未然HPVertica助力優化醫療信息解決方案廣告營銷典型案例AppNexus實時在線廣告服務平臺,>100TB/24節點AppLovin移動應用營銷活動監控,100TBInsightExpress跨媒體營銷活動效果分析,30TB/8節點Neverblue廣告用戶體驗分析AdformWeb流量和網站分析支撐營銷活動優化,30TBAdMarketplace基于用戶分析的搜索效果營銷廣告營銷典型案例AppNexus在線實時廣告效勞平臺背景廣告主和在線內容提供商之間的在線實時廣告交易效勞平臺每天全球數百個企業購置和銷售數十億個在線廣告3000億記錄/day,35TB/day挑戰高并發、低延遲擴展能力、高可用解決方案HPHAVEn:Vertica+Hadoop優勢實時數據裝載和查詢,高可用性分析模型快速演進零售業典型應用場景銷售和庫存全視角跟蹤提升區域倉庫間貨物調度效率提供恰當的資源配置以優化店員效率關聯和購物籃分析,更好地理解顧客購置行為和忠誠度實時分析對線上或實體零售都至關重要實時洞悉零售情況取代基于Oracle、無法擴展的POS數據倉庫使用Vertica時性能提高100倍,可以24x7加載數據,最大限度地減少行政開銷每一個商店經理都可以使用MicroStrategy訪問移動設備上的數據零售業瞬息萬變,所以我們需要使用一個高性能的分析平臺,來滿足我們對快速處理信息的需求。〞-Guess,Inc.公司首席信息官MikeRelichGUESS,Inc.圖片是從Guess年度報告復制的:我們無權使用空中客車的銷售預測分析系統系統:Diio應用提供最精確的航空公司銷售預測系統數據:包括所有航空公司的企業數據和市場智能數據,這些數據用作合理化預測空客公司的預算流程業務模型:提供清晰的業務預算分析,快速計算容量和費用的影響快速的預測,將以前需要幾周的分析流程縮短到一天內完成預測包括基于月度的飛行、銷售點和預定級別等各種維度的統計快速匯總,按人群分類、地區和系統,進行根底費用分割、YQ、稅和酬金的計算按方案的分析和無限制的預算分析至上而下的收入預測分析系統:4節點的集群,Diio實施應用,IBM外包運維〔中國〕澳洲航空的常旅客管理分析系統原系統無法滿足實時分析的要求系統上線以來常旅客數增加了60%而80%的收入增加來源于常旅客基于Vertica的新系統:公司制定以數據驅動業務的策略,需要新的平臺來進行市場和客戶分析快速實時的分析結果和業務報告典型案例:Symantec托管平安效勞Symantec托管平安效勞:為超過600個客戶提供網絡威脅檢測效勞,每個月:分析超過2750億條日志,7x24小時不間斷識別超過4萬個潛在平安問題事件,驗證超過4千個嚴重平安事件平臺上有超過1PB數據,目前只能存放90天的數據Symantec面臨的挑戰:分析查詢和數據準實時加載性能低目前由2個割裂的專有系統構成:聚合分析庫,歷史歸檔庫。歷史歸檔庫為了到達12倍壓縮率,缺乏高可用性和容災能力對基于SQL標準的BI工具支撐困難并行處理和擴展能力滿足不了要求HP解決方案:采用Vertica,單一數據庫實現聚合分析和歷史歸檔功能典型案例:Symantec托管平安效勞HPVertica帶來的好處:準實時的數據裝載和分析查詢內置高可用行,到達14倍壓縮效果,能存放更多的數據基于SQL標準和ODBC、JDBC、ADO.NET標準連接方式,支持主流的BI工具VerticaMPP架構的線性擴展能力經過大規模驗證,可以從幾個~近千個節點在線擴展,性能和本錢完全可控制新部署容災環境,只增加硬件,不再需要軟件投入Vertica自帶的高級分析算法,更容易挖掘潛在平安事件:時間序列分析方法:更方便關聯分析來自多個網絡設備不同時隙的事件模式匹配:理解網絡欺詐和攻擊行為模式,并用于預防聚類:根據用戶行為模式對用戶分群,識別高風險用戶“Verticahelpsusonthechallengeoftimeconsumingandcomplexityonbigdata,makingdataanalysisoncustomeractionsthroughweblogspossible.Expectmoreco-operationwithHPandVertica.〞

挑戰HP16000switch,10000routers,30萬用戶工作在600個site,全球性的遠程接入支持,產生海量網絡流量包分析人員如何從海量信息中快速發掘惡意軟件的蹤跡,找處各種惡意或者為經批準的網絡活動,以便第一時間能夠隔離或消除其行為結果解決方案結合使用LancopeStealthWatch,一個網絡流量異常檢測引擎+

HPverticaDatabase,一個能夠在海量數據壓力下實現高性能實時分析的數據庫引擎結合HP已有的侵入保護系統TippingPoint和HP

Arcsight(SIEM)對網絡安全提供深層次保護>>>收益近實時在5-10分鐘內對流量分析,觀察流量匯總和細節完全的自動化整合提升HP安全團隊應對攻擊的響應效率HP通過海量歷史數據分析,能夠進一步增強對企業IT運行正常狀況的理解,提升對“未知”異常的監測能力HP大數據分析還幫助網絡專家識別企業內部應用與網絡關系,了解應用使用的情況,從而更好規劃企業IT資源金融行業案例HPVertica金融行業案例列表〔局部〕客戶名稱客戶簡介系統建設/應用場景BOA(BankofAmerica)美洲銀行全球最大銀行之一系統1:信用卡數據倉庫(替換原有的DB2平臺),支持信用卡業務統計分析及實時信用評分,數據量超過到1.5PB(88節點)系統2:投資事業部分析平臺(替換原有的TD平臺),支持全球資本市場及風險分析,數據量超過1PBRBC(RoyalBankofCanada)加拿大皇家銀行加拿大最大的銀行風險分析系統(替換原有的TD平臺),支持RBC全行的后臺風險分析CreditSuisse瑞士信貸銀行瑞士第二大的銀行投資風險分析平臺(替換原Exadata平臺),支持跟全面的監管數據報送及交易數據實時加載和風險評估,靈活查詢性能提升200%,數據周期由2年延長到10年。BNYMellon紐約梅隆銀行全球十大投資銀行之一銀行事件(交易,事務)實時分析,支撐超過150+業務應用,一期數據量150TBOpenBank俄羅斯開放銀行俄羅斯最大的私營銀行實時數據倉庫,支持全面的BI、實時KPI指標監控及風險策略執行情況ICICIBank印度工業信貸投資銀行印度最大私營銀行企業級大數據分析平臺,融合結構化和非機構化數據,一期數據量300TB新韓銀行韓國最大商業銀行數據分析平臺,現有Teradata數據倉庫的補充,一期數據量400TBGarantiBank土耳其擔保銀行土耳其第三大銀行風險管理/運營及安全分析/客戶分析招商銀行中國領先的商業銀行大數據分析平臺,20萬以下小微貸款,20TB,4節點BOA選擇Vertica建設信用卡實時數據倉庫背景及挑戰性能瓶頸:原有數據倉庫Bacardi(BoACardInfrastructure)無法支持實時信用評估,并且欺詐偵測及風險預測模型支持3個月的數據本錢因素:基于Mainframe上的DB2的平臺架構,運維本錢很高,并且擴展性受到限制解決方案用HPVertica替換原有DB288節點Vertica集群,1.5PB原始數據收益及效果增量數據實時加載,在1-5分鐘內可以用于分析,用于分析的數據量從3個月擴展到5年,批量加載9TB/小時分析性能提升180~240倍,欺詐偵測由2-3天縮短到15分鐘數百個分析師同時使用,峰值并發近千個,秒級響應僅系統維護費用,每年就節省數百萬美元數據壓縮比為1/6,節省了1PB的存儲Vertica案例:ICICI企業級大數據分析平臺融合結構化與互聯網數據,擴展傳統數據倉庫的廣度與深度背景與需求:ICICI是印度最大的民營銀行原有基于Sybase的平臺無法滿足新業務的需求需要建立一個新的企業級大數據分析平臺支持實時分析支持互聯網、社交媒體數據良好的可擴展性和快速分析能力Vertica新平臺同時支持結構化與半結構化數據〔社交媒體〕近實時的營銷信息推送,比方個人貸款、消費等當客戶訪問營銷網點時的相應促銷活動實時銷售數據監測基于地理位置的聯合分析,比方哪個ATM空閑等一期400TB,21節點新韓銀行:選擇Vertica建設數據分析平臺傳統數據倉庫的補充與替代背景與需求:1998年開始使用Teradata作為數據倉庫,數據容量持續增長〔120TB->240TB〕,擴容及運維本錢巨大考慮其他解決方案以緩解目前的壓力,并拓展新型的分析型應用快速增長的新金融業務,更強的風險控制解決方案選擇Vertica建設數據分析平臺48節點,120TBHPDL380Gen87個月完成系統遷移〔2021.1~2021.7〕45000+模型轉換5000+腳本遷移Vertica集群前端展現分支IT

總部存款外匯客戶貸款核心系統IBglobalbankafund其他源系統ODS信息分析DW目前DW(Teradata)EUCmart新集市新集市集市3集市2集市1單一數據流新韓銀行:選擇Vertica建設數據分析平臺通過性能提升,大幅增強目標客戶的營銷能力及時為每個網點提供目標客戶信息生成目標客戶信息的時間縮短3個小時〔3個小時5分鐘〕充分保障向目標客戶開展直銷活動的時間增加自助式BI系統的可用時間提前5小時提供自助式BI效勞〔12:007:00〕數據能夠更快的提供給各個業務部門,節省更多時間來進行后續的作業處理〔分析,匯總等〕提升營銷信息的查詢性能查詢時間提升11.7倍,〔過去平均4份44秒現在平均22.6秒〕當處理大約500個營銷信息是,處理時間從2366分鐘減少到188分鐘。(共減少36個小時)所需時間對比性能提升比例138%159%整體匯總加載性能對比—ETL批處理整體匯總加載1170%原數據庫

原數據庫

所需時間對比性能提升比例性能對比—營銷信息查詢新韓銀行:選擇Vertica建設數據分析平臺降低系統的整體擁有本錢〔TCO〕,優化系統架構深圳招聯:風險與營銷大數據分析平臺通過大數據分析開掘新的業務時機背景與需求:招聯是招商銀行與中國聯通共同出資組建的子公司,專注于小微貸款〔20萬以下的〕風險與營銷業務。數據驅動:通過金融數據與電信數據的融合分析,對客戶的信用及風險進行實時分析

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論