1、Ingenuine Presentation銀行大數據應用場景設計Hadoop World 2016 /GTC 2016 分享大數據10年零售銀行：1000倍數據庫提速的故事介紹我們的工作我們所理解智能服務機器人匯報我們的想法內容提要Hadoop World 2016+GTC 2016 所見 所聞 所遇 所惑 所思 所期望圣何塞拾零我們在哪里？硅谷中央城市：圣何塞Strat Hadoop 2016： Hadoop World所見所聞所思所望Hadoop world 所見之一每天200多場各種報告 豐富多彩展覽會更趨娛樂 多種多樣數據庫領袖企業黯然謝幕互聯網大佬企業悉數缺席灌木生態逐漸形成Had

2、oop world 所思之二大數據的基本技術體系已經建立，應用時代到來革命已經階段完成打垮了一個舊時代建立了新的數據文化：開源、廉價、去中心、分享Hadoop world 所聞：幾個報告三菱銀行； 用Hadoop重建數據倉庫英國電信： 用Hadoop進行數據集成通用電氣：建立以大數據的企業文化Linkined：傾聽每個用戶的心聲Hadoop world 所思之三解決應用問題是這個階段的主要使命技術等待另外一場革命：HPC應用期待著另外一場革命：AIHadoop world 所思之四不會在新老體系之間再纏綿憂郁不要再在架構上描寫圖畫不要再工具平臺之間在糾纏提高應用水平是很多企業的核心任務Hado

3、op World 2016 /GTC 2016 分享大數據10年零售銀行：1000倍數據庫提速的故事介紹我們的工作我們所理解智能服務機器人匯報我們的想法內容提要零售銀行的故事GPU加速數據查詢：1000倍提速銀行擁有大數據，而且很大數據大了 頭也大銀行數據有多大典型的中國省級銀行，中國最少有300個5千萬客戶，9千萬客戶10億次交易 (不包括上網日志記錄)繼續102030405060708090100102030405060708090100賬戶統計指標產品和賬戶客戶資料渠道和交易客戶交往記錄others每個客戶經理的業績指標營銷團隊業績指標市場信息競爭記錄銷售機會和線索風險管理其他ABCDE

4、FG銀行業務運營的數據衍生指標 乘法典型統一客戶視圖規模5千萬行 乘以 5000 列財務和風險指標網絡數據查詢太慢了 即使購買RS6000 高端機器，獲得客戶統一視圖也需要10分鐘，但是一個銀行的客戶經理有2萬個，更不要說更復雜的分析了。傳統IT架構支撐應付報表，在大數據環境下無法應對實時隨機查詢，更不要說實時客戶行為分析了。等等案例，苦惱不已成本太高了主機廠商和存儲廠商高興壞了，客戶不高興04The Products數據倉庫過去20年 IBM, Oracle and Teradata 一致教育客戶構建數據倉庫，但是怎么樣呢？數據倉庫有了，數據多了，應用還是報表到報表報表只能提供宏觀狀態，無法

5、指導客戶經理營銷和完成任務20小時20小時10分鐘Extract ,transform and Load into data warehouse5 RS/ 6000 7 seriesFor every customerEvery customers managerEvery teamsEvery product lineJoin all the data from every Account historyEvery channelsEvery pre-calculated Dimentional statistics All channel contact and relationship

6、recordETL基本統計數據在線服務:典型需求客戶統一視圖和客戶篩選事實: 所有的動作都慢即使購買昂貴的IBM/EMC設備，升級DB2/Oracle 采集系統框架映射定義計劃調度采集執行錯誤控制業務系統ODS數據其他數據CRM數據系統ECIF基本信息管理客戶信息組織機構管理信息息相互關系嘻嘻你產品銷售記錄管理服務關聯關聯關聯流水明細賬戶歷史變動客戶關系記錄數據模型： 10個領域基本信息基本指標衍生指標流水明細賬戶客戶客戶群客戶統一視圖客戶識別R 應用開發建設內容數據采集、存儲、加工和管理平臺ECIF 是二期建設內容是一期為主 二期補充的內容未標注部分為一期內容存儲和加工機制：Hadoop集群

7、 和 加工群數據目錄接口和服務JNDI 架構的RMI接口服務 包括 優選規則服務 安全服務 數據視圖服務 客戶定位服務 查詢服務 信息維護服務 等加工系統框架加工腳本調度執行錯誤控制賬戶加工客戶加工客戶群加工客戶經理維護DB2RS/6000+輔助查詢服務器集群系統架構藍圖 102 某銀行大數據應用架構流程引擎數據引擎 消息總線ESB消息總線ECIF是整合各個業務系統數據并由客戶經理維護的客戶信息系統企業客戶關系記錄的入口R1R2/3/11R5,6RHadoopR9，10R4R12R9，10R7Impala集群+GPU集群+R計算集群We empower elephants21/32GPU:為什

8、么這么快？三級并行機器間機器內部的GPU之間GPU內部的計算單元之間的并行GPU內部眾多的計算單元快速的線程切換非常快速的本地內存訪問無人駕駛汽車兩塊K80 每秒檢測100個點Princple of the new query enginedirects and executes query statements in GPUs24/32標準SQL，開發簡單大規模并行技術重構數據庫引擎2數據庫緩存緩沖結構優化1GPU集群管理和調度并擴展到Hadoop集群，關系數據庫集群和R集群3 對用戶僅僅是標準SQL界面4聯社數：86個機構數：2700個客戶經理數：20000人客戶數：5700萬賬戶數：1.

9、3億日交易流水：850萬條指標個數：1500個增量文件大小：50GB1天存量數據文件大小：350GB所有存量數據：60TBImpala 集群 44+2節點步驟執行時間開始時間結束時間備注30分鐘23:0023:3020分鐘23:3023:5055小時23:505:2040分鐘5:206:001分鐘6:006:01通過FTP服務器獲取外圍系統增量數據，將數據裝在到Hadoop集群中根據增量數據生成全量數據根據業務邏輯加工1500個指標數據值將指標結果數據裝載到GPU服務器和RDB服務器切換CRM前端查詢數據日期加工內容數據規模構造客戶統一信息視圖并為86個法人機構 2700個網點 2萬客戶經理

10、60000萬客戶 加工1500個指標這在以前根本不可能完成，即使你購買了n貴的機器。其業務達成是數據驅動每一天的工作大數據：如何助力業務步驟執行時間開始時間結束時間備注230分鐘23:0023:30320分鐘23:3023:50455小時23:505:20540分鐘5:206:0061分鐘6:006:01可是以前做不到構造客戶統一信息視圖并為86個法人機構 2700個網點 2萬客戶經理 60000萬客戶 加工1500個指標客戶360視圖 1000個指標全行存款類指標（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標數：700個）全行貸款類指標（余額、月日均、季度日均、年日均、日均

11、比同期、日均比年初）（指標數：400個）全行理財類指標（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標數：200個）全行中間業務類指標（余額、月日均、季度日均、年日均、日均比同期、日均比年初）（指標數：100個）全行存款、貸款、理財類、中間業務類指標分組排序（指標數：100個）加工內容：你的客戶經理各級老大天天需要的 再舉例：某銀行貸款數據在各平臺FTP計算效率對比數據量：1.8億條貸款記錄計算邏輯：將未到期的貸款記錄按銀行產品和日期逐條匹配FTP利率并計算FTP日成本及月累計成本FTP日成本=當月本日累計成本-當月上日累計成本=貸款本金余額*FTP利率/360*當月當日累計天

12、數-當月上日累計成本，其中當月上市累計成本從上一天的計算結果表中查詢SAP HANANETEZZAIMPALADB2Data Turbines集群數114413CPU4C/8核/共32核2C/8核/共16核2C/10核/共20核4C/4核/共16核2C/10核/共20核內存2T24G25616G24硬盤SSD:750G+SAS:2T300G3T2T1T成本（RMB:萬元）80303604020用時（秒）43996277152574572.5200各平臺硬件配置及成本預估男子100米決賽長表 三億條記錄 8列DB2提速400倍K40寬表 ： 80萬行 1076列DB2提速 1000倍K40140

13、0倍提速典型案例1 長表銀行客戶產品使用行為表 3億行 8 列 案例 找到晚上在市中心商場月消費2000元以上的年輕女性客戶，在RS6000 590 /DB2 上需要50-60 秒 在GPU上 僅需要0.1-0.2秒11000倍提速典型應用2 寬表信貸管理案例 840,000 行，1075 列，浮點和字符串混合類型 1. Locate a customerselect custno,jbxx101,BRTCOD from C_MEASURE_ALL where custno = 0000000789 2. Find all customers of education level above

14、undergraduatedselect custno,jbxx101,BRTCOD,jbxx128_name from C_MEASURE_ALL where jbxx128_name like “%graduated% 3. Find all customer with income rangeselect custno,jbxx101,BRTCOD,khckye441 from C_MEASURE_ALL where khckye441 1000 and khckye441 小雅問:您要在哪里辦業務呢？客戶回答：某某樓盤附近的地址。小雅理解： 這是我們的一個網點。小雅告訴她： 這個網點營

15、業時間是早9點到晚5點，周末下午4點下班。所以您明天早點來，因為還要排隊，周末人挺多的因為小雅知道了問題的以上5個方面，所以小雅又問：您要辦什么業務？客戶回答：我要存款10萬元現金。小雅的知識庫馬上告訴她：1.存款是很多產品的功能。2.可以是儲蓄，也可以是理財，于是小雅說： 我們有20多種產品可以用，您有開戶嗎？客戶如果說：沒有，小雅告訴客戶，存款產品先要開戶，開戶必須本人攜帶好身份證；如果客戶說：有，小雅告訴他您按時去那個網點就可以了；同時小雅建議客戶：您的金額比較大，可以根據輕重緩急，存成不同期限或通知存款。客戶問：什么是通知存款？小雅：XXXX介紹了一番通知存款的東西。小雅說：很多客戶會把資產分成活期、定期和理財的組合，例如你的10萬元如果存活期，你能一個月獲取200元的利息，但是存成定期或有400 元。 客戶說：定