1、XX銀行大數據建設規劃一、工程背景隨著信息化程度的加深,以及移動互聯網、物聯網的崛起,人們 產生的數據急劇膨脹,傳統的數據處理技術難以支撐數據大量的增長 和處理水平.經過近幾年的開展,大數據技術逐步成熟,可以幫助企 業整合更多的數據,從海量數據中挖掘出隱藏價值.大數據已經從“概 念走向“價值,逐步進入實施驗證階段.人們越來越期望能實現 海量數據的處理,從數據中發現價值.數據越來越成為一種重要的資 產.在2021年Gartner技術炒作曲線的報告中也表達了大數據技術 將走向實際應用.我行已深刻熟悉到數據戰略對企業運營以及企業未來開展方向 的重要性.互聯網金融的本質是金融,核心是數據,載體是平臺,

2、關 鍵是客戶體驗,開展趨勢是互聯網與金融的深度融合, 要提升大數據 奉獻度.因此,要深化互聯網思維理念,穩步推進互聯網金融產品和 效勞模式創新,積極利用移動互聯網、大數據等新技術新手段,沉著 應對沖擊和挑戰,實現傳統金融與互聯網金融的融合開展. 做好海量 異構數據的專業化整合集成、關聯共享、平安防護和維護治理,深度 挖掘數據含的巨大價值,探索銀行業務創新,實現數據資源的綜合應 用、深度應用,已成為提升企業核心競爭力,實現企業信息化可持續 開展的關鍵途徑.根據行領導部署,信息科技部組織力量對大數據技 術進行研究,完成對市場上主流的大數據平臺及應用技術預研,征求業務部門建議,提出工程建設要求.二、

3、建設目標以大數據工程建設作為契機,凝聚我行優勢力量,全面梳理數據 資源,完善數據體系架構,自主掌握大數據關鍵技術,加速大數據資 源的開發利用,將數據決策化貫穿到經營治理全流程,建設智慧銀行, 提升核心競爭力.一建設大數據根底設施,完善全行數據體系架構構建大數據平臺,實現更廣泛的半結構化、非結構化數據集中采 集、存儲、加工、分析和應用,極豐富我行的信息資源,同現有的企 業級數據倉庫和歷史數據存儲系統一起,形成根底數據體系,提供支 撐經營治理的各類數據應用.二開發大數據資源,支撐全行經營治理創新建設離線數據分析、實時數據/流數據分析集群和各類數據分析 集市,提供高性能可擴展的分布式計算引擎,通過數

4、據挖掘、計量分 析和機器學習等手段,對豐富的大數據資源進行開發使用,并將數據 決策化過程結合到風控、營銷、營運等經營治理活動.三培養大數據人才隊伍,建立大數據分析水平結合大數據工程的落地實施,建立起一支大數據技術和分析人員 隊伍,具備自主運營和開發大數據的水平,以更好推動業務創新,提 升我行核心競爭力.三、開展趨勢近年來,銀行業大力開展面向客戶的新一代核心業務系統,信息系統建設日趨完備,電子銀行等在線金融效勞大幅增長, 在提升客戶 體驗和風險管控水平、滿足監管各項要求的同時,形成并儲存了龐大 的可用數據資源.銀行業的數據資源不僅包括存貸匯等結構化數據, 也包括客戶瀏覽痕跡、在線交易記錄等非結構

5、化數據,還包含客戶語 音、網點視頻等非結構化數據.2021年,銀行業的記錄數據、業務 數據、數據倉庫數據、結構化數據和非結構化數據的數據規模分別達到 938T、1688T、3125T、5313T 和 3938T.Celent 公司預計未 來5年將增長7倍.除數據本身的快速增長外,銀行業面臨的更大的挑戰是大數據帶 來的業務挑戰,這包括：小微貸市場上,銀行與互聯網小額貸款公司 難以競爭；支付市場中,網銀支付所占比重越來越低,這使得銀行越 來越難以知道客戶的消費行為；各種互聯網融資模式的出現,在未來 可能會超過以銀行為中央的間接融資. 所有這些挑戰,本質上是銀行 對于客戶的了解程度相對越來越弱.麥肯

6、錫指出,在大數據時代,不 能充分形成大數據使用水平的競爭者將被淘汰.一同業案例情況國領先的商業銀行已經啟動大數據平臺的建設, 并應用于精準營 銷、風險治理和業務創新等領域,以獲得競爭優勢.工商銀行通過構 建大數據平臺,收集網銀用戶的行為軌跡并進行分析,精準營銷,擴 大銷售,優化網銀效勞模塊的質量,提升客戶體驗.招商銀行通過大 數據平臺構建全量數據分析和挖掘平臺,推出在線明細,實時征信, 精準營銷等創新業務,提升小微貸獲客率.銀行構建大數據平臺,用 于對客戶的資金的流入流出分析.銀行、光大銀行、平安銀行、民生 銀行都在建設自身的大數據平臺.二業務應用場景大數據技術在銀行業的應用圍包括：客戶洞察、

7、營銷支撐、風險 管控和營運優化等領域.客戶洞察分析用戶的各種數據,包括語音、網絡的監控錄像、商城交易信 息、金融業務信息以及外部的社交信息、第三方履約行為等多方面信 息,從而實現對客戶進行分類和效勞.對現有 CRM系統中的客戶分 層的數據要素進行延伸.營銷支撐實時營銷：是根據客戶的實時狀態來進行營銷,如客戶當時的所 在地、客戶最近一次消費等信息來有針對地進行營銷.社交網絡營銷：主要是微博營銷,這主要是捕捉用戶的言論和行 為,并有針對地開展相關營銷活動.事件式營銷：將改變生活的事件視為營銷時機,如換工作、改變 婚姻狀況、置業等.風險管控信用評級：運用社交網絡、行為特征、交易網、根本社會特征、 人

8、行征信等多個維度對客戶綜合評級,運用大量的指標構建多重模 型,以識別客戶的信用風險.反欺詐：通過監控客戶、賬戶和渠道等,提升銀行在交易、轉賬 和在線付款等領域防御欺詐的水平. 在監控客戶行為時,可以識別出 潛在的違規客戶,提示工作人員對其予以重點關注, 從而節省反欺詐 監控資源.營運優化改善用戶體驗：運用大數據能夠處理海量數據的水平, 將傳統數 據統計分析等業務切換到數據處理水平更強的平臺,來解決查詢歷史 數據的困難,提升用戶體驗.客服中央優化：通過對客服中央的數據分析,允許銀行提前預測 用戶需求用以快速地解決問題,能夠快速滿足用戶的需求.降低運營本錢：大數據平臺采用普通的 PC效勞器和廉價存

9、儲, 相對原有的小型機的硬件架構,可以有效的降低IT運營本錢.四、平臺建設原那么平臺是大數據的根底實施,其建設、設計和系統實現過程中,應 遵循如下指導原那么：經濟性：基于現有場景分析,對三年的數據量進行合理評估, 確定大數據平臺規模,后續根據實際情況再逐步優化擴容.可擴展性：架構設計與功能劃分模塊化,考慮各接口的開放性、 可擴展性,便于系統的快速擴展與維護,便于第三方系統的快速接入.可靠性：系統采用的系統結構、技術舉措、開發手段都應建立 在已經相當成熟的應用根底上,在技術效勞和維護響應上同用戶積極 配合,保證系統的可靠；對數據指標要保證完整性,準確性.平安性：針對系統級、應用級、網絡級,均提供

10、合理的平安手 段和舉措,為系統提供全方位的平安實施方案,保證企業部信息的安 全.大數據技術必須自主可控.先進性：涵蓋結構化,半結構化和非結構化數據存儲和分析的 特點.借鑒互聯網大數據存儲及分析的實踐, 使平臺具有良好的先進 性和彈性.支撐當前及未來數據應用需求,引入對應大數據相關技術.平臺性：歸納整理大數據需求,形成統一的大數據存儲效勞和 大數據分析效勞.利用多租戶,實現計算負荷和數據訪問負荷隔離. 多集群統一治理.分層解耦：大數據平臺提供開放的、標準的接口,實現與各應 用產品的無縫對接.五、分析應用規劃大數據工程實施在保持核心賬務系統穩定同時,實現外圍 IT架 構逐步向開放架構演進,同時逐步

11、吸納互聯網技術創新,應對大數據 技術的快速開展和進化.以全行三年戰略開展規劃和十三五規劃為導向,借鑒同業和互聯網企業的先進經驗,分步實施分析應用,根底平臺、外圍系統改造以 及業務流程優化相應地進行配套調整.規劃的大數據平臺及應用的整體架構如下：一樂姓出內容 二期掛上內白 三郎之一,苑巷小曲狗ISV版供匠把歷史明細直詢應用 精準營悄實時應用其它創新類應用也吐旺二析行為分聽用戶,鐮宜且繼事件營銷數真院作強好數據直同服各HEI&se Imp al a ELKhdfsa i-耐目隼肝W出版摑段本-Itase運唯治理平安管唾大數據平臺重點功能模塊定位如下：根底數據集群使用分布式文件系統和數據庫等

12、組件實現全量結構化數據和非 結構化數據存儲,并提供標準接口或 Rest標準接口,上層業務以只 讀方式訪問.數據使用平臺集成的工具批量導入導出.在線處理集群根底數據集群中的存放的往往是低價值密度的數據, 經過加工處 理后,提取出高價值密度的數據,放入在線查詢集群,支撐實時業務、 自助查詢等高并發,低時延的數據查詢.離線處理集群離線數據處理集群主要用于海量數據的分析處理,提供數據挖 掘、數據探索功能框架,從海量數據中提取高密度價值的數據.適用于對海量用戶行為數據挖掘、建模,以支撐以客戶為中央的精準營銷、 決策分析等應用場景.流式處理集群使用流式處理組件,將實時數據接入.通過注入實時業務處理規 那么

13、,對事件做分析處理,實時決策.流事件處理過程中,需要訪問基 礎集群或在線處理集群,獲取必要的支撐信息,如風險信息表、黑白、 歷史交易信息等,要求支持每秒萬級別并發數據訪問. 適用于信用卡 授權風險限制、移動在線支付、在線統計分析等對實時性要求較高的 場景.大數據平臺的數據來源及應用場景規劃如下：IL務價值應用場景喜p一四星知值管®網站分*|«能直身智雷富以力徐費十住北理射交叉留住一我PSS馱春理相分析實時苦俏事件營植運維HX分析信電平安分W用盧清蒂他司谷r席基 藺也惶is信宿 客戶丐st值 產品運首托工 品版主誓它第三方資信物吊束源移動寶化信息人行證信客戶信乒.方&

14、里逋詛系籟運斤口帝春照詢音行上和士瓜信息用相平W、第三方鉆據交挽方案分三步進行實施,如下:一2021 年完成大數據根底平臺的搭建,構建簡單的查詢分析應用,科技人 員熟悉平臺關鍵技術和開發技能.根底平臺完成大數據平臺的搭建,實現平臺的根底功能和根底數據集群.完成HDS歷史數據、科技運維日志、網銀日志、智能營銷網頁 信息數據的存儲.構建多種數據挖掘算法庫.完成根底數據平臺對外數據效勞的標準化接口.分析應用完成資金流向分析主題和歷史數據部查詢交易.提出直銷銀行、 銀行、微信銀行的數據采集點數據要求.提出用于支撐營銷的個人信息的數據采集要求.外圍系統改造完成直銷銀行、 銀行、微信銀行的數據采集點改造,

15、將行為 日志數據記錄下來.二2021-2021 年完善大數據根底平臺,增加離線數據處理集群,采集行各系統產 生的客戶行為數據,第三方合作機構含同業的外部數據,豐富客 戶營銷、風險治理方面的數據信息,探索大數據同云計算平臺的結合, 構建相應的分析應用系統,將數據決策融入營銷和風控過程.科技人 員掌握平臺關鍵技術,能夠自主營運開發.根底平臺增加離線數據處理集群,完善多種數據挖掘算法庫,用于對海量 數據進行加工處理,分析應用采集客戶行為數據,包括直銷銀行、 銀行、微信銀行等.遷移影像平臺的歷史數據.采集同業產品信息,我行網上輿論信息,特定客戶和行的互聯網 輿情信息,第三方合作機構、銀銀合作平臺的外部

16、數據.分析應用構建數據分析應用云計算平臺,實現半結構化、非結構化數據的 解析功能,完善支撐數據分析應用集市,提供更多的數據效勞,實現 靈活深入的客戶細分、專業化的營銷與銷售、優化治理流程,提升運 作效率、降低治理本錢.主要應用方向包括：客戶畫像分析個性化理財、交叉銷售、客戶挽留.輿情分析對產品的比擬、評價等反應,進行營運優化.分析 終端、微信、直銷銀行等,分析客戶行為.科技運維優化結合ITSM、系統運維日志分析事件、問題的關 聯性、各類統計等.信用風險在現有的信用評級體系中,增加外部數據來源,優化 評級結果,完善自動化授信審批,尤其是針對小微企業或特定產品, 推出信貸差異化定價體系,做到對不同產品、不同行業、不同區域實 施差異化定價.分析個人的活潑地址、商戶的地址,結合個人移動終端地理位置 信息推送商戶營銷信息；針對交易流水,結合 MCC類別碼,識別出 客戶愛好.業務流程將客戶畫像、行為分析結果反應到 CRM系統用于營銷支持.將分析結果反應到營運中,優化布局.將信用評級結果反應到現有的信貸授信過程.三2021年以后完善大數據根底平臺,增加在線和流式數據處理集群,通過構建 計量模型和機器學習算法,針對數據分析的結果,對實時業務進行自 動、快速的數據化決策支持.科技人員熟練掌握平臺關鍵技術.根底平臺增加在線和