1、海量非結構化數據處理技術在運營管理中的運用目錄2銀行數據全生命周期管理探討1海量非結構化數據特點及使用2規劃、設計、線上、近線、離線、下線、調閱、銷毀？結構化數據是哪些，非結構化數據是哪些，如何獲取？海量非結構化數據技術要點與實現3銀行數據全生命周期管理-系統數據、業務數據設計階段落實數據管理：投產前明確數據管控手段：生產數據管理備份與歸檔：歷史數據調用分析使用：提出應用系統數據管理規范定義應用系統數據管理協議明確不同類型數據的管控手段定義控制維護使用明確各類數據的特性確定各類數據的存在環境系統及業務數據的采集方式設計各類數據的備份與恢復生產數據性能及容量管理生產數據的備份與歸檔數據在線、近線

2、、下線管理備份數據有效性驗證與管理系統數據監控與分析業務數據的調用與登記業務數據的翻新與備份3銀行數據全生命周期管理目標數據規劃數據生產數據管理數據使用- 數據特性識別- 使用規劃設計 - 備份需求確認- 使用周期確定- 技術手段落實-生產狀態監控-運行趨勢分析-整體容量管理-歷史數據調閱-運營情況分析-業務創新支持數據管理- 在線生產數據監控采集- 近線查詢數據歸檔處理- 離線歸檔數據備份分析- 數據分析結果綜合運用-數據采集管理-數據加工處理-備份計劃管理-備份操作執行 -介質歸檔管理-備份周期管理4 數據管理如何實現 哪些是結構化數據 哪些是非結構化數據銀行各類數據的產生、分布、狀態、用

3、途.基礎運行產生技術相關數據業務執行產生動態與靜態數據信息操作安全賬務銀行單筆業務的執行，引起整體架構各層面產生各類關聯性數據審計安全事故故障單接入網絡服務器存儲規范發展變更管理虛擬化安全應用應用系統數據管理協議、日志輸出標準化.7業務標識設計：為業務全程分析埋下“線索”、染色請求：請求發起端，超時、成功率連接網絡轉發、動態分配，后端狀態轉換快速轉接、轉換，是否有堵塞服務業務服務原子交易，速度、可靠短連接：資源共用、容量大、連接耗時，關注異常波動長連接：資源專用、效率高，關注超時及掛起狀態系統間會話業務流程單系統交易業務標識：可用于故障定位、容量系數、業務分析.89銀行數據生命周期管理：從源頭

4、控制與實施q日志標準化l日志分類：應用系統，應將交易流水日志、系統debug日志，系統報錯日志l日志分級：各類日志應設置級別控制，通過動態開關，控制日志寫出的粒度l日志格式：各類應用日志，尤其是系統報錯日志，應遵守統一的格式要求l日志傳輸：日志寫出并傳輸的方式，應采用全行統一的傳輸方式q 交易報文標準化l 統一交易標識：全行統一的交易標識，在多系統中傳輸，便于監控和故障診斷l 報文加密策略：對中間件、應用服務器的報文加密進行統一規定9 數據管理如何實現 哪些是結構化數據 哪些是非結構化數據A Composite Web Application, Involving J2EE, Integrat

5、ion Middleware and Legacy Systems 系統名稱系統名稱是否含有下列內容是否含有下列內容交易流水表交易流水表交易代碼交易代碼交易日期交易日期交易時間交易時間交易狀態交易狀態分類統計分類統計圖形化前端管理系統圖形化前端管理系統(GTS)(GTS)有有有有有有有有有有分行號分行號理財產品銷售系統（理財產品銷售系統（FUNDFUND）有有有有有有有有有有有有電子支付平臺（電子支付平臺（EPAYEPAY）有有有有有有有有有有無無外匯買賣系統（外匯買賣系統（EXCHEXCH）有有有有有有有有有有無無動態口令集中認證管理平臺動態口令集中認證管理平臺(OPT)(OPT)有有有有有

6、有有有有有渠道渠道現金管理系統（現金管理系統（CaMSCaMS）有有有有有有有有有有有有手機銀行（手機銀行（CEMBCEMB）有有有有有有有有有有登錄方式登錄方式短信平臺系統短信平臺系統(MSG)(MSG)有有有有在同一字段內在同一字段內有有運營商運營商貴金屬交易系統貴金屬交易系統(GOLD)(GOLD)有有有有有有有有有有無無核心業務系統（核心業務系統（ECASECAS）有有有有有有有有有有業務種類業務種類Call-CenterCall-Center系統系統(CCS)(CCS)有有有有有有有有有有交易種類交易種類總行大前置系統（總行大前置系統（EBIPEBIP）前置二期監控實施中前置二期監控

7、實施中總行中間業務平臺（總行中間業務平臺（EBMPEBMP）有有有有有有有有有有無無新網絡銀行系統（新網絡銀行系統（NBANKNBANK）有有有有有有有有有有交易渠道交易渠道基金托管系統基金托管系統(FTS)(FTS)有有有有有有有有有有有有第三方存管系統第三方存管系統(IFTS)(IFTS)有有有有有有有有有有交易渠道交易渠道企業年金系統（企業年金系統（EPAMSEPAMS）有有有有有有有有改造后有改造后有交易渠道交易渠道客戶信息統一管理系統客戶信息統一管理系統(ECIF)(ECIF)有有有有有有有有有有無無信貸風險流程管理系統（信貸風險流程管理系統（CECMCECM）有有有有有有無無有有無

8、無市場風險管理系統市場風險管理系統(SUMMIT)(SUMMIT)有有有有有有有有有有無無結構化數據及其采集使用：交易流水. 數據管理如何實現 哪些是結構化數據 哪些是非結構化數據非結構化數據：運行產生的各類日志【靜態】運行過程中產生的各類日志為非結構化特性數據輸入日志的結構化程度很低日志的字段標示等非標準化跨日志關聯性高，但搜索線索難以自動化日志生成的形式多種多樣（文件名不定）難以采集、歸檔、查詢非標準日志難以定期清理難以保證日志的完整性難以做上下文關聯分析網絡端口監聽所有端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS計算機文件監測運行的文件批量上傳文件網絡，應

9、用，服務器和設備日志自定義腳本與APIs 可設定測試 WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系統 監測系統的變化 配置 密碼文件 關鍵性腳本與代碼13q XX系統應用協議分析： WTC+SOP是基本結構，SOP內還封裝其他協議 封裝XML、封裝|分隔的key-value pair非結構化數據：運行產生的網絡報文【動態】生產環境中的各類數據的關聯性、多樣性、復雜性目錄16銀行數據全生命周期管理探討1海量非結構化數據特點及使用2動態數據、靜態數據、結構化、非結構化、多層分布、邏輯相關運行監控、趨勢

10、分析、容量管理、數據歸檔、查詢統計、運營分析海量非結構化數據技術要點與實現3 數據分類及采集 日志類采集及使用 報文類采集及使用根據不同類型數據的特點，采取不同的技術手段l利用利用Hadoop、Storm等主流大數據技術，采等主流大數據技術，采集歸檔并分析海量非結集歸檔并分析海量非結構化日志，可完成跨層構化日志，可完成跨層面跨節點的多維度查詢面跨節點的多維度查詢與分析；與分析；l網絡報文為動態瞬時存在數據，采集、解讀、處理難度大，但數據為強客觀性，分析與利用價值高；網絡交易報文l利用GoldenGate等數據庫同步技術采集結構化數據，實現離線狀態下實時交易性能分析；非結構化日志離線交易流水監控

11、預警運營分析業務支持18網絡交易報文采集u 交易協議標準、規范u 協議非加密u 網絡鏡像流量獲取方便u 網絡節點間交易監控 應用交易日志采集u 交易日志保存在文本文件中u 日志格式標準、規范u 對交易日志有歸檔查詢、故障診斷分析的需求交易流水鏡像采集u 交易流水內容豐富u 交易流水信息保存在數據庫中 u交易流水表以Inset操作為主采集方式采集方式適用場景適用場景根據不同類型數據的特點，采取不同的技術手段19 數據分類及采集 日志類采集及使用 報文類采集及使用日志類數據采集：生產日志分析與監控的需求日志類數據采集：日志關鍵字分析使用樣例日志類數據采集：非結構數據結構化的使用 數據分類及采集 日

12、志類采集及使用 報文類采集及使用25網絡交換機流量交換機探針監控服務器將流量通過網絡交換機鏡像端口鏡像到流量交換機流量過濾，報文拆分不影響網絡運行將二進制流轉換為可讀的Pcap包按照通訊協議和報文格式解包網絡交易報文采集分析實現原理25通過網絡報文分析、提前預警故障隱患q前置前置-Connex上海上海 前置前置-connex北京北京26通過網絡報文分析、觀察關鍵業務會話狀態業務分析、創新支持數據歸檔、查詢服務運行采集、容量管理估值預警、隱患分析綜合監控、聚焦定位綜合采集使用日志+報文+數據庫28運行狀態綜合展現：觀測發現、聚焦定位、診斷分析服務臺視圖告警中心視圖告警大屏視圖交易視圖應用關聯性視

13、圖交易詳情視圖交易路徑視圖資源使用視圖告警熱度圖會話性能視圖一線視圖二線視圖 通過各種視圖有效運用，能夠把監控系統采集到的各類數據，展示給不同角色的用戶，在日常運維、重保值守，故障影響分析、故障定向定位等方面發揮重要作用。29系統容量數據采集：系統數據、應用數據、交易數據31歷史數據綜合查詢：海量歸檔、轉結構化、多維查詢32業務運行狀態分析：業務類型分布、業務類型趨勢用戶行為分析：操作行為、過程行為、結果選擇目錄34銀行數據全生命周期管理探討1海量非結構化數據特點及使用2采集與傳輸、歸檔與處理、查詢與統計、分析與展現、集成與運用采集的復雜性、傳輸的可靠性、處理的高效性、結構化能力.海量非結構化

14、數據技術要點與實現335類型采集方式日志來源管理目標歸檔周期過期處理備注syslogsyslogTCPsyslogUDP網絡采集，查詢，歸檔6個月銷毀記錄采集時間，日志發生時間。加工采集數據。防火墻webServerAPP服務器DBServerOracle-tracetailDB采集，查詢，歸檔，實時監控6個月銷毀文本tailwebServer采集，查詢，歸檔，實時監控12個月留存中間件應用日志性能tailOVO采集，查詢，實時監控1個月銷毀ITM事件tailOMNIBUS采集，查詢，實時監控，歸檔6個月銷毀資產tail交易流水采集，查詢，實時監控，歸檔12個月留存統一監控平臺網絡報文tail

15、BPC采集，查詢，實時監控，歸檔6個月銷毀WRT技術要點與實現架構：明確數據對象、設計技術手段明確數據對象、設計技術手段 日志類采集技術要點 網絡報文采集技術要點 數據整體管理與展現p采集與傳輸：p采集：根據業務、運維、監控、審計的需要，能夠按照關聯性、完整性、統計性等要求，采集各技術層面、各類生產環境、各中類型的生產日志；p傳輸：能夠將采集到的各類日志，按照要求（是否可丟失），安全、穩定、可靠的進行傳輸，傳送到日志采集服務器；p歸檔與查詢：p歸檔：將采集到的各類日志，按照系統、模塊、節點等架構規則，采集時間、保存周期等周期規則，業務、系統等屬性規則，進行多維度歸檔與備份；p查詢：按照歸檔的多

16、維度屬性，能夠進行跨系統、跨節點、跨文件綜合查詢；p分析與使用：p分析：針對非結構化數據，能夠完成各類邏輯分析（如：周期內同一事件的發生次數、比例等）p使用：根據分析規則，能夠產生各類、各級報警信息，并集成到監控系統，提供業務運行狀態實時數據及分析結果，提供業務運行特征分析結果；日志類數據采集關鍵技術要點虛擬設備VS 管道程序v開發和移植方面：管道兼容普通LINUX 及類UNIX 系統，而設備方式除了linux 通用外，每一個UNIX都是一套新的設備程序。v日志采集能力方面：設備方式可以采集任何寫入文件的日志，而管道方式只能采集 ”a+”(無文件則創建，有文件則追加) 文件。v日志采集范圍方面

17、：設備方式是一個設備可以采集該操作系統上所有應用日志，而管道方式，每多一個日志文件，必須對應多增加一個進程或線程來采集。在不修改應用系統的情況下，采集各類日志：固定文件名、時間變量文件、名稱變量、路徑變化、目錄下新增日志.38虛擬設備日志采集方式開始記錄日志系統VFS日志文件設備控制信息 攔截write日志輸出設置攔截路徑開啟/關閉采集應用虛擬設備配置控制程序攔截syslog控制其他相關設置管道程序采集日志方式開始打開日志文件(管道文件)寫入日志(管道文件)建立日志文件(管道文件)讀取日志文件(管道文件)日志輸出應用管道程序讀取管道syslog采集系統Data-IPData-IP：日志文件全路

18、徑：日志文件全路徑Ip+地址Ip+地址MappingHadoop塊塊塊塊App標識塊塊塊塊App標識塊塊塊塊App標識HDFS mr() NameNode/應用1應用2應用3.日志的歸檔與索引大數據平臺-邏輯架構Flume：是Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。42大數據平臺-邏輯架構Kafka 是由 LinkedIn 開發，主要是用來處理 LinkedIn的大面積活躍數據流處理(activity strea

19、m)1. 可持久化消息2目標是高流量處理3消費狀態信息并不保存在服務端，而是保存在消費端 4支持分布式。43大數據平臺-邏輯架構Storm ：是一套分布式的、可靠的，可容錯的用于處理流式數據的系統。處理工作會被委派給不同的任務處理組件，每個組件負責一項簡單的、特定的處理任務。44大數據平臺-邏輯架構Hadoop ：是一種可靠、高效、可伸縮的數據處理平臺。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。

20、此外，Hadoop依賴于普通的服務器，因此它的成本比較低。45 日志類采集技術要點 網絡報文采集技術要點 數據整體管理與展現確認應用協議類型暫未支持的協議獲取協議規范理解應用報文編碼和封裝方式等獲取樣本數據包逐一比對和驗證解碼已支持的協議修改配置文件實施開發解碼程序SOA中廣泛使用的協議：XML、SOAP、XML_over_TCP、Java序列化傳輸（RMI、Socket、EJB、JMS）、JSON、BSON等金融行業常用協議：8583類、IFX for ATM/POS、SNA、CICS(http封裝)、WAS(soap/jms)、WESB/WMB(soap/jms)、DB2_DRDA、Oracle TNS、CUPS、VISA、Mastercard、AE、JCB、三大運營商短信、Flexcube（核心銀行）、TATA Bancs（核心銀行）、FiServe（核心銀行）、先進數