1、攜程風(fēng)控實時大數(shù)據(jù)處理平臺攜程風(fēng)控1風(fēng)控需要哪些數(shù)據(jù)2風(fēng)控處理數(shù)據(jù)中的挑戰(zhàn)3聊聊風(fēng)控的3個核心服務(wù)攜程風(fēng)控只要和旅游相關(guān)的，攜程都做。機(jī)票酒店旅游火車票汽車票門票用車團(tuán)購郵輪禮品卡攜程風(fēng)控風(fēng)險類型支付風(fēng)險外卡風(fēng)險內(nèi)卡風(fēng)險賬戶風(fēng)險賬戶盜用業(yè)務(wù)風(fēng)險負(fù)利潤刷單資源占用惡意騙賠信息安全物理安全網(wǎng)絡(luò)安全數(shù)據(jù)安全攜程風(fēng)控訂 單 數(shù) 據(jù)數(shù) 據(jù) 預(yù) 處 理-變 量 及 衍 生 變 量黑 白 名 單 校 驗策略校驗嘗 試 行 為個 體 異 常群 體 異 常額 度 限 制流量計算信息匹配規(guī)則集規(guī)則校驗系統(tǒng)攜程風(fēng)控我們的挑戰(zhàn)：規(guī)則復(fù)雜：規(guī)則執(zhí)行需要依賴非常多的外部數(shù)據(jù)、以及大量的實時統(tǒng)計數(shù)據(jù)；數(shù)據(jù)復(fù)雜/分散：接入全

2、站各個業(yè)務(wù)線的訂單數(shù)據(jù)、支付數(shù)據(jù)、狀態(tài)變更事件、登錄/ 注冊事件、操作日志、營銷活動、用戶行為數(shù)據(jù)等，且數(shù)據(jù)量大；數(shù)據(jù)之間需要共享；以實時風(fēng)控為主，有極高的響應(yīng)要求；數(shù)據(jù)流訂單數(shù)據(jù)支付數(shù)據(jù)用戶日志狀態(tài)數(shù)據(jù)風(fēng)控接入層數(shù)據(jù)預(yù)處理&變量計算返回風(fēng)控結(jié)果推送至Kafka執(zhí)行實時規(guī)則和模型執(zhí)行觀察規(guī)則執(zhí)行復(fù)雜模型推送至工作流推送至Kafka風(fēng)險事件存儲分發(fā)至Hive實時流量統(tǒng)計風(fēng)險畫像計算Session分析設(shè)備ID計算設(shè)備指紋數(shù)據(jù)采集離線分析推送至Redis和HBase集群1.5億/日30億/日UBT數(shù)據(jù)接入Risk Graph分析其他數(shù)據(jù)監(jiān)控和TraceLog實時流量統(tǒng)計一些例子：一個uid，24小時

3、（精確到分鐘級）內(nèi)的訂單數(shù)量（根據(jù)訂單號去重、包含 當(dāng)筆交易）同一個設(shè)備7天內(nèi)、登錄的UID數(shù)量酒店產(chǎn)線，90天內(nèi)，同一ip，訂單數(shù)量 同一UID，10分鐘內(nèi)密碼錯誤次數(shù)實時流量統(tǒng)計特性：統(tǒng)計維度靈活、復(fù)雜； 支持不同精度；數(shù)據(jù)量大、訪問量大；滑動窗口跨度大； 有去重的需求；規(guī)則靈活多變、參數(shù)/閥值調(diào)整頻率高； 需要快速響應(yīng)需求的變化；規(guī)模：目前，我們的流量服務(wù)日查詢量300億次以上實時流量統(tǒng)計我們是怎么做的：使用Redis存儲流量數(shù)據(jù)多實例、分布式部署，提升吞吏量充分利用Redis的原子操作，提升性能實時流量統(tǒng)計丼例：同一uid一天內(nèi)（近1440分鐘）的訂單量（按orderId去重）實現(xiàn)：R

4、edis里保存分鐘精度、小時精度的統(tǒng)計值、以及統(tǒng)計值對應(yīng)的orderId的集合（Set） 查詢流量時先把近一天（近1440分鐘）折算出最少窗口數(shù)例如：2016-06-25 18:07 - 2016-06-26 18:06合并后：2016-06-25 18:07 - 2016-03-25 18:59 ：53分鐘2016-06-25 17:00 - 2016-03-26 17:00 ：23小時2016-06-26 18:00 - 2016-03-26 18:06 ：7分鐘最后對上面的83個KEY做sunion（并集）操作用戶行為分析UBT數(shù)據(jù)（20億+/日）Chloro服務(wù)輸出：Session數(shù)據(jù)（行為軌跡）、客戶端數(shù)據(jù)實時風(fēng)控人工審核每秒6萬條UBT數(shù)據(jù)秒級輸出結(jié)果，保證可用于實時風(fēng)控實現(xiàn)了跨設(shè)備、跨域名的Session計算自主研發(fā)的DAG系統(tǒng)用戶行為分析用戶行為分析關(guān)聯(lián)查詢訂單AcardNodeviceIdipmobile訂單B訂單C訂單DcardNodeviceIdipmobile關(guān)聯(lián)查詢技術(shù)的演變：2013年前，基于數(shù)據(jù)庫查詢，千萬級嘗試過Neo4J等多個開源Graph方案目前，需要回溯近1年的50億訂單數(shù)據(jù)基于HBase實現(xiàn)的Gr