美的金融智能風控系統的構個人經歷010203010203業務挑戰業務目標核心架核心架構演進規劃資金歸集資金可視大額支付實時入賬票據服務信貸服務資金歸集資金可視大額支付實時入賬票據服務信貸服務保航。事業部消費者代理商增值產品產業鏈資金全線上化付認證等重要基礎服務給供應經銷商經銷商是對平臺能力的極大挑戰與價值體現。現01集成內外部黑名單，建設統一數01集成內外部黑名單，建設統一數據集市與數據資產，從而構02通過可視化的指標引擎與規則與決策流的可視化配置與求支付機構應建立客戶風險評級管理機制與003對風險預警事件統一管理與戶身份進行風險特征分析，背景發展需要、數據應用能力的矛盾；行足源0102010203核心架核心架構演進整體架構演進數據架構：如何應對與日俱增的海量數據和并發計算規劃數據查詢和存儲更新時效慢：T+1業務線多，數據格式不一致指標查詢配置存數據查詢和存儲更新時效慢：T+1業務線多，數據格式不一致指標查詢配置存取MySQLElasticsearch引擎DB(MySQL)指標同步數倉業務事件WEB觸發規則/規則流配WEB觸發觸發件風險管控弱問題發現慢系統高耦合Ai模型能力缺乏說明系統的對外API出入口。?元數據服務：提供數倉的META元件進行配置使用；?CEP指標引擎：包括CEP任務調P行用戶配置的指標計算任務。第一階段讀寫分讀寫分離SQL優化分庫分表數據量暴增如何應對與日俱增的海量數據和并發計算數據架構演進歷程第三階段第第三階段大數據選型ES數倉HIVE+ES落地數據服務數據遷移數據核算 對接支付平臺 引入實時計算+HBASE重構數據服務 效果初現 大數據選型ES數倉HIVE+ES落地數據服務數據遷移數據核算 平穩期平穩期存儲計算存儲計算??PB級數據存儲>分布式緩存??適配多業務線的異構數據>SQL化動態語法解釋數據架構核心設計思路入Flink引擎數據集成1.離線數據如何與Flink打通2.業務提供的MQ如何與Flink打通式2.多個指標如何靈活串聯為復雜存存算分離下的指標存儲結構?rowkey：hash(用戶唯一標識+指標ID)存存儲結構簡單HBaseHBase在海量數據，優勢明顯這這是一個寫大于查的場景HBaseHBase適用場景及當期發展e容易動態擴容。三方數據可以是：則配置抽象化。eRete算法的規則被激活。文本特征提取算法提取文本在詞匯、主題等層面的特征效果往往一般。基于基于NLP的文本相似度計算 (1)提取省市區先驗知識特征輔助地址文本相似度計算； g“微調”訓練;主要基于Sentence-BERT和CoSent 基于HNSW庫的KNN搜索改造基于ES向量化檢索增強D這張圖搜索某個頂點的K個最近鄰基于ES向量化檢索增強?向量存儲的索引的不是「詞元-文索引構建的時候會嘗試通過聚類而非倒排索引的方式構建。?向量搜索的數據索引不同于普通搜索machinelearning、deeplearning技存儲到搜索引擎「這里不是特指計算模塊對向量進行聚類保存。基于基于Flink-rocksDB的統計數據據就觸發計算)checkpiont」模分片計算：Lambda架構「批處理層+實時計算層+服務層」當天的指標采用實時計算，跨天的指標拆分兩部分計算：昨天及之前的指標+當天指標，兩個計算數據由「指標服務」合并計算最近3天的同一賬戶累計出金金額方案：制計算的窗口偏移量。化前方案一致A，周期]時間0102010203核心架核心架構演進規劃決策可視化整關聯風險挖掘風統一名單服務，級風控請求數據交互風險管理閉環決策引擎核心大數據中心標簽加工特