06-2021明略科學院版權所有112018年-至今務臺譜2018年-至今務臺譜2014年-至今市2008年-至今上數據的整合、分析洞察、智能化應用20202020年-至今型戶服務部?2006-2021明略科學院版權所有122§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術框架2§六步建設法§經驗總結?2006-2021明略科學院版權所有233技術趨勢§存儲和處理海量數據。助人類完成大量是感知和認知的§無紙化辦公，使得進銷存、人財物數據化，在線，提升決策效率§通過“眼睛”“耳朵”官，機器也擁有視聽覺、觸覺等感知。能夠幫助人類完看”和“聽”的簡§整合業務系統、物聯網數據，使析參與到生環節，決策§機器具備像人類一樣的能力，能夠決策和采取行分或全部替類的工作§釋放AI紅利，并解決AI應用場景碎片化問題；§解決知識資產化問題，解知識難分享、難傳承、難管理；譜AI?2006-2021明略科學院版權所有344臺式中臺式臺式中臺式湖式圖譜服務化帶來哪些好處復用性強：員工間、問題間、領域間穩定性高：數據源變化知識庫增強的檢索、推薦、可視化、規劃新聯→語義空間距離→二階推理反事實干預、問答?2006-2021明略科學院版權所有455的循環過程象：組織內的知識的循環過程的不同類型?野中郁次郎：《創造知識的企業》?國家標準委：知識管理框架，GB/T23703?2006-2021明略科學院版權所有566?事實知識Know-what原理知識Know-why決策知識Know-how?2006-2021明略科學院版權所有677系統架構：KaaS(KnowledgeasaService)?2006-2021明略科學院版權所有788§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術框架2§六步建設法§經驗總結?2006-2021明略科學院版權所有8991.知識建模2.知識抽取3.知識管理4.知識計算5.知識應用6.知識演化?2006-2021明略科學院版權所有9六步建設法(1)：知識建模示例?2006-2021明略科學院版權所有10六步建設法(1)：知識建模?原則：?層次化?一般性?約束性?可維護?可協作?方式：?循環迭代?2006-2021明略科學院版權所有11六步建設法(2)：知識抽取?2006-2021明略科學院版權所有12取技術路線圖型不穩定理射疊、備結表示?2006-2021明略科學院版權所有13件抽取RF詞嵌入層OB-LOCO 愛中我 hwcccbbbhhhwwwcbI-LOCOB-LOCO 愛中我 hwcccbbbhhhwwwcbI-LOC國國BiLSTM-CRF模型依存層(關系)依存層(關系)B.oRGI.oRG于于序列樹結構LSTM模型a......…?2006-2021明略科學院版權所有14表示學習 特征節點分類鏈接預測節點相似度…xi(1)yi(k)yi(1)yixi無監督組件無無監督組件參數共享有監督組件....拉普拉斯拉普拉斯特征映射..參數共享..節點i節點ixjyj(1)(k)yj(1)yjjxjttdt]時刻之間的概率f**t時刻之前的概率(tf**t時刻之前的概率(t):=f(t|H(t))fF(t)t+dtt=Tt1t2t+dtt=T歷史H(歷史H(t)?2006-2021明略科學院版權所有15六步建設法(3)：知識管理?2006-2021明略科學院版權所有16知識庫結構化數據庫知識融合非結構化文本知識庫l對齊結果格式轉換融合知識庫結構化數據庫知識融合非結構化文本知識庫l對齊結果格式轉換數據映數據映射清洗理信息抽取信息抽取預訓練語言模型聯合訓練模型預處理識別抽取合類別屬性子類不相交實例/關系融實例/關系融合參數先先驗對齊資源合傳播(b)圖匹配網絡((b)圖匹配網絡?2006-2021明略科學院版權所有17存儲?異構數據庫組合：融合后的增刪改查，及效率提升方案；量；小而美，支持特定應用，實時響應、批量同步；點方便，易于支持SQL低，固定的表結板Cassandra，的文件系統存在一起更容易進行分布式擴展局限dis理大量數據的高訪問負載，些日志系統等Key指向Value的鍵值對，通常用Hashtable快結構化，通常只被據數據結構要求不嚴格，表結構詢語法OpenTSDB，維由數據源(標簽)、度局限d址等很多時候需要全圖計算，實現分布式集群?2006-2021明略科學院版權所有18六步建設法(4)：知識計算?2006-2021明略科學院版權所有19L化知識表示：處于這一層次的知識，無論是言傳身教，還是文字圖表，都屬于非結構化表達，需要人去閱讀、理解、吸收，然后加以利用。L化知識表示：知識按照預先的約定(結構體系、符號體系)去表讀者快速檢索和理解。如：藥品說明書L知識表示：人類所生產和表達的知識能夠讓機器可讀、可執行。L4：從機到機的結構化知識表示：機器可以從數據源中抽取、歸納出知識并形式化的表達，然后在應用環節自動化執行。相關性規則模型工作流概念定義檢索推薦數倉集市語義庫數據圖譜可視化探索模型抽取業務指標標簽邏輯ETL邏輯?2006-2021明略科學院版權所有20執行規范 因果模型SCM理引擎模型 工作流模型PMML規范WfMC參考實現 所有2121六步建設法(5)：知識應用?2006-2021明略科學院版權所有22?2006-2021明略科學院版權所有23長期時序比單變量兩個變量 大量數據可視化兩個變量長期相對增減含子元素相對比例簡單份額絕對組成絕對組成組成及絕對差庫增強的可視化長期時序比單變量兩個變量 大量數據可視化兩個變量長期相對增減含子元素相對比例簡單份額絕對組成絕對組成組成及絕對差庫增強的可視化架少數類別多類別多類別有周期無周期單元少數類別多類別多類別有周期無周期少數類別少數類別短短期時序 單元素單變量不同時刻不同時刻不同元素不同元素 少量數據三個變量三個變量組組成動態動態靜靜態短短期相對比相對比例·從洞察到行動；?2006-2021明略科學院版權所有24文檔檢索:……增強的實體嵌入表示朱元璋家族族譜朱元文檔檢索:……增強的實體嵌入表示朱元璋家族族譜朱元璋描述類型家族族譜描述類型注意力…信息檢索常用框架知識庫增強的檢索算法知知識增強:文文檔重排序:排序特征集排序特征集成相關文檔查詢文查詢嵌入表示…增強的實體嵌入表示……MM MM MM MM 交互矩陣M…………最排序得分……Φ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralInformationRetrieval[C]//ACL2018.?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledgegraphembedding[C]//WWW2017.?2006-2021明略科學院版權所有25加入t基于單隱層自動編碼器基于ResNet的經典DNN結構用神經網絡替代協同過濾中的點積操作推薦系統與強化學習結合DRN在嵌入層與MLp之間加入注意力機制將因子分解機的隱向量作為嵌入表示初始化值DIN將LR作為wide部分,將MLp作為Deep加入t基于單隱層自動編碼器基于ResNet的經典DNN結構用神經網絡替代協同過濾中的點積操作推薦系統與強化學習結合DRN在嵌入層與MLp之間加入注意力機制將因子分解機的隱向量作為嵌入表示初始化值DIN將LR作為wide部分,將MLp作為Deep部分加入ARGRU序列模型,對興趣演化過程建模Deep部分改進wide部分改進DIEN將wide部分替換為跨層網絡處理特征交叉將wide部分由LR替換為FM在Deep部分加入注意力網絡AFMM推薦算法發展歷程：推薦DNNDNN/MLPFNNFNN在在Deep部分替換成有雙向交互層的MLpNFM引入學習推薦系統用戶向量物品向量KGE實體向量關系向量KGE實體向量關系向量用戶向量物品向量知識庫知識庫引入學習推薦系統用戶向量物品向量KGE實體向量關系向量KGE實體向量關系向量用戶向量物品向量知識庫知識庫KGE學習推薦系統學習推薦系統知知識庫(a)依次學習實實體向量關系向量用戶向量用戶向量物品向量(c)交替學習((c)交替學習交替學習KR?王喆．深度學習推薦系統[M]．北京：電子工業出版社，2020?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendation[J].IEEEAccess,2020?2006-2021明略科學院版權所有26得分s(q,a)=f(q)Tg(a)子圖的嵌入式表示g(a)問句的嵌入式表示f(q)積嵌入矩陣W問句的二進制編碼子圖的二進制編碼唐朝素葉城李白"詩得分s(q,a)=f(q)Tg(a)子圖的嵌入式表示g(a)問句的嵌入式表示f(q)積嵌入矩陣W問句的二進制編碼子圖的二進制編碼唐朝素葉城李白"詩人李白的出生地是哪里:"問句中的實體安西都護府候選答案子圖a系統可以分為：?信息檢索式問答、?FAQ問答、?知識庫問答。模塊句知識庫問答可以分為：?基于語義解析?基于信息抽取?基于向量建模候選答案與問句的匹配候選答案與問句的匹配度嵌嵌入模型嵌入矩陣嵌入矩陣W碎葉碎葉城BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithSubgraphEmbeddings[J].ComputerScience?2006-2021明略科學院版權所有27六步建設法(6)：知識演化?2006-2021明略科學院版權所有28演繹推理技術基于圖結構基于表示學習時序預測推理元學習小樣本強化學習推理 基于規則推理算法學習推理 混合推理zzz推理演繹推理技術基于圖結構基于表示學習時序預測推理元學習小樣本強化學習推理 基于規則推理算法學習推理 混合推理zzz歸納推理技歸納推理技術本體推理方法本體推理方法邏邏輯編程推理查詢重寫方查詢重寫方法產生式規則方產生式規則方法marriedToinfluenceshasChildsuperviseszxasChildzxyxhyxrriedTorriedToyrriedTorriedToyxyxasChildyxmarriedTohasChild yzxasChilddyx推理中的AMIE算法?2006-2021明略科學院版權所有29?國籍?居住地國籍?從政于真值邏輯連接推理?國籍?居住地國籍?從政于真值邏輯連接聯合訓練邏輯知識實體嵌入關系嵌入真值[0,1lGUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegraphsandlogicalrules[C]//EMLP2016神經網絡√√√?(圖靈,國籍,出生于出生于××觀察到的隱藏的√真?待預測權重tQUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495?2006-2021明略科學院版權所有30η12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθη12 τηη 4 ητ5η7velATaleofTwoCitieswrotehasFathershθθθθθθθ頭實體名Ψ(h)…頭實體描述Φ(h)…33關系名 r 尾實體描述t…尾實體描述66尾實體名t…ηηττθθθθ嵌入查詢詞融合掩碼抽取特征語義平均上下文特征ConMask算法示意圖SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010?2006-2021明略科學院版權所有31大到位保障無用功本高致性差KaaS建設經驗總結(大到位保障無用功本高致性差發新析 數據源分析schema設計發新析高家經驗1.領域schema：先自上而下確定一級主題，再自下而上針對分解2.人機協同：?理解業務：資深的業務專家比蹩腳的數據分析師更有價值?理解技術的局限性：歷史≠未來，關聯≠因果，一階智能?先機器反向標注，再人工修正3.主動學習：降低相似樣本的重復標注成本KG，如：獵豹穿越森林?2006-2021明略科學院版權所有32KaaS建設經驗總結(2)2.解決實際問題，不全是訓練模型：?管理手段+技術手段?數據質量、標注成本、現場考察?場景容錯性：技術上限v.s.商用下限3.訓模型不全是高大上的算法：?規則、線性模型不一定比非線性模型差，關鍵在特征?提高泛化能力是永遠的追求，加快速度也是?傳統行業中多數場景下可解釋性很重要習ROI=產出收益應用價值ROI=投入成本需求分析+方案設計+開發+標注+訓練+運維MFsVMLRMFsVMLRNB簡單規則規則引擎簡單模型復雜模型特征工程集成學習?2006-2021明略科學院版權所有33§營銷實踐§§營銷實踐§金融實踐§地鐵實踐§媒資實踐§政務實踐1§為什么要用知識圖譜§兩類用戶、三類知識§技術框架2§六步建設法§經驗總結?2006-2021明略科學院版權所有34保核賠、智能客服、藥物挖掘、影像診療、健康管理、智能排課、分級閱讀流管理、自主結算、數字供應商析、銷售復盤、消防應急交交?2006-2021明略科學院版權所有35企業的核心價值創造活動應鏈 破 理急處置企業的核心價值創造活動應鏈 破 理急處置料環人法機 生產制造運營調度供應鏈協同人貨 動 應鏈 場業的核心生產要素物事人地?2006-2021明略科學院版權所有36?2006-2021明略科學院版權所有37人群曝光TA效果媒體代言人指標體系廣成分功效場景步驟延展屬性品使用輿情作者原文痛點維度情感人群標簽興趣標簽戶關系性別基礎屬性年齡行為人群曝光TA效果媒體代言人指標體系廣成分功效場景步驟延展屬性品使用輿情作者原文痛點維度情感人群標簽興趣標簽戶關系性別基礎屬性年齡行為渠渠道類型投投放廣廣告來來源場場景?2006-2021明略科學院版權所有38察察的原因產品人群痛點察場景?2006-2021明略科學院版權所有390。這款車有痕顯，特意多上?2006-2021明略科學院版權所有401工作流配置模型參數配置規則集配置可視化導航數據服務系統策略配置與管理引擎規則引擎異常檢測時序表示在線學習數據路由模型管理工作流配置模型參數配置規則集配置可視化導航數據服務系統策略配置與管理引擎規則引擎異常檢測時序表示在線學習數據路由模型管理工作流引擎分類回歸關系圖譜特征工程構數據管理語義層(指標體系、集市)文件交換區主題層數據模型鏡像同步全量存儲實時畫像消息隊列實時清洗衍生加工?數據質量問題：跨系統、歷史遺留；?手工報表：零散的需求很多，提數周期長；?數據利用度低：無法加工復雜邏輯的衍生變量；銷銷售流失預警挽留直銷績效考核客群凈值提升直銷技能培訓渠道質量監控渠道分級管理培訓考核培訓考核保全策略催收策略數據修復信用評估材料核驗客群細分交叉銷售反欺詐運營貸后風風控資產質量監控模型穩定性規則有效性客戶畫像統一授信源RM業務系統爬蟲三方離線文件資源?打通內外部數據，構建關系網絡；?統一建模平臺與系統接口，消除煙囪；?縮短建模周期；財務、高管產品、運營、風控、審計報表系報表系統(明細報表、指標體系)SQL查詢半自動化經營報告拖拽查詢I異異構查詢ID聯打通控元數據維護數據規范質量監控收集檢索告警權限與加解密控制服務監控資源管控任務調度資產資產?2006-2021明略科學院版權所有412分析分析量選擇-變量分布情況-中位數、均值探索性分析跟蹤模型開發散化-sK.變換模型評估曲線指標-分值刻度設置分析分析量選擇-變量分布情況-中位數、均值探索性分析跟蹤模型開發散化-sK.變換模型評估曲線指標-分值刻度設置XTYX=第第一階段：?數據：人行征信報告?技術：線性模型第第二階段：?數據：人行征信報告第第三階段：?數據：人行征信+外部數據第第四階段：?數據：人行征信+外部數據?算法：在線學習?重點：客戶特征漂移問題-存量客戶數據-潛w客戶數據數據獲取處理處理數據預處理信用評分信用評分-對接業務系統監控-穩定性監控 (a)寬度學習 ( (a)寬度學習 (c)深度學習MM偏置梯度支持向量?2006-2021明略科學院版權所有423乏統籌規劃?應用規劃層次不清晰，通用抽象，標準不一致規劃?數據挖掘分析能力不足，未類型數據?車輛系統數據協議復雜，各相同量大?為維修、檢護人員提供最佳參考實踐，時長?降低檢護人力成本，由每日一檢變為?2006-2021明略科學院版權所有434P案例描述：XX車亮XXP案例描述：XX車亮XX(零部件)故障燈，儀維修：電腦檢查有故障碼001，換擋拔叉4位燈亮，XX零件學習后，故障又出模塊后故障依舊，申請更換XX閥體總成.譜：圖譜構建索案推薦析?2006-2021明略科學院版權所有445產品知識圖譜：智能型錄→知識在線→產品智能選型?2006-2021明略科學院版權所有