Al周艷愛數資深解決方案顧問CONTENTS愛數優化供需對接解決方案政府數據供需對接的困境政府數據供需對接的困境現有平臺搜索能力有限現有平臺搜索能力有限?在數據中臺中僅能通過“關鍵字完全匹配”方式進行數據搜索，加空格搜不出，長句也搜不出?數據中臺中歸集了大量數據，大部分只是物理集中、邏輯上仍是孤島，存在大量的暗數據能精準滿足數據需求部門的用數需求數據管理單位數據運營團隊數據需求交付效率低數據需求交付效率低對人的經驗要求高?數據需求部門基于目前的關鍵字搜索找不到自己想要的數據，數據管理部門或運營人員要頻繁跟數據需求部門科普和解釋表的作用愛數優化供需對接解決方案愛數優化供需對接方案架構圖 應用場景關聯搜索語義搜索智能問答 應用場景AnyFabricAnyFabric統計探測其他探測質量探測統計探測其他探測M最小值ArglliM最小值最大值平均值值分布業務時間戳數據分類有效性完整性唯一性及時最大值平均值值分布業務時間戳數據分類AgentAgent工廠LoomLoom大模型業務知識網絡數據虛擬化引擎數據源數據源數據中臺數據中臺?通過虛擬化引擎連接數?通過大模型對數據進行理解、業務語義補全?對數據進行多維度探測：數據質量，時間戳探測，?通過認知助手實現高效的找數用數、供需對接：AnyFabric認知助手×數據探測：業務語義自動補全數據源AnyFabric認知助手數據源數據支撐數據支撐t_member:-f_id,vchar(10),“Shenfenzheng”-f_nl,int(4),“”-f_dizhi,vchar(100),“長度100”提示詞提示詞表單元數據：{…}參考如下標準:{…}參考相似表單：{…}t_member：會員信息表-f_name:姓名，長度50人工審核|校驗AnyFabric認知助手找數技術原理上下文上下文新問題LLM2構建詞庫、知識圖譜進行背景知識增強新問題LLM背景知識3對于數據表和字段的詳盡業務語義背景知識34準確的主題域、業務對象、實體的定義3和錄像回傳的數據引用數據：2據助手：找到如下數據集總結上下文Query改寫總結上下文Query改寫虛擬視圖虛擬視圖APIAPI數據？1大模型判斷候選資源匹配度任務提示候選資源問題AnyFabric認知助手提供AI增強的搜索能力?特點:搜索詞是一個短語（詞組）或者短語的組合,信?關聯搜索:根據主題域\部門\數據owner\數據庫?特點:搜索詞是一個長句,需求信息比較完整?應用場景:如果用戶面臨一個數據分析需求，需要搜索能夠分析該課題的整套數據資源?給出可以滿足該需求的整套數據資源?利用歷史需求工單知識庫進行知識增強業務價值：對于數據需求方，優化數據供給，提升用數活力已知數據源直接申請未知數據通過文字描述對數據字段的需求數據運營團隊找數、線下溝通已知數據源直接申請未知數據通過文字描述對數據字段的需求數據運營團隊找數、線下溝通關聯搜索智能問答AI賦能智能理解、AI賦能全基于供需工單知識庫，進行智能數據推薦通過認知助手搜索框進行業務語義搜索，可直接看到表的業務語義，并可基于供需工單知識庫，進行智能數據推薦分享數據面向委辦/街鎮、業務部門的自助找數面向委辦/街鎮、業務部門的自助找數業務價值：對于數據運營方，簡化數據管理，降低人工成本關聯搜索關聯搜索智能問答AI賦能智能理解、AI賦能全通過數據探測結果判斷數據質量是否符合業務需求：質量六性基于供需工單知識庫，基于供需工單知識庫，進行智能數據推薦分享數據場景1：工單中有明確、完整的數據需求時，提升找數效率基于需求工單知識庫增強搜索效果根據用戶問題與需求工單知識庫中歷史需求的相似程度適應新場景需求場景2：第一輪搜索返回結果過多時，通過多輪問答幫助用戶逐步縮小范圍場景3：與認知助手互補的找數，通過數據探測自動分類數據，按目錄檢索定義分類標準全量探測分類按分類檢索庫表數據分類結果數據分類標準“通過掌握全區的知識產權數據分析研判全區范圍內的專利情況、區域分布等，需對專利信息進行區內數據篩選，更好的型專利信息、授權外觀設計專利信息、已公開但尚未授權發明申請信息進行清洗，并篩選出country字段為‘上海;319的數據。”通過數據探測，發現數據分布ODS_SHSDSJZX_SDSJZXXFSJ_ENFU_DWD_ods__dws_kwk_legal_personjck_zlxx_orc_txt不包含省市信息“通過掌握全區的知識產權數據分析研判全區范圍內的專利情況、區域分布等，需對專利信息進行區內數據篩選，更好的型專利信息、授權外觀設計專利信息、已公開但尚未授權發明申請信息進行清洗，并篩選出country字段為‘上海;319的數據。”通過數據探測，評估數據質量從完整性、唯一性、及時性、一致性、規范性、準確性6個緯度評估數據質量，可以基于數據資產的特點，設計數據質量評價模型，生成數據質量分數準確性通過數據探測，判斷數據時效性和鮮活度自動識別時間戳字段自動識別時間戳字段數據服務超市-視圖概覽查看數據更新時間例如“民生”分類，展現數據資源全景MH區數據局數據中臺當前的痛點??基礎庫（人口庫、法人庫等）數據不準，每年都要擴展和完善，只能基于字段名做搜索，從每個委辦、街鎮提供的表里找數據放到庫里去；?有新的主/專題庫建設時，不清楚找什么樣的表能滿足業務建設需求。?數據中臺中歸集了大量數據，大部分只是物理集中、邏輯上仍是孤島，存在大量的暗數據；?數據湖里一共有6.6萬張表，單副本存儲量為30+TB；按需治理的只有幾千張多表，不清楚每張表的含義和價值；?數據“一本賬”理不清：數據湖里的數據（含未入目錄和已入目錄的）量大、數據散，不知道且不能快速定位數據和數據之間的關聯關系。知識潛在作用待挖掘?知識潛在作用待挖掘?已梳理部分數據字典和工單知識，未將這些知識利用起nA數據供需對接需求多、找數不準?每天都會接到各委辦局（34個委辦局+14個街鎮及工業區）的數據需求，需求部門要求多，需要人工在數據湖里做數據探查；?需要頻繁跳轉到“數據治理-數據工廠”寫SQL來探索數據，對人的經驗要求高；?數據需求部門基于目前的關鍵字搜索找不到自己想要的數據，大數據中心或運營人員要頻繁跟數據需求部門科普和解釋表的作用和場景，人少活多，效率很低。希望以AI的能力實現數據中臺能力增強賦能業務基于智能推薦建設主、專題庫數據自動分類分級，保障數據安全智能的供需對接，降低人工成本數據自動分類分級，保障數據安全將“暗數據”的價值發揮出來數據質量自動識別，簡化數據管理將“暗數據”的價值發揮出來應用場景增強型數應用場景增強型數據中臺簡化數據管理極簡找數用數智能數據運營助手業務語義補全業務語義補全數據探測數據探測數據服務超市數據服務超市邏輯視圖邏輯視圖領域知識網絡知識增強知識增強數據虛擬化引擎數據源數據源通過AnyFabric數據探測高效、全面、準確摸清數據家底，簡化數據管理數據源探測數據源探測角色大數據中心數據資源科數據運營團隊重點工作全面梳理數據家底，形成開放清單完善分類分級開放機制角色大數據中心數據資源科數據運營團隊重點工作全面梳理數據家底，形成開放清單完善分類分級開放機制加強數據治理，提升數據質量數據質量難以評估數據質量難以評估數據質量探測數據質量探測數據鮮活度難以判斷數據鮮活度難以判斷業務更新時間探測業務更新時間探測數據分類分級效率低數據分類分級效率低數據分類分級探測供需對接流程優化：AnyFabric認知助手統一“結構數據”可以對”字段”申請范圍再進行調整輸入業務場景，數據資源需求等信息對回答結果是否滿意不滿意搜索能力優化：新增智能問答窗口11增加直接進入人工工單申請入口—二21頁面右側加入AnyFabric認知助手,通過多輪問答方式的智能找數，搜索框的搜索詞帶入問答，但是多輪AnyFabric認知助手：若用戶對回答結果滿意，選擇表提交申請添加搜索結果到共享申請單添加搜索結果到共享申請單AnyFabric認知助手：若用戶未找到滿意數據，直接進入人工工單流程搜索結果頁面點擊“需求申請”進入原申請頁面支持引用（申請填寫的）內容提問客戶價值：簡化數據管理，提升供需對接服務效率認知助手知識增強認知助手知識增強領域知識領域知識基于數據探測簡化數據管理，幫基于數據探測簡化數據管理，幫助大數據中心快速識別各委辦單位推送數據的質量情況和更新時間，將數據“一本賬”梳理得更清楚。優化供需對接流程，自動分析委辦提交的用數需求，快速推薦相關的數據及答案，實現高效的供需對接，提升供需對接服務的效率