




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
2025數據與人工智能雷達10挑戰(zhàn)掌握您的數據2025年的AI轉型摘要第一章人工智能的崛起:是時候擴大規(guī)模并實現治理工業(yè)化了。 4工業(yè)化人工智能大規(guī)模通用人工智能:超越試點,實現機遇5AI73.AI94./AI同化,以加速創(chuàng)新并為未來做準備12第二章解鎖數據的全部潛力。 135.一個聯邦組織,用于統一數據相關的角色、標準和14個實踐6.盡可能民主化數據的使用,讓盡可能多的人使用數據177.數據講述,或使數據自我發(fā)聲的藝術20第三章數據治理和質量仍然是關鍵關注點。 218.2224第9點:非結構化數據的治理:組織面臨的一個日益增長的問題第10點:系統化測量數據產生的價值25...以及接下來是什么?通過做好準備工作來迎接未來 27以人為本的轉型 2數據與人工智能:2025年我們預期會看到什么?2024年對首席數據官/人工智能領導者來說是一個充滿挑戰(zhàn)的一年。其中現在也擔任首席數據與人工智能官,以及他們的團隊。人工智能,尤其是生成式人工智能的興起,增加了執(zhí)行委員會(ExCom)對數據與人工智能領域的興趣,而不斷變化的法規(guī)使得首席數據官面臨解決多個挑戰(zhàn)的壓力。他們必須在應對這些新興優(yōu)先事項的同時,出色地完成其傳統角色:確保公司最大限度地發(fā)揮其數據資產的價值,以增強業(yè)績、決策力和競爭力。為了幫助您制定到2025年(及以后)的戰(zhàn)略和路線圖,Wavestone已分析了塑造首席數據官日常職責的主要趨勢以及他們在未來幾年將面臨的核心挑戰(zhàn)。WavestoneCDOs/AI大熱點話題3人工智能的興起:時間進行擴大規(guī)模并且工業(yè)化治理4工業(yè)化人工智能盡管人工智能在以下方面有所上升:商業(yè)世界,大約85%的AI項目仍然失敗。達到生產階段。此數值略有降低但是仍然相對較高,并且只有最成熟的組織才能管理將其大幅降低。為了將人工智能項目全面推向生產并整合到業(yè)務流程的核心,公司正在重新思考它們的運營模式。挑戰(zhàn)雙方面:→定義一個組織角色和職責,提供在整個產品生命周期中自主交付產品所需的所有技能;
第二個挑戰(zhàn)在于配送實踐機器學習模型僅僅不足以實現價值;它需要為在生產環(huán)境中的部署而設計。過于常見的是,模型創(chuàng)建與部署分離,專為實驗設計。沒有設計權限,沒有開發(fā)框架,沒有自動化任務,沒有版本控制。朝著人工智能工業(yè)化發(fā)展意味著部署部分自動化模型和基礎設施管理實踐,這些實踐是為生產使用而設計的。機器學習運維(MachineLearningOperations)在解決這些問題。→定義 實踐 確保正人工智能的實施,從設計到維護在操作條件下的狀態(tài)。截至目前,第一個挑戰(zhàn)主要在于通過建立措施來解決人工智能工廠型組織。這些具體針對每個組織,但我們可以概述一個處于前沿的AI工廠的3個主要功能:第一目標是 地址 數據/人工智生態(tài)系統,與出版商建立關系從其中獲得最大價值市場提供的機會;→第二個是要交付應用案例,既可用于實驗也可用于產業(yè)化。第三項目旨在 引導該工廠的活動,上下游(管理業(yè)務需求,推動針對新用例的提案并且下游(促進采用、推動)推動變革及促進人工智能及其潛力在組織內)。2025年的通用AI工廠的先進示意圖MLOps:管理生產中AI模型的關鍵繼DevOps之后,MLOps是一系列旨在統一開發(fā)活動(Dev)和運營(Ops)管理人工智能模型,從開發(fā)到監(jiān)控,經過驗收和部署。盡管某些團隊現在在初始模型生產方面越來越熟練,但接下來要解決的挑戰(zhàn)將是高級的、自動的性能監(jiān)控、漂移檢測以及對連續(xù)重訓練的編排,以保持模型的相關性。
數據科學家面臨的挑戰(zhàn)不再是局限于模型開發(fā),而是要掌握機器學習工程技能,以確保這些實踐的實施。對于組織而言,挑戰(zhàn)在于在整個組織中定義一個連貫、共享的框架,當然這基于市場共享的最佳實踐,并推動變革以確保其實施。模型規(guī)模化的GenAI:從試點項目(PoC)向利用生成式AI帶來的機遇2024年見證了通用人工智能(GenAI)的興起。我們的研究顯示,2024年5月時,74%的組織已經開始實施通用人工智能的工作。生成式AI的PoC自2023年以來已經啟動,并取得了進展。導致令人信服的結果。然而,我們注意到許多公司仍然停留在PoC尚未能夠進入工業(yè)化階段。一些項目在啟動后超過一年仍處于PoC生成式AI讓決策者對PoC(ProofofConcept,概念驗證)產生恐懼了避免這種情況,我們建議:→定義組織內部所有試點項目(PoCs)的簡單規(guī)則。例如,試點項目必須時間與預算有限,經歷初步仲裁在第一個里程碑結束時進行,如果初步結果令人信服,則有可能再延長一次。如果預期結果需要很長時間才能證明,那么項目可能不得不終止,并將重點轉移到其他用例上;
能力等)。例如,我們如何確保能夠充分利用市場上一種提供改進性能的新模型,而無需重建一切?更糟糕的是,一些公司出于一種責任感,落后于競爭對手,迅速地與某些科技巨頭建立了合作伙伴關系以安撫決策者。這些選擇有時導致了供應商鎖定發(fā)現自己在創(chuàng)新能力、探索替代方案以及針對特定用例優(yōu)化方向的能力受到限制。除了靈活性,長期來看,財務等式也可能惡化。→管理一個單一的GenAIPoC組合(即使交付是分散的),并集體裁決哪些PoC值得從交付過渡到規(guī)模化(展示的價值、最優(yōu)的投資回報率等)。這些必須限制在數量上,并且必須是一個集體努力。被要求交付這些項目盡可能有效地。一項需謹慎思考的技術戰(zhàn)略
公司已經對其中長期策略進行了深思熟慮,因此他們已經將追求穩(wěn)健和技術多元化納入了自己的掌控之中。例如,許多人正在建設。模型無關的人工智能(GenAI)平臺并且架構這樣的平臺使得托管、訓練和監(jiān)控各種大型語言模型成為可能,確保了每個場景最適合的LLM能夠被用來獲得最佳價值。靈活性得到了保證,適應性以及容納新發(fā)布模型的能力也同樣如此。它很誘人,想要快速行動以利用通用人工智能并迅速獲得競爭優(yōu)勢。一些公司已經將數據科學家的鑰匙交給了家,以促進創(chuàng)新和價值實現的時間。然而,這種策略可能充滿風險:使用案例在本地交付,被視為一個單一單元,相對缺乏靈活性和可擴展性。所有這些都在整個生成人工智能生態(tài)系統快速演變、創(chuàng)新層出不窮(新模型、新實體化以代理形式呈現人工智能代理是一種設計用于處理復雜問題、制定行動方案并使用一系列工具執(zhí)行這些方案的系統。與傳統計算機應用不同,這些代理具有先進的推理、記憶和任務執(zhí)行能力。例如,這些代理可以解決復雜問題(例如,生成項目計劃、編寫代碼...),通過分析自己的輸出進行自我批評,使用現有工具和信息系統,甚至進行代理間的協作。
這些代理由幾個元素組成:核心代理人:中央整合要素所有處理功能。一種內存模塊:下文和連續(xù)性。一組工具:外部資源和API,代理人可以使用它們來執(zhí)行特定任務。一個規(guī)劃模塊:分析問題并制定解決策略。8人工智能治理:解決所有潛在問題的復雜性增加人工智能的興起也促使決策者加強治理,把握所有涉及的問題。這些問題很多:風險管理、合規(guī)性、主權、倫理、碳足跡,只是通過這一治理需要解決的一些問題。需要同時解決多個問題,以便確立實施人工智能的可持續(xù)方法。一個組織適應了全面解決人工智能相關挑戰(zhàn)。組織已經開始建立組織和角色來管理與人工智能相關的話題。它們都面臨著一項挑戰(zhàn):在保持全球集中控制的同時,不過度抑制地方性倡議和創(chuàng)新業(yè)務線倡議,實現議組合的分散化”。為了實現這一點,我們需要:明確界定中央和地方各級之間的職責和權限;
不斷增長的信任人工智能需求。可信人工智能指代一種設計和部署的人工智能,旨在保證高度的透明度、安全性、公平性,并尊重人權和倫理價值觀。此意味著人工智能是在符合規(guī)范的情況下開發(fā)的。嚴格的標準以避免不可控制的偏差,保護用戶隱私,并確保在面對錯誤或網絡攻擊時的魯棒性。可信的人工智能也是可解釋的,使用戶能夠理解它如何以及為何做出某些決策。最后,它包括負責任的治理,其中設計師和運營商對其影響承擔責任,同時整合控制和監(jiān)督機制以防止濫用或惡意使用。對于跨職能團隊(首席數據官、數據保護官、工廠等),定義每個成員的職責,并明確邊界和互動。
建立可信的人工智能需要涉及以下方面:實施多層次治理:AI固有主題,尤其是對人力資源、合作伙伴、客戶等方面的影響...;一個運營機構,用于管理投資組合、突出地方倡議確保符合《人工智能法案》(見以下)。
各種參與者:→倫理與CSR團隊,以定義一項體現明確原則并與組織價值觀相符的人工智能政策;→工程師在開發(fā)模型時,為了提供可解釋和有文檔記錄的模型→人力資源團隊,以幫助建立培訓模塊,以便團隊應用這些指令;→企業(yè)及數據科學家,用于分析偏差并監(jiān)控結果;→CISO和DPO,為保證安全,測試漏洞并執(zhí)行控制措施;→首席數據與人工智能官,以引導整體方法。《人工智能法案:為您的組織開始合規(guī)準備工作》《人工智能法案》于2024年8月頒布并生效。該法案旨在確保在歐洲聯盟內銷售的人工智能系統和模型得到道德、安全的使用,并且以尊重歐盟基本權利的方式進行。《AI法案》因此創(chuàng)造了適用于正在商業(yè)化和市場推廣的人工智能系統和模型的法規(guī)。研究無商業(yè)目的的活動不受影響的包括:所有在歐盟設有總部或在歐盟外設有總部但在歐盟內銷售其人工智能系統和模型的供應商、分銷商或部署者,法律實體(公司、基金會、協會、研究實驗室等)。
人工智能將在未來幾年逐步實施:→2025年2月2日:第5條生效,禁止使用具有不可接受風險的AI系統;→2025年8月2日:關于通用人工智能模型的法規(guī)即將開始實施。已經建立的歐盟人工智能辦公室將負責治理和監(jiān)管程序。不遵守規(guī)定也將開始實施制裁;→2026年8月2日:人工智能的廣泛應用行動開始,除第6條外。第一段關于高風險系統;→2027年8月2日:應用規(guī)則將擴展至高風險系統。歐洲委員會將于2026年2月1日之前發(fā)布關于高風險人工智能系統的實用指南和示例。法規(guī)水平和相關義務取決于人工智能系統或模型所呈現的風險水平。存在4個風險等級和4個合規(guī)等級:
如何開始合規(guī)工作?從評估現有的以及正在設置中的AI系統開始。→具有不可接受風險的AI:人工智能系統和 模型中存在不可接受的風險是被禁止的,不得在歐洲聯盟內銷售或用于出口;→高風險人工智能:高風險人工智能系統和模型必須獲得CE標志才能上市。→低風險人工智能:低風險人工智能系統和模型必須對用戶承擔信息和透明度義務;→低風險人工智能:最小風險的AI系統和模型可以符合行為準則。特殊義務適用于生成式人工智能以及……通用人工智能模型(如大型語言模型)的發(fā)展,根據基本模型是否可訪問以及其他輔助標準(計算能力、用戶數量等)而有所不同。
作為提醒,Wavestone與FranceDigitale和Gide聯合發(fā)布了一本實用指南,旨在幫助公司理解和應用歐洲人工智能法律。風險和網絡安全,在項目中往往被忽視。隨著圍繞人工智能(AI)的熱議,的根本。新的攻擊形式正在形成,例如投毒(數據以欺騙它)、預言(劫持AI使其透露不應透露的信息)或幻覺(使AI相信對人類來說是虛假但看不見的事情)。需要實施新的風險評估和保護措施。在短期內,因此優(yōu)先考慮的是利用人工智能確保業(yè)務項目,尤其是在以下階段:→人工智能應用案例分類根據監(jiān)管標準(參考未來的歐洲人工智能法案)或美國國家標準與技術研究院(NIST)的人工智能風險管理框架;→定義責任矩陣和治理用于驗證用例,考慮網絡安全、透明度、隱私、偏見和倫理;→在必要時實施具體措施。通過直接整合它們進入項目設計,或通過實施新型人工智能安全產品開始出現。11大規(guī)模的數據/人工智能文化融入,以加速創(chuàng)新并為未來做準備。創(chuàng)新采用的主要障礙之一仍然是人類的抵觸心理。人工智能也不例外,其采用仍然一個主要挑戰(zhàn),尤其是由于恐懼和因此,對于公司來說,通過解構這一技術并具體闡述其在實際應用中的運用,對團隊進行AI文化融合變得越來越至關重要。揭開人工智能的神秘面紗:關于它能(和不能)做什么的保證與告知第一次適應人工智能的挑戰(zhàn)是學會消除誤解和恐懼。圍繞它。對于許多人來說,人工智能仍被視為一種神秘
無數據,無人工智能!「最后,文化適應必須堅持認為魔法AI不存在,并且需務單位在數據管理方面的參與。大膽探索技術概念:將應用具體化的挑戰(zhàn)超越這種神秘化,重要的是敢于在教學方法上更進一步,通過具體術語向商業(yè)團隊解釋人工智能背后的技術。AI管理者:敢于向您的商業(yè)團隊和高級管理人員解釋R、LLM和聚類是什么。通過重復這些解釋并退后一步,您將能夠使人工智能在商業(yè)中的應用變得更加明確。過程具體化。員工隨后將能夠要了解如何將這些技術融入日常工作中,識別可以改造的過程以及為公司創(chuàng)造價值的機會點。12解鎖數據的全部潛力。13第二章準和實踐每個人都現在同意,數據是組織成功的關鍵資產。然而,由于其潛在的未充分利用,這通常是由于組織壁壘、知識、數據控制、可訪問性和互操作性。異質實踐也使得不同團隊之間的協作變得困難。
最成熟的組織已經采取措施將數據的鑰匙歸還給企業(yè)。這意味著讓業(yè)務職能參與數據管理,并使它們對這些活動負責。例如:為了應對這些挑戰(zhàn),數據治理仍然是關鍵詞。一個運營模型涵蓋組織、角色和職責,以及操作模式,對于所有組織來說仍然是一項必備條件。而且,在理論之外,通過所有參與者都能理解的切實實踐來思考實施,這是一種強有力的區(qū)分因素,而許多組織仍然局限于描述,而沒有將定義的要素應用于實際應用中。
→企業(yè)(重新)成為負有責任(的)對于其范圍內的數據管理(數據映射、文檔編制、質量監(jiān)控)并且實施糾正措施,等等;→數據辦公室扮演著樂隊指揮的角色,定義框架、工具、政策、實踐和標準。它還負責通過培訓和指導支持業(yè)務部門的發(fā)展。這個運營模式涵蓋了幾個關鍵主題:一個新的組織,圍繞聯盟數據域,其中企業(yè)重新控制他們的數據長期以來,IT和數據管理一直是數據管理的支柱。即發(fā)了一系列問題:業(yè)務單元在控制其數據方面缺乏自主權,相對依賴部門或數據部門以訪問其數據,從而延誤分析和項目的市場投放時間;→另一方面,IT部門是有時因對無法控制的數據質量負責而受到指責,以便開發(fā)生成和處理這些數據的過程。試圖解決這個問題往往涉及重新處理庫存,而沒有解決數據創(chuàng)建源頭的問題。
挑戰(zhàn)在于將業(yè)務單元對其數據資產的掌控權歸還給它們。14第二章重、招聘和職業(yè)管理之一。后果是多方面的:→難以管理勞動力以及戰(zhàn)略人力資源規(guī)劃;→在快速發(fā)展的技術和相關知識背景下,管理這些職位所需技能并保持其處于尖端狀態(tài)的難度。
整個組織中的通用標準和實踐為了這個聯邦組織能夠運作有效地,定義和統一數據至關重要。管理標準和實踐。此包括數據治理的通用規(guī)則,編目程序,文檔標準,以及安全性和合規(guī)性政策。此外,整個組織范圍內的數據目錄已定義,該目錄描述了業(yè)務。通過一個概念 數據術語表 文檔數據:,數據數據字典,并記錄了關鍵數據經歷的變化( 數據人無法理解這些個人資料和職業(yè)路徑背后的活動,且職
血統 ).業(yè)道路不明確。→數據相關的操作方法和責任需要被細致定義以圍欄為基礎,并且是組織內部其他成員的理解仍然不透明。因此,除了一個連貫的組織結構之外,數據/色正趨向于在整個組織內整合到一個共同的、共享的存儲庫中。人力資源團隊已完全融入這一方法。
統一的標準確保了組織內數據的一致性和質量。它們還促進了系統集成和互操作性,使數據對所有用戶更加易用和可訪問。例如,標準化的數據模型使得不同領域的團隊能夠更輕松地協作,分享見解,并倍增價值。已創(chuàng)建。此外,這些標準不僅促進組織內部的數據共享,還通過其他子公司,甚至與第三方和外部合作伙伴進行數據共享。15關注FiDA,獻:2023年6月,歐洲委員會提出的《金融數據接入》(FiDA)法規(guī)旨在為消費者金融數據的令》中已經引入的規(guī)則。(PSD2),僅涉及支付賬戶。本質上,FIDA將使得以下成為可能:金融機構之間如何使用和共享的清晰透明溝通。撤銷同意的能力數據共享;→增強安全,通過實施
嚴格的安保措施用于保護和處理金融數據;→標準化用戶數據和技術接口以加速數據共享能力。FiDA合規(guī)因此將需要實施訪問和共享非常具體客戶數據的規(guī)則,并有助于金融機構在數據共享能力方面的成熟度偶爾被迫提升。盡可能民主化數據的使用,讓盡可能多的人受益。框架因此設定,包括一個組織,角色/職責和運營模式。所有剩下的就是準備數據和使其盡可能多的人可用的。數據產品構建豐富的、待被利用的數據資源隨著數據爆炸及其應用加速,近年來出現了一個新范式以促進其訪問和使用。因此,數據產品的概念隨之產生,并現在被廣泛應用。一個數據產品可以被廣義地定義為“通過使用數據實現最終目標的產品”。因此,這一術語包括各種物品:術能力,其構建和演進以產品模式進行(例如,RAG平臺、數據目錄等);
此數據產品具有以下幾個基本功能:→可發(fā)現:Data是根據業(yè)務領域(然后是子領域、家族、業(yè)務對象等)進行“排序”并存儲的市場潛在消費者因此能夠看到哪些數據是可用的,閱讀其描述,并請求訪問權限。必要的;→自我描述:產品有文檔記錄,用戶可以獨立理解它們包含的內容(通過產品定義、元數據描述、數據新鮮度、范圍等)。可信:該數據的質量得到監(jiān)控,并共享相關指標,以便消費者判斷是否消費這些數據符合他們的利益。此外,明確了責任:確定了數據的所有者,以及負作為一種即食產品(例如,客戶倉庫、每區(qū)域銷售額等。分析產品(例如,BI儀表板,)推薦引擎、評分模型等。
責數據的團隊。管理活動;→易于訪問:機制已就位以便輕松管理訪問,并且通特別是,通過語言的誤用,數據產品被同化為“數據作為產品”這一概念。正是在這個意義上,數據產品被定義為通過……數據網格如ZhamakDehghani所定義(見下文)。
過(例如API)等方式促進了消費。這些數據產品的目標是為構建豐富的數據資源,其價值無需再證明,并通過多個用例來實際化這種價值創(chuàng)造。數據網格:數據驅動型商業(yè)的新方法將所有數據聚合到集中式數據中是在可擴展性、治理和敏捷性方面。數據網格是一種設計方法,旨在去中心化數據而加速其分享和消費,通過賦予生產者和消費者權力。每個域或團隊自行負責其數據。。
數據網格因此基于4個支柱,其概念已在上文詳細闡述:→將數據資產組織成數據域名;→數據管理作為產品;→自助平臺,用于訪問和管理數據;→聯合治理以覆蓋一切。職業(yè)的目標是什么?通過消除瓶頸(任何人都可以輕松共享數據)性(例如,通過避免數據復制);→從“按需數據”邏輯轉向“數據產品”邏輯,其中數據被設計成易于消費的形式。這些都是將使我們能夠邁向真正數據民主化的結果。自動服務和數據市場在創(chuàng)建數據產品的過程中,使其易于獲取以最大化其價值是至關重要的。為此,需要數據市場在數據產品中扮演核心角色。它使這些數據產品能夠集中化、組織化和直觀、安全地分發(fā)。通過提供平臺,用戶可以在此搜索、探索和獲取相關數據集,數據市場促進了透明度、效率和數據的最佳利用。因此,它成為數據民主化訪問和加速公司內部創(chuàng)新的戰(zhàn)略杠桿。市場在可用數據市場中非常密集。這些工具功能豐富,能夠解決復雜問題。這些工具的缺點是它們也可能被視為難以掌握,而業(yè)務單元需要被說服相信這些工具的好處。市場。
特別是,我們建議在產品模式下實施這樣一個市場平臺,涉及一組最終用戶參與選擇解決方案、設計并實施產品路線圖的過程。這種方法是變革管理流程的基石,并將極大地增強……鼓勵業(yè)務單位的支持。公民數據科學,或使數據科學對商業(yè)可訪問,降低技術先決條件公民數據科學家(CitizenDataScientist)的輪廓正在組織中顯現。這一角色并非正式職位,甚至不是一種正式角色,它位于業(yè)務專長與數據科學之間的交叉點。盡管不是高級數據科學技術的專家,但這一專業(yè)人士對業(yè)務問題有著扎實的理解,并能使用易于訪問的分析工具。得益于市場上可獲取的數據產品,以及通過平臺民主化數據科學使用的平臺,感謝這些,
無代碼/低代碼(Alteryx、Dataiku、Knime等),公民織采用數據驅動實踐方面發(fā)揮著關鍵作用。術許多公司最近推出了雄心勃勃的數據培訓計劃,特別是通過在其團隊中部署商業(yè)智能(BI)工具。雖然這種培訓使員工熟悉了“什么即工具的工程技術應用和數據接入——它往往省略了“如何":如何將此數據翻譯成可用的、有影響力的信息。今天,我們的目標是再進一步,通過培訓團隊進行數據故事講述。不再僅僅是操縱數據,而是學習如何基于洞見講述相關且令人信服的故事。這種技能正變得至關重要,以加強團隊從數據中提取最大戰(zhàn)略價值的能力,通過將數字轉換為明智的決策杠桿。如何在數據故事講述中培訓您的團隊:→理解故事講述的基礎:在深入數據之前,重要的是培訓參與者掌握故事講述的基礎知識。這包括敘事結構(及分析要素)。這些技能將有助于理解數據;
→將培訓重點放在目標受眾上:數據敘事不僅關注核心數據群體(數據分析師、數據科學家),鍵職能(戰(zhàn)略、營銷、運營等)以適應他們的利益相關者。正在處理(管理層、客戶、等等)(等)也有助于最大化信息的影響。→超越數字并選擇適當的可視化:團隊需要在解讀數據、提取相關見解并將其轉化為具體建議方面得到支持。此外,他們還需要在這一點上得到進一步的支持,尤其是在選擇合適的圖表或展示數據的方式上。這一點往往被忽視,并傾向于削弱我們傳達的信息。想傳達。這一數據講述觀念必須成為現有針對目標群體的培訓課程的一個核心組成部分。數據治理和質量保持關鍵關切成功結合數據質量和數據可觀察性supposedtobehandling他們的努力提高數據質量已取得成功。加上日益復雜的IT基礎設施,使得持續(xù)監(jiān)控變得更加必要。數據流動不可或缺。在如此眾多不同數據塊之間的互連,難以進行手動、非自動的監(jiān)督,因為這可能會在面臨可能影響數據管道的事件時留下反應行動的空間。數據可觀測性采取積極主動的質量監(jiān)控方法,快速準確地檢測數據流中的異常。它旨在提供對數據及系統健康狀況的全面可見性,使團隊能夠首先了解任何問題、其起源以及如何糾正這些問題。與對數據質量采取靜態(tài)方法相對,本學科專注于對數據在整個生命周期中(從源頭系統到下游分析)的流動性能和狀態(tài)進行實時監(jiān)控。利用這些工具,團隊可以預測數據問題,這是確保信息可靠性的關鍵要素。這些工具實現了自動化監(jiān)控、問題警報、數據比較、根本原因分析和服務級別協議跟蹤,使團隊對端到端數據質量有更深入的了解。對于利用數據生成洞察、構建機器學習模型的數據驅動型組織來說,這些工具至關重要。模型,或推動創(chuàng)新,數據可觀察性解決方案對于確保數據保持為有價值的資產而非風險至關重要。我們如何區(qū)分數據可觀察性和數據質量?數據可觀測性支持數據質量,但這兩個概念針對數據管理的不同方面。一個組織可以在沒有可觀測性工具的情況下擁有非常良好的數據質量,反之,實施此工具也不一定能保證質量管理方面的卓越。數據可觀測性工具→實時監(jiān)控工具對于快速、詳細分析數據攝取流程的性能至關重要。當今的可觀察性解決方案眾多,提供的功能越來越強大且全面;不可少的。個性化警報。這些警報將啟用立即檢測事件,并由運營團隊迅速介入。根據不同級別的嚴重性對其進行參數化,以保證對每種類型問題的適當響應;
純玩家正在進入市場以解決這個問題(Sifflet,Montecarlo,IBMDataband,Anomalo等)。數據質量管理nformatica,Talent等)的傳統玩家也在逐步解決這個問題。它還應被記住,盡管這個工具將有助于解決痛點,但它本身并不能獨立解決問題。無法解決所有數據質量問題。而且,這取決于其他因素。致首席數據官,提醒他們所有組織牢記著名的格言:“數據質量是每個人的業(yè)務。".以及每個階段的角色和職責。這包括負責監(jiān)控指標的小組、在出現問題時應接收警報的人員、要采取的措施以及需要動員的人員。視情況嚴重性而定。與所有利益相關者共同構建此過程,以確保有效實施并獲得所有團隊的支持,這是至關重要的。非結構化數據治理:組織面臨日益增長的問題人工智能的興起,尤其是生成式人工智能的興起,正在對……焦點重新轉向非結構化數據的治理,這已經組織內部始終是較為次要的關系。的確,數據湖和其他電子數據管理(EDM)系統隨著時間的推移積累了越來越多樣化的數據,而可靠可用文檔的操控能力對于RAG用例是必需的。總的來說,組織在這一領域仍處于起步階段。特別是,目前數據管理團隊正在處理兩個主題:1.實施非結構化數據處理實踐 利用人工智能加強數據治理管理非結構化數據需要特定的實踐。與以組織化表格形式存在的結構化數據不同,非結構化數據(文檔、圖像、視頻等)需要特別關注元數據,它提供內容標準化的最低要求。良好的元數據管理不僅可以更有效地對信息和檢索信息進行分類,而且還確保文檔保持最新狀態(tài),陳舊信息不會影響決策。例如,系統地為文檔添加日期,包括元數據和文檔內容,是一個良好的做法,以此處理沖突信息并將最新信息視為權威信息。
我們知道,數據治理是實現高性能AI此相反,AI分類,凈化與異常檢測,降低人工干預和人為錯誤的風險。例如:→OCR功能的使用,置于如EDMs以識別、分類并將文檔轉換為結構化數據,這些數據更容易進行管理;使用自然語言處理模型(或甚至大型語言模型)結構化文檔中提取結構化信息。第10條:系統化地測量數據產生的價值最后,一旦項目啟動,現在的問題是如何事實化它們產生的價值。實際上,今年由執(zhí)行委員會決定投入了大量的數據與人工智能投資。這一主題對執(zhí)行委員會的成員來說非常引人注目,他們希望“物有所值”并衡量投資回報(ROI)被決策者視為成本中心。因此,有必要區(qū)分數據與人工智能的使用。案例以及使這些用例得以實施的“使能者”。我們建議:→我們建議:→關于直接收益:要嚴謹地制定商業(yè)案例和監(jiān)控收益,通過涉及財務和內部控制團隊在此過程中的參與,以便能夠將這些要素轉化為損益表。關于間接收益:定義關鍵績效指標(KPIs),無論是財務指標還是其他(例如,客戶指標)。NPS)以事實化增加的價值其中一些(例如BI儀表板)無法轉化為投資回報率,盡管它們對商業(yè)活動至關重要。注意:即使對于直接收
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 上海對外經貿大學《小學課程與教學研究》2023-2024學年第二學期期末試卷
- 2025年數字營銷基礎知識考試題及答案
- 2025年藥物經濟學考試試卷及答案
- 2025年圖書情報專業(yè)考研試題及答案
- 四川省遂寧市2025年初三1月月考物理試題試卷含解析
- 麗江文化旅游學院《排水管網系統》2023-2024學年第二學期期末試卷
- 無錫科技職業(yè)學院《單片機與接口技術》2023-2024學年第二學期期末試卷
- 天津市津南區(qū)市級名校2025屆初三中考沖刺第二次考試生物試題試卷含解析
- 內蒙古烏蘭察布市重點達標名校2025年初三第一次調研測化學試題含解析
- 高清影視后期特效渲染農場租賃合同模板
- 高壓配電安裝工程施工組織設計
- GB∕T 18998.2-2022 工業(yè)用氯化聚氯乙烯(PVC-C)管道系統 第2部分:管材
- 武漢市農村土地承包經營權轉包出租合同
- 小學數學-課前三分鐘.ppt
- 鋼纖維混凝土檢查井蓋J
- 上海市節(jié)能評審和節(jié)能評估文件編制費用收費標準
- 河北省初中生綜合素質評價實施
- 各種液體粘度表
- 德國化學成分牌號與DIN17007系統的數字材料號對照表[1]
- 完整版,加工貿易手冊核銷
- 22-1附件1:國家電網公司班組建設管理標準
評論
0/150
提交評論