數據治理之數字畫像收錄于話題\o"數據治理體系"#數據治理體系00引言隨著全網步入大數據時代，企業的目光日益聚焦在利用大數據服務精細化營銷、精細化運營上，各類客戶畫像、員工畫像理論如雨后春筍般興起，而數據應用的底層——數據治理，卻鮮有整體的理論體系。如何避免治理工作自身“無的放矢”，如何量化數據基礎建設的貢獻，我們需要為數據治理工作描繪一張“數字畫像”。這個命題的內涵外延非常豐富，在此我們選取用戶體驗、架構質量兩個角度進行討論。01用戶體驗的數字畫像基于不同的感知角度，將用戶分為外部客戶、內部用戶、管理層、技術人員四類，針對特定的業務場景刻畫四類使用者所體會到的“科技賦能”。1、外部客戶功能體驗指標：功能體驗指標用于衡量操作平臺的易用性及直觀程度。可以通過各類埋點，對用戶的點擊行為、頁面停留時間、頁面瀏覽深度進行跟蹤。從而挖掘用戶常使用的功能，探究用戶的實際需要，對于常用功能可以開展功能的改版優化，進行同業產品比較、用戶反饋調查等，重點關注主要功能的流暢度、實用性。平臺服務指標：（1）服務平臺一般利用API接口向外提供數據，因此，通過計算API調用率可以計算出其向外輸出服務的活躍程度。（2）由數據服務帶來的產品升值也是需要衡量的一大重要指標。營銷、運營等商業活動價值提升以一定的比例分配給其相應的數據治理工作，從業務部門有感的角度評估數據治理工作對營銷等活動的賦能。2、內部用戶便利性：過去業務部門向數據管理部門申請使用數據，通常使用郵件或行政流程的方式，這種方法無法實時跟蹤申請進度，也無法在統一的頁面集中管理，導致相關工作人員在查詢與溝通上花費了大量精力。建立自動化、規范化流程以及線上運營工具，將極大地便利流程，因此，手工提取工單壓降比率可以作為度量內部用戶程度的指標。時效性：線上化數據治理意味著資產地圖、標準架構即存放在用戶指尖，關鍵作業的全鏈路交付時間是觸達內部用戶的另一直觀感受。該指標可以通過統計各節點的流轉時間，計算相應平均值獲得。貢獻度：不僅是底層的數據管理，數據的應用輸出同樣能夠為用戶帶來實際業務價值。BI工具的使用、模型提供數量等指標標志著用戶對于應用類數據成果的滿意度。3、管理層質量提升：對于管理層而言，保障數據倉庫、數據湖的“清澈”是他們關心的問題。由于監管報送結果是銀保監對銀行的重點考核指標，報送規定的數據質量達標率成為對于管理層數據治理成效最直觀的反映。基于DQC的一系列指標同樣可作為面向管理層的數據清潔度體現。效率提升：除監管要求之外，數據運營成本對于全行管理也是至關重要的。只有建立規范和高效的數據架構，壓降數據報表，降低儲存、運維成本，才能實現精細化營運，維持高效率盈利。4、技術人員數據字典評分：當企業實施開發過程強管控時，數據字典的角色可看作是法律之于社會，其整體邏輯必須經得起反復推敲。在數據字典的查詢頁面設立評分反饋是一種簡單但行之有效的方法。頁面上有計劃的引導，反映設計者關注開發人員的使用體驗，從而讓“吐槽”變成建議，優化和解決使用數據字典時遇到的問題。02架構質量的數字畫像全行統一的數據架構應在追求高效率的同時降低成本，根據《華為數據之道》中信息架構的經典四范式，我們將從模型、分布、標準、資產四個角度對架構賦能能力進行度量。1、模型公共層加工頻率：公共層中存放有事實數據、維表數據等等，它們支撐著指標體系中的一級指標層。在建立指標時，將維度規范化、集約化，提高公共指標的復用性，減少重復加工的操作，故公共層數據模型的復用率可作為公共層架構評估的指數之一。應用層引用頻率：類似于人際關系網絡拓撲結構中的核心人物算法，該指數直接衡量應用層中數據的系統性重要程度，引導資產盤點的目標。數據血緣關系是一種有向的、無權值、無自環的網絡圖。被引用頻率高的資產一般來源于關鍵業務實體中最準確和最及時的業務記錄。這一些資產被跨部門、跨業務領域調用的概率最大，需要實現所有部門可訪問并且訪問到相同的數據。該指數還能夠有效地篩選出“孤兒表”、臨時表，減少資源投入和儲存成本。2、分布數據覆蓋：對于大型銀行而言，數以百計的系統，數以萬計的庫表在全國范圍內分布式儲存。采集是資產盤點的第一步，測量采集數在全量系統的覆蓋率幫助我們明確當前采集的進度，定位未采集的數據來源。數據冗余：數據冗余指同層數據的冗余，具體可分為兩個來源。第一，多個物理位置中存儲了相同意義的數據；第二，架構模型本身在設計上有較多的重復交叉項。數據容量：數據容量是對數據中臺的整體描述，它包括當前中臺所囊括的整體數據體量的絕對值，也包含該體量隨時間的增長比例。數據容量并非越高或者越低更理想，它需要結合銀行的現狀辯證性地看待。3、標準標準穩定性：數據標準規范化了數據含義、結構等等，應當滿足內容統一、不交叉定義等條件，避免數據標準內部發生“數據打架”。標準落標率：在標準的技術規范完備，主題齊全，標準已權威發布的前提下，標準落標率反映了數據標準“最后一公里”的執行情況。借助自動化工具，能夠計算出各類分層、切片后的數據落標率，智能化地發現落標潛在問題。4、資產技術元數據統計：技術元數據打通了源數據和數據倉庫，記錄了數據從產生到消亡的過程。我們從中挑選出系統覆蓋率、系統內表級覆蓋率、表名以及字段名的有效率、枚舉值的有效率等統計指標表示數據架構中技術類資產的產出效益。企業活動命中率：數據資產是從業務流程、業務模型中抽取出來的數字化描述。標簽資產對業務行為的命中率、指標資產對報表統計的命中率、報表資產的用