研研究報告銀行所面臨的數(shù)據(jù)質(zhì)量問題及相關(guān)治理工作yuanqiaochen@icbc真實性、時效性和標準性。基于對問題成因、表象、發(fā)現(xiàn)途徑和解決思路的探討，結(jié)合銀行yuanqiaochen@icbc2銀行所面臨的數(shù)據(jù)質(zhì)量問題及相關(guān)治理工作探討在信息時代之下，數(shù)據(jù)已成為商業(yè)銀行經(jīng)營管理的核心基石，被公認為銀行的重要資產(chǎn)。為了提升數(shù)據(jù)利用率，銀行一方面需要數(shù)據(jù)質(zhì)量問題涉及數(shù)據(jù)完整性、真實性、時效性和標準性這四數(shù)據(jù)完整與否，關(guān)系到數(shù)據(jù)是否能夠提供對象的完全信息。如果數(shù)據(jù)存在缺失，那么缺失數(shù)據(jù)所蘊含信息便不可獲取；如果數(shù)據(jù)集缺失了很多包含關(guān)鍵信息的數(shù)據(jù)，那么數(shù)據(jù)分析結(jié)果將因為沒有考慮這些信息而出現(xiàn)誤差，進而對決策和行動產(chǎn)生誤導。在銀行業(yè)數(shù)據(jù)完整性可以細分為數(shù)據(jù)結(jié)構(gòu)完整性和數(shù)據(jù)樣本完整性。數(shù)據(jù)結(jié)構(gòu)完整性指的是數(shù)據(jù)字段是否能完整地提供數(shù)據(jù)使用方所需信3息，其在傳統(tǒng)二維表結(jié)構(gòu)數(shù)據(jù)中表現(xiàn)為有用字段所對應數(shù)據(jù)列的缺另一種數(shù)據(jù)完整性問題是數(shù)據(jù)樣本存在部分空缺，其在傳統(tǒng)二本缺失問題，最有效的解決方案是從數(shù)據(jù)源上補足缺失數(shù)據(jù)。退而求其次的辦法是利用均值插補、多重插補等統(tǒng)計技術(shù)進行缺失值補基于統(tǒng)計技術(shù)的缺失值插補相當于按照現(xiàn)有數(shù)據(jù)分布狀況來編造出編造數(shù)據(jù)的思路可能導致數(shù)據(jù)分析結(jié)果偏差。此外，盡可能擴充數(shù)據(jù)量也能夠緩解數(shù)據(jù)完整性不足，因為在數(shù)據(jù)量增大過程中，新增的質(zhì)量保證。需要補充說明的是，直接刪除不完整樣本也是一種數(shù)據(jù)缺失問題的應對方法，但絕非解決方法，該方法僅僅能確保后續(xù)很多時候數(shù)據(jù)雖有，卻與實際情況不符，如果關(guān)鍵數(shù)據(jù)存在失真，那么數(shù)據(jù)使用者將從虛假數(shù)據(jù)中分析出錯誤的結(jié)果，進一步導4銀行所面臨的數(shù)據(jù)質(zhì)量問題及相關(guān)治理工作探討致錯誤的決策和行動。在銀行經(jīng)營管理中，數(shù)據(jù)真實性問題的成因與數(shù)據(jù)完整性問題相比，數(shù)據(jù)真實性問題更加難以發(fā)現(xiàn)，但其危害性卻絲毫不減。這意味著，在解決數(shù)據(jù)真實性問題之前，發(fā)現(xiàn)該問題就是一道難關(guān)。數(shù)據(jù)真實性檢查往往需要大量的對照核實工取一部分數(shù)據(jù)樣本進行真實性檢查，根據(jù)抽樣數(shù)據(jù)中的數(shù)據(jù)失真情路是設計一套真實性判定規(guī)則，并將其寫成計算機程序，從而借助計算機的強大計算能力來實現(xiàn)機器遍歷檢查。常用的判定規(guī)則有兩5數(shù)據(jù)真實性檢驗完成后，數(shù)據(jù)治理者應更正或刪除存在失真的數(shù)據(jù)時效性問題也可以被細分為數(shù)據(jù)結(jié)構(gòu)時效性不足和數(shù)據(jù)樣本時效性不足，前者是一種特殊的數(shù)據(jù)結(jié)構(gòu)完整性不足，它相當于性不足則是一種特殊的數(shù)據(jù)真實性不足，它相當于數(shù)據(jù)樣本所蘊含6銀行所面臨的數(shù)據(jù)質(zhì)量問題及相關(guān)治理工作探討構(gòu)時效不足會產(chǎn)生與數(shù)據(jù)結(jié)構(gòu)不完整相近的負面影響——信息不全則會產(chǎn)生與數(shù)據(jù)樣本失真相近的負面影響——信息虛假導致數(shù)據(jù)分針對數(shù)據(jù)時效性問題，數(shù)據(jù)治理者首先根據(jù)數(shù)據(jù)產(chǎn)生時間和當理工作中，治理者需要根據(jù)現(xiàn)實情況的變化速率和幅度，來確定合適的數(shù)據(jù)更新頻率，一方面使數(shù)據(jù)保持時效性，另一方面避免因過數(shù)據(jù)標準化指的是為數(shù)據(jù)結(jié)構(gòu)、量級、單位制定標準，并將現(xiàn)有數(shù)據(jù)進行變換，使其滿足這些標準。數(shù)據(jù)標準化的作用主要在于7面對不斷產(chǎn)生的海量數(shù)據(jù)，銀行必須對數(shù)據(jù)進行標準化處理。但數(shù)據(jù)標準化絕不等同于數(shù)據(jù)同質(zhì)化，事實上，標準化和差異化之制定客戶和交易數(shù)據(jù)標準，并在業(yè)務條線維度上，根據(jù)不同業(yè)務條數(shù)據(jù)治理是數(shù)據(jù)使用所涉及的管理行為，其主要作用是提升數(shù)據(jù)使用效果。針對上述四種可能出現(xiàn)的數(shù)據(jù)質(zhì)量問題——完整性不足、真實性不足、時效性不足、標準性不足，銀行應從數(shù)據(jù)問題防范、檢查、解決這三個層面切入，構(gòu)建數(shù)據(jù)治理體系。下面給出一求的匹配程度，從數(shù)據(jù)應用的開端——數(shù)據(jù)場景上著手，防范數(shù)據(jù)8銀行所面臨的數(shù)據(jù)質(zhì)量問題及相關(guān)治理工作探討2.建立健全數(shù)據(jù)采集機制，通過優(yōu)化數(shù)據(jù)收集流程以及相應保障和監(jiān)督機制，減少數(shù)據(jù)未錄入和數(shù)據(jù)錄入錯誤問題，從數(shù)據(jù)收集3.構(gòu)建基于數(shù)據(jù)分類管理的數(shù)據(jù)樣本完整性問題治理機制4.構(gòu)