第2頁 3 3 3 3 5 5 21 31 34(一)數據治理概念數據治理是指將數據作為組織資產圍繞數據全生命周期而展開的相關管控活動、績效和風險管理工作的集合，以保障數據及其應用過程中的運營合規、風險可控和價值實現。數據治理體系是指從組織架構、管理制度、IT應用技術、績效考核等多個維度對組織的數據架構、元數據、數據質量、數據標準、數據安全、數據生命周期等各方面進行全面的梳理、建設并持續改進的體系。(二)數據治理目標結合當前行業組織信息化發展過程中數據業務相關的應用需求，以“風險可控、運營合規、價值實現”為數據治理總體目標：1)運營合規：組織應建立符合法律、規范和行業準則的數據合規管理體系，并通過評價評估、數據審計和優化改進等流程保證數據的合規性，促進數據價值的實現；2)風險可控：組織應建立、評估數據風險管理機制，確保數據風險不超過組織的風險偏好和風險容忍度，評估、指導和監督風險管理的實施；3)價值實現：組織應形成統一的數據驅動和數據價值理念，完善價值實現相關要素的定義、應用、調整，助力組織加快實現數字化進程。數據治理管控目標是提高組織數據的質量(準確性和完整性),保證數據的安全性(保密性、完整性及可用性),推進數字資源在組織各機構部門間的高效整合、對接和共享，從而提升組織整體數字化水平，充分發揮數據資產價值。數據資產意識在各組織機構中已經得到充分的認可，但目前各組織單位對數據資產的管控狀況依舊不容樂觀，制約了組織數據質量的進一步提高，同時也限制了數據價值的實現。根據行業信息化與數據治理發展現狀，各組織單位現階段對數據治理的需求主要存在以下五大方面：1)需要專門對數據治理進行監督和控制的組織。信息系統的建設和管理職能分散在各部門，致使數據管理的職責分散，權責不明確。組織機構各部門關注數據的角度不一樣，缺少一個組織從全局的視角對數據進行管理，導致無法建立統一的數據管理規程、標準等，相應的數據管理監督措施無法得到落實。組織機構的數據考核體系也尚未建立，無法保障數據管理標準和規程的有效執行。2)需要規范統一的數據標準和數據模型。組織機構為應對迅速變化的市場和社會需求，逐步建立了各自的信息系統，各部門站在各自的立場生產、使用和管理數據，使得數據分散在不同的部門和信息系統中，缺乏統一的數據規劃、可信的數據來源和數據標準，導致數據不規范、不一致、冗余、無法共享等問題出現，組織機構各部門對數據的理解難以應用一致的語言來描述，導致理解不一致。3)需要規范統一的主數據。組織機構核心系統間的人員等主要信息并不是存儲在一個獨立的系統中，或者不是通過統一的業務管理流程在系統間維護。缺乏主數據管理，使得主數據在整個業務范圍內保持一致、完整和可控無法保障，從而無法保證數據的準確性。4)需要統一集團化的數據質量管控體系。當前現狀中數據質量管理主要由各組織部門分頭進行；跨部門跨機構的數據質量溝通機制不完善；缺乏清晰的跨部門跨機構的數據質量管控標準與規范，數據分析隨機性強，存在業務需求不清的現象，影響數據質量；數據的自動采集尚未全面實現，處理過程存在人為干預問題，大多數部門存在數據質量管理人員不足、知識與經驗不夠、監管方式不全面等問題；缺乏完善的數據質量管控流程和系統支撐能力。5)需要基于數據全生命周期的治理。目前，大型集團或政務單位，數據的產生、使用、維護、備份到過時被銷毀的數據生命周期管理規范和流程還不完善，不能確定過期和無效數據的識別條件，且非結構化數據未納入數據生命周期的管理范疇；無信息化工具支撐數據生命周期狀態的查詢，未有效利用元數據管理。三、數據治理體系建設數據治理實施路線三年規劃數據治理實施路線三年規劃決策支持數據服務管理數據生命周期管理數據安全管理主數據管理數據質量管理數據標準管理元數據管理數據架構管理制度章程與辦法數據治理組織與職責數據治理管控流程數據治理管控宣介IT工具支撐(一)數據治理管控機制1數據治理組織有效的組織架構是項目成功的有力保證，為了達到項目預期目標，在項目開數據治理組織架構數據治理組織架構發人分粉分新注的1.2組織層次數據治理委員會由組織高層領導者組成。委員會定義數據治理愿景和目標；組織內跨業務部門和IT部門進行協調；設置數據治理計劃的總體方向；在發生策略分歧時進行協調。委員會也將包含來自部門或子公司的領導代表，以及來自數據為組織資產的信息科技部門代表。這些高層管理人員是數據治理計劃的所有擁護者，確保在整個組織內獲得支持。數據治理工作組是組織內委員會下面的下一個級別。工作組執行數據治理計劃。工作組負責監督數據管理員工作。數據治理工作組由數據治理委員會中各局領導主持。每各業務部門有至少一位業務分析員，信息科技部門設置數據質量分析員、數據管理員、集成開發人員。各工作人員負責本部門數據的質量，履行職責，解1.3角色職責根據數據管理工作的實際需要，在業務管理部門、技術管理部門和業務應用部門確定各工作人員的職責。1)從戰略角度來統籌和規劃，對數據資產和系統進行清理，確定數據治理的范圍；明確數據源的出處、使用和管理的流程及職責；2)明確數據治理的組織、功能、角色和職責；3)負責各工作組成員的培訓工作；4)負責審查各工作小組的目標、原則，批準數據管理的相關制度、標準及5)負責確定數據治理的工具、技術和平臺；6)負責制定數據治理的評估指標、方法。數據治理工作小組，其主要工作職責是：1)負責數據治理的牽頭，組織、指導和協調組織的數據治理工作；2)綜合數據治理管控辦法、數據治理考核機制等有關規章制度的牽頭制定、3)負責數據的分析整理并出具數據指標報告；4)負責數據的監測預測工作；5)建立數據沖突的處理流程和數據變更控制流程；6)負責對基礎數據質量的檢測、發布、考核和清理完善工作。工作組成員：業務分析員、數據質量分析員、數據管理員、集成開發員這些不同的角色在數據治理過程中承擔著彼此不同，而又相輔相成的職責。集成開發人員在數據治理流程中需要肩負起數據訪問、驗證數據結構、驗證數據、交付數據以及數據庫/知識庫的構建等角色，其主要工作職責作包括：1)訪問及交付相應數據給業務用戶；2)提高生產力和性能；3)最大化減少異常/出錯的影響；4)開發和完善技術最佳實踐。數據質量分析員在數據治理流程中負責數據的剖析、清洗匹配合并等，其主1)為開發人員定義數據規格及標準；2)為機構有效的追蹤數據質量問題；3)實施被業務人員和數據管理員定義正確的數據質量規則；第8頁4)不間斷的監控數據質量水平及問題。業務分析人員在數據治理流程中負責定義數據的轉換規則，其主要工作職責1)與需求開發人員協作，正確捕獲和解析業務需求；2)與開發人員和數據管理員協作，為業務用戶縮短數據產生價值的時間。數據管理員需要定義引證數據，并管理元數據，其主要工作職責作包括：1)保證數據的質量、正確、完整、一致、審計及安全性；2)定義引證/參考數據；3)為組織機構數據實體給出正確業務定義；4)為組織機構解決混淆和有爭論的數據定義。數據治理章程類似于企業的公司條例，該章程用以明確數據治理相關戰略規劃、合規管理和控制、標準和規范，如《數據治理工作管理辦法》,加強組織數據治理管理能力，滿足組織數據治理的要求，統一數據標準，提高數據質量，深化數據應用，支撐業務發展，提升管理水平及合規監管要求。具體可參見附件A數據治理管理辦法。2.2管控辦法數據治理管控辦法是基于規章制度與工具的結合，可落地的操作的辦法，用以完善數據管控相關的規章制度起草、審核、落實、監督的部門和管控機制，明確各數據管理活動的人員角色和職責、管理內容和相關流程，一般組織會設置《數據標準管控辦法》、《數據質量管控辦法》、《數據質量評估辦法》、《元數據管控具體可參見附件B數據質量評估辦法2.3考核機制考核是保障制度落實的根本，建立明確的考核制度，實際操作中可根據組織情況，建立數據治理管控相關的考核指標、制度和辦法，不斷優化相關機制。一般組織都會針對數據標準管理、數據質量管理、元數據管理等核心治理域設置相關的考核機制與指標，并與個人績效相關聯。對于數據質量的考核，可參見下圖：問題的個數月1、數據質量問題影響30%以下(含30%)信息系統，扣5分；2、數據質量問題影響30%~70%(含70%)信息系統，扣15分；3、數據質量問題影響70%以上信息系統，扣25分；國最大的數據為準；月考核標準：以造成的經濟損失為考核依據，年的處理個數和1、在規定時間內處理完成一例數據質量問題，加1分；否則不加分；月數據管控流程是基于數據治理各核心領域的工作目標，在數據治理組織下，明確各參與方的工作步驟、工作任務以及流轉方向。數據治理流程的設立是數據治理核心領域內容得以貫徹執行的基礎，通過將數據治理任務進行分解，最大程度提高數據治理的執行效率，降低管理成本。數據治理管控流程包括流程目標、流程任務、流程分級，根據數據治理的內容，建立相應流程，且遵循組織數據治理的規則制度。實際操作中可結合所使用的數據治理工具，與數據治理工具供應商進行協商，建立符合組織的流程管理。數據管控流程的設計應從組織實際出發，充分考慮組織的業務特點、管控模式以及數據管控的應急響應，同時將數據管控流程固化在相應的管理工具或平臺，實現各數據管理流程的自動化、可視化和實時監控。具體可參見附件C數據質量管控流程(二)數據治理核心域數據模型是數據構架中重要一部分，包括概念數據模型、邏輯數據模型和物理數據模型，是數據治理的關鍵、重點。理想的數據模型應該具有非冗余、穩定、一致、易用等特征。邏輯數據模型能涵蓋整個組織的業務范圍，以一種清晰的表達方式記錄跟蹤組織的重要數據元素及其變動，并利用它們之間各種可能的限制條件和關系來表達重要的業務規則。數據模型必須在設計過程中保持統一的業務定義。為了滿足將來不同的應用分析需要，邏輯數據模型的設計應該能夠支持最小粒度的詳細數據的存儲，以支持各種可能的分析查詢。同時保障邏輯數據模型能夠最大程度上減少冗余，并保障結構具有足夠的靈活性和擴展性。物理數據模型是邏輯數據模型在數據庫中的具體實現，是數據庫系統中實際數據的定義或主機文件系統中的文件結構定義，內容包括數據庫內所有的表、視圖、字段及其相關主鍵和外鍵的定義，以及系統內數據流向及系統間的數據交換關系。元數據是關于數據的數據，描述了數據定義和屬性。主要包括業務元數據、技術元數據和管理元數據。元數據管理的目的是厘清元數據之間的關系與脈絡，規范元數據設計、實現和運維的全生命周期過程。有效的元數據管理為技術與業務之間搭建了橋梁，為系統建設、運維、業務操作、管理分析和數據管控等工作的開展提供重要指導。元數據管理的內容主要包括元數據獲取、元數據存儲、元數據維護(變更維護、版本維護)、元數據分析(血緣分析、影響分析、實體差異分析、實體關聯分析、指標一致性分析、數據地圖展示)、元數據質量管理與第11頁3數據標準管理數據標準是組織建立的一套符合自身實際，涵蓋定義、操作、應用多層次數據的標準化體系。數據治理對標準的需求可以劃分為三類，即基礎類數據標準、指標類數據標準和專有類數據標準。基礎類數據是指組織日常業務開展過程中所產生的具有共同業務特性的基礎性數據。基礎數據可分為客戶、資產、協議、地域、產品、交易、渠道、機構、財務、營銷等主題。指標類數據是指為滿足組織內部管理需要及外部監管要求，在基礎性數據基礎上按一定統計、分析規則加工后的可定量化的數據。專有類數據標準是指公司架構下子公司在業務經營及管理4數據質量管理數據質量不高將影響數據應用程度。數據質量管理包含對數據的絕對質量管理、過程質量管理。絕對質量即數據的準確性、完整性、一致性等是數據本身應具有的屬性。過程質量即使用質量、存儲質量和傳輸質量。高質量的行業數據至少應滿足以下要求：一是準備性，在轉換、分析、存儲、傳輸、應用流程中不存在錯誤；二是完整性，數據庫應用或要求的所有記錄、字段都存在；三是一致性，體現在整個數據庫的定義和維護方面，確保數據在使用的整個過程中是一致的；四是時效性，衡量指標是在指定的數據與真實的業務情況同步的時間容忍度內，即指定的更新頻度內，及時被刷新的數據的百分比；五是可靠性，提供數據的數據源必須能夠可靠穩定地提供數據。數據質量管理的規劃和實施應至少包括以下內容：一是數據質量管控體系的建立，包括數據質量的評估體系，定期評估數據質二是在部門各個應用系統中的落實，包括每個應用系統中的數據質量檢查三是在最開始建立數據質量管理系統的時候，借助數據治理平臺上，通過建立數據質量管理的規則來集中化地建立數據質量管理系統，發現問題并持續改四是數據質量管理與業務稽核的結合，通過業務規則的稽核來發現數據質量深層次的問題，將數據質量與業務一線結合起來，使業務人員對數據質量問題有完善的數據質量管理是保障各項數據治理工作能夠得到有效落實，達到數據準確、完整的目標，并能夠提供有效的增值服務的重要基礎。5主數據管理主數據管理要做的就是從各部門的多個業務系統中整合最核心的、最需要共享的數據(主數據),集中進行數據的清洗和豐富，并且以服務的方式把統一的、完整的、準確的、具有權威性的主數據傳送給組織范圍內需要使用這些數據的操作型應用系統和分析型應用系統。2)主數據管理系統將整合之后完整、準確的主數據傳送給所有有關的應用系統3)主數據管理系統為決策支持和數據倉庫系統提供準確的數據源。因此對于主數據管理要考慮運用主數據管理系統實現，主數據管理系統的建設，要從建設初期就考慮整體的平臺框架和技術實現。6數據安全管理由于組織的重要且敏感信息大部分集中在應用系統中，數據安全更是至關重要。如何保障數據不被泄露和非法訪問，是非常關鍵的問題。數據安全管理主要解決的就是數據在保存、使用和交換過程中的安全問題。數據安全管理主要體現在以下六個方面：第13頁一是數據使用的安全性，包括基礎數據的保存、訪問和權限管理；二是數據隱私問題，系統中采集的敏感信息在下游分析系統和內部管理系統中，是否要進行加密，以避免數據被非法訪問；三是訪問權限統一管理，包括單點登錄問題及用戶名、數據和應用的訪問授四是數據安全審計，為數據修改、使用等環節設置審計方法，事后進行審計五是制度及流程建立，逐步建立數據安全性的管理辦法、系統開發規范、數據隱私管理辦法及相應的應用系統規范、在管理決策和分析類系統中的審計管理六是應用系統權限的訪問控制，建立集團級權限管理系統，增加數字水印等技術在應用系統中的使用。7數據生命周期管理數據生命周期管理一般包括數據生成及傳輸、數據存儲、數據處理及應用、數據銷毀四個方面。(1)數據生成及傳輸數據應該能夠按照數據質量標準和發展需要產生，應采取措施保證數據的準確性和完整性，業務系統上線前應該進行必要的安全測試，以保證上述措施的有效性。對于手工流程中產生的數據在相關制度中明確要求，并通過事中復核、事后檢查等手段保證其準確性和完整性。數據傳輸過程中需要考慮保密性和完整性的問題，對不同種類的數據分別采取不同的措施防止數據泄漏或數據被篡改。(2)數據存儲這個階段除了關注保密性、完整性之外，更要關心數據的可用性，對于大部分數據應采取分級存儲的方式，不僅存儲在本地遠程復制到磁盤陣列中，或者采用光盤庫進行存儲。對于存儲備份的數據要定期進行測試，確保其可訪問其數據完整。數據的備份恢復策略應該由數據的責任部門或責任人負責制定，信息化管理部門可以給予相應的支持。同時還需要注意因為部門需要或故障處理的需要，可能對數據進行修改，必須在數據管理辦法中明確數據修改的申請審批流程，審慎對待后臺數據修改。(3)數據處理和應用信息化相關部門需要對數據進行分析處理，以挖掘出對于管理及業務開展有價值的信息，為保證過程中數據的安全性，一般應采用聯機處理，系統只輸出分析處理的結果。但是實際中，因為相關數據分析系統建設不到位，需要從數據庫中提取數據后再對數據進行必要的分析處理，在這個過程中就需要關注數據提取操作是否可能對數據庫造成破壞、提取出的數據在交付給分析處理人員的過程中其安全性是否會降低、數據分析處理的環境安全性等。(4)數據銷毀這個階段主要涉及數據的保密性。應明確數據銷毀的流程，采用必要的工具，數據的銷毀應該有完整的記錄。尤其是對于需要送出外部修理的存儲設備，送修數據整合歸集最終目的就是要服務于各機構部門、人員等，能更準確更快更方便的服務是數據服務管理的目標。數據服務管理是指針對內部積累多年的數據，研究如何能夠充分利用這些數據，分析行業業務流程優化業務流程。數據使用的方式通常包括對數據的深度加工和分析，包括通過各種報表、工具來分析運營層面的問題，還包括通過數據挖掘等工具對數據進行深度加工，從而更好的管理者服務。通過建立統一的數據服務平臺來滿足針對跨部門、跨系統的數據應用。通過統一的數據服務平臺來統一數據源，變多源為單源，加快數據流轉速度，提升數據服務的效率。(三)IT工具支撐數據治理平臺/工具是支撐公司數據治理體系和制度辦法在流程上的執行落地，以最大限度地實現公司數據治理工作的自動化，提升數據治理能力和數據服目前市場上關于數據治理平臺存在不同的成熟產品，但在功能實現上大致相同，具體可參加下圖了解。數據管理門戶數據管理門戶數據運營監控數據使用概況數據規范遵循概況數據質量概況異常預警分析報告數據資產管理數據資產目業務數據模數據資產業務與物理數據處理過數據內容極型映射程全景圖搜索元數據管理數據安全管理數據質量管理分析數據服務監控管理數據數據標準管理數據服務管理數據治理平臺總體架構元數據基礎管理元數據基礎管理元數據采集元數據分析服務元橫型管理元數據功能采集適配器元數據管理功能架構數據問題處理數據問題處理用戶及權限管理數據質量規則庫數據質量檢核信息庫數據檢核引擎數據源適配器數據質量監控系統配置管理數據質量分析存儲層數據質量檢核功能層來源數據質量管理功能架構展示層展示層庫基礎層存儲層結構化咨詢成果元模型執行層數據標準管理功能架構技術規范是保障數據治理平臺可持續管理的基礎，隨著數據量的增長、技術水平的發展，為更好、可持續的實現數據資產的管理、應用，需建立明確的技術規范。結合數據治理相關管控制度和流程，構建組織的數據技術規范，包括：數據應用研發規范、數據架構規范、門戶數據整合規范、數據存儲規范等。在數據治理體系建設和完善的基礎上，調研分析數據治理產品和工具，結合組織實際應用需求，形成相關的數據治理產品選型標準和建議。(四)數據治理管控宣介結合組織數據治理現狀、數據治理體系建設、數據治理未來愿景、組織團隊建設以及信息系統建設等，構建具有針對性的數據治理管控宣介方案，形成數據治理的全員意識，為組織數據治理的成功實施提供保障。(五)數據治理實施規劃數據治理是一項長期的復雜工程，其涉及面之廣且深。為了更好地落實數據治理工作的開展，組織數據治理工作需要根據其當前的現狀和水平分階段的逐步開展，因此，有必要制定組織未來三年的數據治理實施路線圖，明確數據治理實施路徑，形成相關指引，為其IT戰略和數據戰略以及公司發展戰略規劃提供支撐。1)結合組織數據成熟度評估現狀、戰略愿景、治理目標，考慮未來三年數2)結合組織未來三年數據治理推進的重點工作，從IT投資、人力支持、重要程度和技術難度等維度開展數據治理實施的優先級分析，明確相關重點推進工作。四、數據治理應用證券行業作為一個數據密集型行業，無論是傳統線下業務還是新型的線上業務，其競爭的一個關鍵要素就是數據。隨著證券行業及證券公司業務種類、范圍等的逐漸延伸，使得IT系統產生的數據量以驚人的速度增長，面對巨大的數據規模，證券公司如何在監管報送和信息披露、風險控制、決策支持、精準營銷、產品定價、績效考核等各方面得到準確、及時、完整的數據支持，使其發揮價值是當前證券公司必須考慮的重要問題。1.1背景介紹企業普遍通過對IT系統建設生命周期中的主要環節，如業務需求、系統設計、測試上線等環節，運用數據標準或數據模型等工具，進行系統層面的管控，以數據規范性在信息系統的提升為主要目標。然而在實際推進過程中，往往遇到“數據治理與業務創新脫節”、“數據生產與應用脫節”、“信息化建設與業務規1.2場景描述為解決這一困境，建議組織將數據治理管控擴展到產品管理領域，以業務規范定義為源頭，將數據生命周期和產品管理流程相結合，借助產品目錄、業務臺賬規范和數據標準等工具，通過產品識別、產品信息要素梳理、數據標準定義、數據標準落地等治理活動進行數據治理管控，形成產品創新階段中數據治理的有>系統概費設計上數據標準定義識別產品.梳理戶品計劃觀范定又開發實施創建獲取產品創2.1背景介紹證券公司客戶授信首先來源于銀行的信貸管理，由于貸款人信用狀證券公司客戶授信首先來源于銀行的信貸管理，由于貸款人信用狀況多維性和復雜性，銀行通常無法準確快速判斷每個貸款人的信用情況，為全面獲得客戶的征信信息，對于證券公司來說，非常重要。匯的征信信息，對于證券公司來說，非常重要。匯聚客戶線上線下數據，包括消費數據、行為數據等，作為貸款客戶的重要征信依據，有利的支撐貸款授信業務，2.2場景描述某證券公司與銀行、移動公司合作推出了手機貸業務，通過手機貸某證券公司與銀行、移動公司合作推出了手機貸業務，通過手機貸APP終端，可方便的進行無抵押小額貸款。流程如下圖所示：端，可方便的進行無抵押小額貸款。流程如下圖所示：第20頁頁名注冊頁名注冊版數抵結果結果反饋_綜合評估請求標準化處理標準化數據滑息推送 1)用戶在得到手機貸業務的宣傳后，下載安裝并實名注冊手機貸客戶端。1)用戶在得到手機貸業務的宣傳后，下載安裝并實名注冊手機貸客戶端。2)2)APP進行注冊后，手機貸APP進行授信請求的推送。3)用戶同意授信后，3)用戶同意授信后，APP后臺發送數據請求到移動大數據平臺。4)大數據平臺以該手機號碼為關鍵字，進行用戶相關信息的采集和解析。5)采集后的數據通過數據標準化要求進行數據預處理，通過標準化處理和元數6)標準化數據經過平臺數據數據定價和評估模型，產生有價值的數據資產。6)標準化數據經過平臺數據數據定價和評估模型，產生有價值的數據資產。7)數據資產通過預先配置好的數據質量檢查規則，形成待服務數據。8)滿足數據質量要求的數據資產經過平臺相應數據安全機制驗證，產生評估結9)滿足評估結果的用戶會收到9)滿足評估結果的用戶會收到APP的相應推送消息，用戶可進行后續的貸款預3.1背景介紹隨著我國監管改革持續推進，監管部門對證券行業風險管理工作提出了更高司風險控制指標動態監控系統指引》等文件中明確提出建立健全數據治理和質量控制機制”、制定數據標準，涵蓋數據源管理、數據庫建設、數據質量監測等合規要求。目前，證券公司在風險管理方面主要存在以下不足：風險計量數據基礎完備性不足、風險計量模型表現有效性不足、風險計量結果應用充分性不足等問題，亟需全面建設數據驅動型風險管理體系。3.2場景描述為了全面滿足新形勢下對證券公司全面風險管理的要求，證券公司需要在前期工作的基礎上，進一步提升對風險數據、模型、系統以及人員的管理能力，全面建設數據驅動型風險管理體系。以構建深化風險管理中的數據治理管控機制為抓手，實現風險數據的統一視圖，并通過統一的數據服務和管理，確保數據的完整性和準確性，從而提升風險管理效率。流程如下圖所示：領導者風險視圖數據流程管理致概服務證券公司信息系統其他系統綜合壓力測試總量風險管理數規標準首理數據質量管理風賦教據模型元數據管理多維度風檢管理視圖專項風險管理預警監控數據資產估值數據資訊奧情數據數據創放輸理現為逐步提高數據資產利用效果，推動信息化建設向標準化、信息化和數字化方向發展，數據治理應遵循以下原則：(1)統一規范。數據標準要嚴格執行組織的統一標準。(2)分級管理。實行分層級的數據管理模式，明確職責分工，層層落實責任。(3)過程控制。建立數據從采集、報送、審核到應用、維護全過程的控制規范，保證數據質量，提高應用效果。(4)保障安全。建立數據訪問的身份驗證、權限管理及定期備份等安全制度，規范操作，做好病毒預防、入侵檢測和數據保密工作。(5)數據共享。整合應用系統，做到入口唯一，實現數據一次采集，集中數據治理的規范工作包括：數據標準、數據采集、數據審核、數據維護、數據分析、數據應用、數據發布、數據傳輸、數據存儲(備份、恢復)、數據安全管理、數據質量監控、數據管理考核等。(一)數據標準第一條組織數據必須按統一制定的數據標準和代碼規范執行。第二條在數據采集工作中，組織依據制定的標準進行數據的采集錄入、審核修正、數據質量監控和管理考核，確保數據質量。第三條數據指標的設定和修改必須嚴格執行軟件的管理規定和程序。數據治理管理小組根據業務管理部門的需求，及時制定(修改)數據采集的技術規范，包括數據采集格式、權限設定和方法步驟等，并按時向業務管理部門通報所采集數據的指標內容變化情況，以便業務部門根據采集到的指標提出數據加工需求。第四條數據指標的確定應以有效實用和優化服務為目標，不斷提高數據集中度和信息共享度，科學歸并各項業務的同類、同屬性指標，避免業務部門重復上報數據。(二)數據采集第一條數據采集重點是原始數據的采集，原始數據主要包括業務部門通過紙質資料報送的數據，通過電子傳輸報送的數據(含電磁介質報送的數據和網絡傳輸報送的數據，下同);相關部門通過紙質、電子傳輸提供的數據；管理業務處理結果(檢查、調查、核實、認定、審批等)產生的數據。第二條數據采集主要依靠應用系統進行錄入(導入),現用應用系統不能滿足數據采集需要的，通過相關系統的補錄模塊進行數據錄入(導入)第三條數據采集方式分為手工采集、數據電文導入和光學字符識別(OCR、圖形掃描等其他方式。為保障數據采集的質量，提高數據采集的效率，應充分應用信息化技術，最大限度地減少手工錄入。第四條為提高數據錄入質量，組織各有關機構部門要認真執行資料數據的核對制度，嚴格以原始資料為依據，確保錄入數據的一致性和準確性。數據采集錄入前，操作人員應先將準備錄入的原始資料或有關表證單書進行完整性、邏輯性、真實性審核，發現漏填、錯填和邏輯關系不符的，應于做出修正或補正；第五條對通過電子傳輸方式報送數據的，數據必須通過接收軟件相應設置的完整性、邏輯性審核。第六條各部門機構應建立紙質數據和電子數據的核對制度，明確職責分工和工作程序，落實崗位責任，發現問題及時處理。第七條對于未規定的數據采集標準規范，組織相關責任部門應根據不同的數據采集崗位和軟件覆蓋面，細化工作職責，量化作業標準，結合業務操作規程，建立統一的數據采集錄入操作規范和管理制度。數據采集規范應包括數據來源、采集時間、操作崗位、操作步驟、操作內容和采集內容的邏輯校驗等要素。第八條各級數據采集人員應強化數據質量意識,熟練掌握正確的采集和審核方法，按照部門職責分工，嚴格按照相關操作規范采集各類數據。第九條任何人不準擅自委托他人以本人用戶名錄入數據。確因工作需要委托他人以自己名義錄入的，必須報經主管領導批準，并及時更改口令。(三)數據審核第一條數據審核是確保數據質量的重要環節。審核的重點是數據的及時性、完整性、真實性、準確性和規范性。(1)及時性是指數據要在規定的時間內采集，確保應用系統數據與實際業(2)完整性是指數據采集應按照有關規定及相應表、證、單、書采集的要求進行，不得缺表或漏項，杜絕數據的機外操作和循環；(3)真實性是指數據采集要如實反映組織管理實際，以合法、真實的原始資料為依據，不得隨意捏造；(4)準確性是指數據采集應準確反映組織管理實際，與紙質資料數據一致，數據之間邏輯相符，不得出現運算錯誤或邏輯錯誤；第24頁(5)規范性是指數據采集應按照統一的業務標準及技術規范進行。第二條各部門及相關崗位人員按照自身工作職責范圍，負責相關數據的日常第三條為加強數據質量管理，省廳建立數據審核制度，數據管理員定期或不定期對已采集數據進行審核。對審核中發現的數據質量問題應及時反饋至具體的原始數據采集崗，限期補錄修正。第四條各部門機構可采取人工抽樣、數據軟件檢測等方式進行數據審核。對檢索出不符合標準的數據，反饋至原數據采集崗進行補錄修正。在數據應用環節發現的數據采集差錯，應通過相關業務管理部門的數據管理員進行審核確認，然后反饋至原數據采集崗進行變更修正。第五條審核中發現的差錯應及時通知相關部門。第六條數據審核崗人員與數據采集崗人員對數據問題有異議的，由上級業務主管部門負責對爭議事項做出裁定。(四)數據維護第一條數據維護包括對數據中錯誤數據的修正、不完整數據的補充、垃圾數據的清理及歷史數據的遷移等。第二條各業務管理部門應結合各應用系統制定詳細的數據維護工作制度，明確數據維護的權限、職責，嚴格按照工作制度進行數據維護。已經進入應用系統的數據，不得擅自修改、刪除。第三條對錯誤數據的修正和不完整數據的補充，組織統一按以下程序處理：(1)對尚未錄入應用系統或已錄入尚保留修改權限的數據，需修改的，可由前臺原數據采集崗根據審核意見糾正后重新錄入(或直接糾正);(2)對已錄入應用系統的數據，經審核發現錯誤，前臺原數據采集崗已無權限修改的，應根據具體業務工作流程和要求實行層級審批修正。第四條對已錄入應用系統需層級審批修正的數據，信息部門有權限處理的，應由數據修正申請機構部門及時提出數據修正申請，報數據所屬系統的責任部門對經確認不能予以修正的，有權修正單位應及時向申請單位或相關人員說明第25頁原因。第五條對需由數據中心辦理的數據修正事項，應由申請部門機構及時提出數據修正申請，分別報相關責任部門審批。數據中心在接到同意修正的申批后辦理。對經確認不能予以修正的，有關單位應及時向數據修正申請單位及有關人員第六條對不按規定程序上報審批的數據修正申請，各部門機構數據管理的技術管理團隊不予以修改。第七條對經查實，屬有關單位弄虛作假、人為調整指標等主觀因素造成其無法自行恢復的數據錯誤，各部門機構數據管理的技術管理團隊有權不予修正，并向相關責任部門報告。第八條各部門機構數據管理的技術管理團隊應按照系統初始維護設置和上級部門分配的權限實施數據修正業務。執行過程中如遇權限調整，各部門機構數據管理的技術管理團隊應在權限變動后十五日內向相關責任部門公告通知。第九條數據維護前應做好相應備份工作。數據維護工作應嚴格備案，對每項數據維護的內容、時間、維護原因、責任人等進行詳細記錄，涉及的書面材料必須登記存檔。第十條應用系統因數據平臺轉換、系統升級等原因需對歷史數據轉儲、遷移的，由信息技術部門會同業務管理部門確定歷史數據的處理方法，保證新舊數據的銜接和系統的平穩過渡。第十一條信息技術部門應加強對數據的監控，定期檢測數據的存儲，分析數據的構成，提出數據清理優化的方案，經業務管理部門確認后，定期進行垃圾數據的清理。垃圾數據主要指過期的、重復的、沒有使用價值的數據，不包括按規定應保留的歷史數據。(五)數據分析第一條數據分析是采取科學合理的方法，利用現代信息技術手段，對計算機應用系統生成的數據進行分析，充分發掘數據中蘊涵的信息，形成有用指標數據值的過程。第二條數據分析一般按照選題一分析一應用一反饋—再選題的方式進行，積極研究、探索科學實用的分析方法，同時依據數據應用過程中暴露出的問題，改進數據管理方法和手段，促進數據管理質量不斷提高。第三條數據分析分為固定分析和專項分析兩種。固定分析指標在一定時期內相對固定，通過編制應用軟件自動生成。專項分析的選題指標根據組織所處行業的新形勢和新問題專門設計，臨時從前臺或后臺抽取相關數據進行分析處理。第四條各部門機構應充分利用數據資源，規范數據分析程序，積極探索數據獲取、加工、計算、展現等過程的規律，不斷探索和創新數據分析方法，提高數據分析質量。(六)數據應用第一條數據應用分為直接使用和加工后使用。數據加工是指根據工作需要，用數理統計、多維分析等科學方法對數據進行抽取、匯集、歸類、挖掘、比對，并以報表、圖形、文字等形式展現數據處理結果。第二條各部門機構應充分利用數據資源，深化數據應用，用數據描述現狀，預測趨勢，規范執法，加強管理，優化服務，提供決策支持。數據應用的任務一(1)整合應用系統的數據，建立數據關聯關系，滿足各級、各部門、各崗位業務管理的需要。(2)分析行業管理現狀，研究存在問題，提出改進措施，提高管理水平，(3)監控執法過程，跟蹤執法結果，檢查執法質量。(4)建立合理的指標體系，全面考核和監控各部門機構管理的工作質量和(5)統籌規劃、合理分布數據，實現各類數據的全面共享，簡化組織審批第三條組織數據加工統一由數據中心承擔，信息部門提供技術支持。業務管理部門有特殊需求時，報相關責任人批準后及時向數據管理中心提出，數據管理中心應及時提供已加工數據列表和數據使用授權，以保證各部門業務管理需要。第四條數據加工分兩個層次，一個層次是為滿足日常業務需要，利用數據加工工具進行數據加工，供各部門日常管理使用，可直接展示數據處理結果；另一層次是滿足評估分析和輔助決策等數據應用系統的需要，利用數據加工工具或專用軟件對數據加工或進行系統間的數據銜接。第五條數據中心負責數據加工軟件的日常管理工作。第六條數據使用單位和人員必須嚴格按照授權使用數據，負責管理組織、本人口令，不得越權使用數據；不得采取任何方法破壞數據；對所使用的涉密數據負有保密責任。(七)數據發布第一條數據發布是數據管理的重要內容。各部門機構必須建立數據發布制度，明確數據發布職責，依法發布數據。第二條各部門機構對外公布數據必須報領導或分管領導批準后對外公布，否則不得擅自對外公布和發布數據。(八)數據傳輸第一條各部門機構應針對各項數據傳輸工作，設置專門崗位，明確職責分工，制定相應考核制度。第二條數據傳輸工作嚴格遵照相應的操作規程和時間要求，不得延誤。由于特殊原因，數據發送方不能按時完成數據傳輸任務時，應及時通知數據接收方，雙方應積極采取措施，恢復正常傳輸。數據傳輸完成，雙方應及時進行數據對賬。第三條數據傳輸應當使用組織機構內部計算機網絡完成，未經批準不得借助其它公共計算機網絡平臺進行數據傳輸。使用可移動載體進行數據傳輸的，傳輸完畢后，必須從載體上完全清除數據。第四條各部門機構內部信息的傳遞，如任務下達、信息交換、調查統計、報表報送、成果報告、情況通報等，應采取電子數據傳輸方式。第五條信息技術部門要定期檢測網絡運行狀況，及時發現解決網絡傳輸中的(九)數據存儲、備份和恢復第一條信息技術部門應加強對各類數據存儲和備份的管理，以保障應用系統第二條信息技術部門應定期對存儲和備份的數據進行整理優化，以提高系統運行和數據處理的效率。第三條各類數據由信息技術部門統一集中存儲和備份。第四條信息技術部門應根據不同類型數據的更新頻率、數據量、重要程度、保存期限，制定相應備份、恢復策略和操作規范。第五條已做備份的數據任何部門不得擅自更改。第六條數據備份文件必須存儲在非本機磁盤的其它介質中，建立登記制度，由專人保管，備份介質必須保存在符合條件的環境中，對應用系統中存儲時間長、使用頻度低的歷史數據，可按有關規定予以結轉、存儲，長期妥善保管，并隨時可供調取應用。重要數據應異地存放。第七條數據備份文件應定期進行恢復測試，以確保所備份的數據能夠及時、準確、完整地恢復。(十)數據安全管理第一條數據管理中心應建立健全數據安全管理制度和辦法。數據安全管理的內容包括：數據訪問的身份驗證、權限管理及數據的加密、保密、日志管理、網絡安全等。第二條為統一規范操作權限，各部門機構操作人員的錄入權限、訪問權限、維護權限應先由各業務管理部門按照部門、崗位的職責分工，提出權限設定規則，報數據管理領導小組批準后由信息技術部門予以維護，任何人不得擅自設立、變更和注銷。第三條各類應用系統的使用必須實行用戶身份驗證。應用系統應按規定設置相應的用戶名、密碼，并按不同權限級別，對用戶口令加密保護。操作人員應注意自己用戶名和口令的保密，并定期或不定期修改口令。第四條數據安全實行專人負責制。信息技術部門要指定專人負責系統數據及磁介質資料的安全管理工作。對數據庫的管理實行數據庫管理員制度，制定和明確管理員用戶和數據查詢用戶的操作權限及規程，關鍵數據庫管理崗位應設兩人第五條對涉密數據的傳輸、存儲，應嚴格按照相關規定進行加密處理。第六條對各類數據應嚴格執行保密制度，不得泄漏。對涉及從業人員隱私而未征得本人同意或按有關保密規定不能公開的數據，不得對外公開，也不得用于業務以外的其它目的。第七條對數據的各項操作應實行日志管理，嚴格監控操作過程，對發現的數據安全問題，要及時處理和上報。第八條各部門機構要加強網絡安全管理，采取嚴格措施,做好計算機病毒的預防、檢測、清除工作，防止各類針對網絡的攻擊，保證數據傳輸和存儲安全。管理員用戶應掌握和運用數據庫訪問跟蹤布控技術，加強對數據庫的核查與監第九條對需要長期保存的數據磁帶、磁盤，應在質量保證期內(一般為一年)進行轉儲，以防止數據失效造成損失。第十條系統維護和數據管理責任單位應當采取以下措施，保證信息系統應用(1)明確崗位職責，嚴格操作規范，完善內部控制；(2)加強應用系統的運行維護，定期進行數據備份；(3)實時監控數據庫的訪問情況，定期審核和更新數據庫的口令等(十一)數據質量監控第一條數據質量監控是數據管理中心以組織業務規程為基礎，通過建立數據質量指標體系和設置過錯類別，運用一定的手段和方法，對一定時期的數據質量進行檢查、認證、鑒定與評價等一系列管理活動。第二條數據質量監控應按照分途采集、集中比對、管住增量、強化責任的原則，對數據采集和處理的真實性、準確性、完整性、合法性、邏輯性、及時性進行監控。第三條組織各系統建立數據質量監控聯動機制，實行數據管理中心、基層數據管理員監控聯動。(1)數據管理中心負責組織全部范圍的數據質量監控，定期或不定期發布數據質量監控檢測結果。(2)數據管理中心負責組織全部范圍的數據質量監控，定期或不定期發布全市、區數據質量監控檢測結果，指導相關部門落實數據質量監控檢測結果。(3)基層數據管理員負責督導落實數據質量監控檢測結果。第四條數據管理中心應建立相應的數據質量監控機制，采用人機結合等方式，以一定形式對數據質量實施監控審核，并及時發布監控結果。第五條數據管理中心應于年度開始10日內制定年度數據質量監控檢測計劃，經相關領導、責任人批準后有計劃開展全年數據質量監控檢測工作，并報送第六條數據管理中心負責對數據質量監控發現的問題數據限期督導相關部門機構完成修正，一般最長要求5日內完成，并將修正結果報送審核。第七條對數據質量監控發現的問題數據嚴格按照本辦法數據維護規定的程序開展修正工作，任何人不得擅自修改。(十二)數據管理考核第一條數據管理是組織信息化建設的重要內容，數據質量直接關系到組織信息化的應用效果。各部門機構應根據本辦法所涉及的內容制定具體的數據管理考核辦法，建立切實有效的數據管理考核獎懲機制。第二條數據管理考核應遵循客觀公正、公開透明的原則。各級可采取日常考核和定期考核相結合、人工抽檢考核和機器全面檢測相結合的方法，強化數據管理考核。組織應對數據管理工作實施百分制考核，主要考核項目包括：(1)組織機構是否健全，崗位職責是否明確；(2)數據錄入是否及時，數據采集是否完整；(3)數據內容是否準確，抽取展示是否按時；(4)審核差錯是否修正，數據維護是否及時；(5)管理機制是否建立，安全措施是否到位。第三條數據管理考核辦法應突出數據錄入、審核、維護、備份、安全等重點環節，進行指標量化。依據標準，對必錄項的考核指標，在采集錄入環節，其及時率、準確率、完整率必須達到95%以上；經過審核、修正后，其“三率”的考核指標應達到99%以上。第四條各部門機構和部門人員發生下述行為之一的，組織應根據其危害程度、過錯大小、情節輕重等，依據執法責任制和目標管理責任制追究相應責任：(1)數據錄入不及時，造成下一環節工作延誤的；(2)數據錄入不規范、差錯率連續居高的；(3)未認真履行數據審核職責，造成大量數據差錯不能及時糾正的；(4)未及時進行數據維護，造成應用環節數據嚴重失真的；(5)未按規定存儲和備份數據，造成數據丟失的；(6)未按規定進行系統維護，或因過失引發信息系統運行障礙造成數據丟(7)未按規定實施安全管理防范措施，造成計算機系統癱瘓或病毒侵害嚴重，嚴重影響數據傳輸和存儲的；(8)未按規定執行保密制度，發生重大泄密事件的；(9)擅自對數據、權限進行修改、刪除，或擅自使用他人的用戶名、密碼(10)其他過錯行為。對有意破壞、惡意攻擊稅收應用信息系統，造成重大損失，涉嫌刑事責任的，移送司法機關處理。下面將從數據質量評估核心指標、數據質量評估模式、數據質量評估管理流程三個方面介紹數據質量評估方法。數據質量評估的核心指標指標定義：數據質量問題頻率=數據質量問題的總數據量根據數據質量評估指標將各數據倉庫中的主數據及其歷史行為劃分為三個第32頁數據質量等級統計口徑一級點監控二級數據質量問題頻率大于等于0.5次/GB,小三級通過對數據質量問題頻率的考評和等級劃分，就可以從數據倉庫眾多的數據中解放出來，集中精力把有限的資源投入到需要重點關注的主題數據。因此數據質量可信等級是數據質量提高的有效途徑。與之相配套的，必須建立了一套相關的管理制度，管理制度主要包括：(1)可信等級初始值確立流程質量管理小組牽頭，執行全面檢查后報數據中心主管部門批準后確立。(2)可信等級變更流程數據質量管理小組每季度、每年組織定時抽查、全面檢查時，每半年根據檢查結果對相關主題域的可信等級提出調整意見，報數據中心主管部門批準后確對于具體數據的質量檢查模式采用記錄數檢查法、關鍵指標總量驗證法、歷史數據對比法、值域判斷法、經驗審核法及匹配判斷法。通過這些方法方法，可以對單個數據點的數據準確性進行檢查，及時發現數據質量問題。(1)記錄數檢查法通過比較記錄條數，對數據情況進行概括性驗證。主要是檢查數據表的記錄數是否為確定的數值或在確定的范圍內。對于數據表中按日期進行增量加載的數據，每個加載周期遞增的記錄數為常數值或可以確定的范圍時，必須進行記錄條數檢驗。(2)關鍵指標總量驗證法第33頁對于關鍵指標，對比數據總量是否一致。主要是指具有相同業務含義，從不同維度統計的匯總邏輯的檢查。同表內對同個字段從不同的維度進行統計，存在匯總關系時，必須進行總量本表的字段與其它表中的字段具有相同的業務含義，從不同的維度統計，存在匯總關系，且兩張表的數據不是經同一數據源加工得到。滿足此條件時必須進(3)歷史數據對比法通過歷史數據觀察數據變化規律，從而驗證數據質量。通常以同比發展速度進行判斷。評估時應根據各種指標發展特點，重點對同比發展速度增幅(或降幅)較大的數據進行審核。歷史數據對比法包括同比和環比兩種方式。不能進行記錄數檢查法、關鍵指標總量驗證法，且事實表的記錄數小于1000萬條時必須進行歷史數據對比法。(4)值域判斷法確定一定時期內指標數據合理的變動區間，對區間外的數據進行重點審核。其中數據的合理變動區間范圍是直接根據業務經驗來確定的。事實表中的字段可以確定取值范圍，同時可以判定不在此范圍內的數據必定是錯誤的。滿足此條件必須進行值域判斷法。(5)經驗審核法針對報表中指標間邏輯關系僅靠計算機程序審核無法確認、量化，或有些審核雖設定數量界限，但界限較寬不好判定的情況，需要增加人工經驗審核。以上方法都不適用的情況下，可以使用經驗審核法。(6)匹配判斷法與相關部門提供或發布的有關數據進行對比驗證。第34頁與有相關部門提供或發布的有關數據口徑一致的，可以使用匹配判斷法。(一)數據質量校驗流程數據倉庫每天都有很多ETL任務定時執行加載數據，確保ETL加載數據的完整性、準確性是數據質量管理的基本要求。1)日常數據校驗數據質量管理人員每天要對ETL加載任務執行情況進行檢查。數據校驗方法選擇ETL任務數據質量校驗要求必須采用以下三類方法中的至少一種來進行判斷：記錄數檢查法；關鍵指標總量驗證法；值域判斷法。數據校驗周期每天ETL加載任務比較多，如果全部執行數據校驗需要的時間過長，因此根據每個主題數據的可信等級確定校驗頻率。一級：每次加載都必須執行數據校驗二級：每三次加載執行一次數據校驗三級：每六次加載執行一次數據校驗對于需要特別保障的主題數據，可調整校驗頻率并額外增加經驗審核法。2)定時數據抽查數據校驗確保每天加載的增量數據的完整性、準確性，在此基礎上，數據質量管理小組必須每季度組織一次數據倉庫的定期抽查。定期抽查的范圍必須包括可信等級為一級的所有主題數據，可信等級為二級的二個主題的數據，可信等級為三級的一個主題的數據。定期抽查必須采用數據質量評估方法中定義的所有方法。3)全面數據檢查數據質量管理小組必須每年組織一次數據倉庫的全面檢查。全面檢查的范圍包括企業數據中心平臺所有主題的數據。