城市醫院大數據資源綜合服

務平臺建設方案文件編號202XQK011/BT-ZTA-QK011文件狀態［］草稿［J］正式發布［］正在修改當前版本擬制日期審核日期目錄TOC\o"1-5"\h\z\o"CurrentDocument"第一章項目概述 4\o"CurrentDocument"建設內容 5建設目標 7\o"CurrentDocument"第二章系統設計 9\o"CurrentDocument"平臺架構 9\o"CurrentDocument"安全架構 10\o"CurrentDocument"業務流程 11\o"CurrentDocument"第三章 系統功能 12\o"CurrentDocument"數據對接 12\o"CurrentDocument"數據集成 13數據釆集 13數據整合 13數據質量管理 14數據標準管理 14病歷結構化 14\o"CurrentDocument"數據存儲 14基礎存儲功能 15主數據管理 15參考數據管理 15\o"CurrentDocument"數據模型 15數據清洗 15數據模型 163.43.數據操作 22主索引管理 22數據算法 24\o"CurrentDocument"數據加工 25數據資產管理 26資產門戶 26數據地圖 26數據血緣 28資產管理 28\o"CurrentDocument"數據開發 29\o"CurrentDocument"數據運維 30運維監控 30任務運維 30監控告警 31\o"CurrentDocument"數據質量 31規則配置 32自定義規則 32并發可用型 32智能優先級保障 32質量監控 33質量報警 33質量總覽 33\o"CurrentDocument"數據安全 33數據保護 34數據訪問審計 34醫療數據脫敏 34數據互通 35日志監控 36\o"CurrentDocument"第四章實施保障 37技術要求 37一站式的數據工場 37\o"CurrentDocument"無需落地即可完成復雜的操作流程 38第一章項目概述醫療機構大數據資源平臺的建設，是為了深入貫徹落實黨的十八大和十八屆三中、四中、五中全會精神，牢固樹立并切實貫徹創新、協調、綠色、開放、共享的發展理念，按照黨中央、國務院決策部署，發揮市場在資源配置中的決定性作用，更好發揮政府作用，以保障全體人民健康為出發點，強化頂層設計，夯實基層基礎完善政策制度，創新工作機制，大力推動政府健康醫療信息系統和公眾健康醫療數據互聯融合、開放共享，消除信息孤島，積極營造促進健康醫療大數據安全規范、創新應用的發展環境，以“醫療大數據資源平臺”為核心，通過“互聯網+醫療健康”探索服務新模式、培育發展新業態，努力建設人民滿意的醫療衛生事業，為打造健康中國、全面建成小康社會和實現中華民族偉大復興的中國夢提供有力支撐。平臺的建設堅持以患者為中心的發展思想，堅持正確的衛生與健康工作方針，堅持健康優先、改革創新、科學發展、公平公正的原則，以提高人民健康水平為終極訴求。從廣泛的健康影響因素入手，以數據為紐帶，以“大數據資源平臺”為基礎，以普及健康生活、優化健康服務、完善健康保障、建設健康環境、發展健康產業為重點，把健康融入所有政策，全方位、全周期保障人民健康，大幅提高健康水平，顯著改善健康公平。推進健康的建設，要堅持預防為主，推行健康文明的生活方式,營造綠色安全的健康環境減少疾病發生。要調整優化健康服務體系，強化早診斷、早治療、早康復，堅持保基本、強基層、建機制，更好滿足人民群眾健康需求。要堅持共建共享、全民健康，堅持政府主導，動員全社會參與，突出解決好婦女兒童、老年人、殘疾人、流動人口、低收入人群等重點人群的健康問題要強化組織實施加大政府投入，深化體制機制改革，加快健康人力資源建設，推動健康科技創新，圍繞“醫療大數據資源平臺”，逐步推進建設“健康服務體系”。圍繞“醫療機構醫療大數據資源平臺”的大數據應用作為產業發展的戰略引領，堅持“應用驅動、創新引領，政府引導、企業主體，聚焦高端、確保安全”，通過改革、開放、創新，挖掘數據資源價值，集聚大數據技術成果，形成大數據企業集群，全面提升大數據產業發展支撐能力、大數據技術創新能力和大數據安全保障能力，努力建成全國領先的大數據資源集聚地和大數據應用服務示范基地，為醫療機構經濟社會加速發展、加快轉型、推動跨越提供有力支撐。1.1.建設內容醫療機構醫療健康大數據資源平臺首先實現安全可靠的數據集成，形成標準數據模型，進行安全存儲；然后依靠標準數據模型、平臺的醫療定制版算法工具集，建設數據加工工廠，提供數據探索能力；以數據模型和數據探索能力為基礎，提供標準的數據服務管理，并通過共享平臺對外進行能力開放。具體建設內容包括:1?建設統一的數據云備庫，為醫院、公共衛生和其他醫療機構提供數據災備能力；數據集成，以云備庫為數據源，建設數據集成平臺，對醫療數據按標準集成到數據平臺，采集范圍包括；各類公立醫療機構的不同業務系統，例如HIS,電子病歷，手麻，PACS,LIS,HRP等；社區及基層醫療數據，疾控，健康檢查，家庭健康管理，公共衛生，急救等等各醫療服務系統數據。個人電子健康數據，包括對接家庭醫療器械，可穿戴設備，其他商業機構健康數據等。1?以ODPS為技術核心，實現數據的安全存儲；2?建設數據治理平臺進行數據建模，設計《健康醫療標準集》,并按標準完成標準基礎模型集，并根據業務維度，形成業務標準模型集，并建設主索引；定制健康醫療數據算法工具集，提供健康醫療數據算法能4?建設數據加工工廠，提供醫療數據探索能力;5.建設數據共享平臺，提供接入標準數據服務的能力，并通過脫敏、授權等機制，實現數據能力開放，推動健康的建設；6?建設數據治理平臺，維護管理數據標準，包括模型標準、字典標準、值域標準、術語標準等；建設統一監控管理平臺，實現數據資源的安全采集、傳輸、存儲、探索、調用的全鏈路管理、監控和審計能力。1-2.建設目標通過梳理整合醫療機構各家醫療機構、政府機構、其他第三方健康機構的相關數據資源，建設醫療大數據資源平臺，實現醫療數據的集中，通過術語管理、數據標化、統一索引、共享輸出為醫療機構醫療應用提供權威的數據。通過標化的醫療數據，推動落實新醫改相關工作任務；加強并持續推進衛生信息標準的制定和實施；提高全區健康診療信息交互共享和醫療服務協同水平和信息惠民成效；滿足互聯互通測評的以衛生信息標準為核心，以信息技術為基礎，以第三方測評為手段，促進實現區域的互聯互通和信息共享；實現區域內不同所有制、不同類別的醫療衛生機構間的醫療衛生資源的互聯互通、患者就診信息區域共享。通過共享數據服務輸出，實現全區多場景醫療文書共享和關聯語義文書自動檢索推送的基本條件下；通過效果分析提高醫院診療準確度，提升醫院接診率、醫療服務效率和質量，提升群眾醫療服務滿意度；全面減少醫生工作量、減少病人等待時間，緩解醫患矛盾、平衡醫療資源分布，解決我國醫療資源缺乏問題；降低社會疾病就診平均費用。通過健康醫療定制算法和數據加工工廠，推動大數據應用的研發和推廣，推動醫療機構大數據、大智慧產業的發展落地，建設全國領先的醫療健康大數據產業，智慧產業生態環境。第二章系統設計2.1.平臺架構醫療大數據資源平臺以數據為基礎，以數據全鏈路加工流程為核心，提供數據匯聚、研發、治理、服務等多種功能，既可滿足平臺用戶的數據需求，又能為上層應用提供各種行業解決方案。架構如下：標準磁('開放標準'■阪用注閉數晶務童理余杭區R療大H平合B)：(??<?)：開放共享服務建設車法積累城加工設管理監控標準數據眼務標準共事棱口標準共享文檔(MWlttfi)!標準磁('開放標準'■阪用注閉數晶務童理余杭區R療大H平合B)：(??<?)：開放共享服務建設車法積累城加工設管理監控標準數據眼務標準共事棱口標準共享文檔(MWlttfi)!- _I(gffiCT)：I(喚理”(naBfig):一I質■蓋控(????):PfVAS■RISXIS■HRPSA腳ns應用DataV OBI分析 醫療衛生監腎 區岐數!《悔同應用 醫療質鬣分析故據交換監控ns應用DataV OBI分析 醫療衛生監腎 區岐數!《悔同應用 醫療質鬣分析故據交換監控安全架構醫療大數據資源平臺的安全架構，是由平臺自身的安全實現層、平臺內置的安全服務層、和可選的安全產品層構成：平臺自身的安全實現層：保障平臺在代碼實現和部署配置時的產品自身安全性；平臺內置的安全服務層：為租戶和其用戶提供平臺基礎性的安全服務能力，如：租戶資源隔離、身份認證、權限鑒別和日志合規審計

等;可選的安全產品層：為管理者和其用戶提供可選的、已集成的安全產品或工具，幫助根據其自行定義的安全策略對其擁有的系統、數據進行安全防護和運維管理。2.3.業務流程數據治理Cgl（777^71曰分類.1SO/1EC27001丿監督、管理、協調AA妙鬻師盤垢安全體系數據治理Cgl（777^71曰分類.1SO/1EC27001丿監督、管理、協調AA妙鬻師盤垢安全體系醫療大數據資源平臺，通過直采相關數據來源的數據備庫，按照醫療機構醫療數據標準（參考國家、數據標準），清洗標化后存入數據中心標準數據庫；相關標準數據通過數據開放共享系統輸出給各政府機構、醫療衛生機構、第三方健康機構等健康醫療應用使用。整個大數據資源平臺采用ISO2700仁GB/T22239.DSMM安全標準構建信息安全管理體系，整個平臺建設都將受到衛計委的監督和管理。第三章系統功能3.1.數據對接以電子病歷為核心建設醫療機構數據平臺，具體將對接醫療機構:醫院HIS、電子病歷、護理系統、手麻系統、LIS、PACS、HRP等；電子病歷的臨床信息以臨床數據存儲庫（CDR）或者臨床文檔架構（CDA）的形式進行整合存儲。電子病歷數據采集按照國家衛計委《WS445-2014電子病歷基本數據集》、《電子病歷共享文檔規范》標準執行。電子病歷數據集主要包括門（急）診、住院、檢查檢驗等臨床信息數據集，具體包括：病歷概要、門（急）診病歷、門（急）診處方、檢查檢驗記錄、一般治療處置記錄、助產記錄、護理操作記錄、護理評估與計劃、知情告知信息、住院病案首頁、中醫住院病案首頁、入院記錄、住院病程記錄、住院醫囑、出院小結、轉診（院）記錄、醫療機構信息等；電子病歷共享文檔主要包括門（急）診、住院、檢查檢驗等臨床文檔，具體包括：病歷概要、門（急）診病歷、急診留觀病歷、西藥處方、中藥處方、檢查報告、檢驗報告、治療記錄、一般手術記錄、麻醉術前訪視記錄、麻醉記錄、麻醉術后訪視記錄、輸血記錄、待產記錄、陰道分娩記錄、剖宮產記錄、一般護理記錄、病重（病危）護理記錄、手術護理記錄、生命體征測量記錄、出入量記錄、高值耗材使用記錄、入院評估、護理計劃、出院評估與指導、手術知情同意書、麻醉知情同意書、輸血治療同意書、特殊檢查及特殊治療同意書、病危（重）通知書、其他知情同意書、住院病案首頁、中醫住院病案首頁、入院記錄、24h內入出院記錄、24h內入院死亡記錄、住院病程記錄首次病程記錄、日常病程記錄、上級醫師查房記錄、疑難病例討論記錄、交接班記錄、轉科記錄、階段小結、搶救記錄、會診記錄、術前小結、術前討論、術后首次病程記錄、出院記錄、死亡記錄、死亡病例討論記錄、住院醫囑、出院小結。此外，還應包括病人臨床路徑進入、執行、退出記錄、體檢報告、出生醫學證明、死亡醫學證明、傳染病、腫瘤、職業病等疾病報告、孕產婦、新生兒死亡報告、出生缺陷兒登記、院內感染報告、藥物不良反應報告、危機值報告等。3.2.數據集成數據采集提供豐富的采集元數據服務、支持靈活的數據采集方式;支持基于數據標準的數據轉換;支持重復數據刪除。數據整合基于數據標準的關鍵信息提取，基于特征信息模糊匹配的數據關聯，提供手工干預的數據管理功能。數據質量管理數據質量類別管理、質量度量規則管理、質量檢核方法管理、質量檢核方法審核、數據質量檢核調度、數據質量檢核執行、數據質量檢核入庫、問題數據展現、問題數據趨勢分析、數據質量檢核監控、檢核日志管理、數據質量報告、專項數據質控規則處理模塊（一致性、完整性控制、異常數據管理、重疊身份管理、差錯修訂、重復數據刪除）等功能。數據標準管理數據標準管理提供對術語、數據元、數據集以及值域代碼的管理與維護。病歷結構化采用人工智能的算法進行病歷的關鍵字段抽取，形成結構化的病歷數據。3.3.數據存儲提供全區醫療機構業務數據、公共衛生數據等醫療基礎數據的存儲，以及基礎數據、醫療衛生核心數據、標準規范數據等的規范化管理。基礎存儲功能實現基于數據標準的醫療機構業務數據、公共衛生數據等基礎信息資源的數據模型的定義、變更、發布的全生命周期管理。提供數據建模、物理模型轉換、物理模型部署功能，提供標準數據元引用。主數據管理提供屬性自動匹配和重復數據刪除功能，以及基于工作流的主數據手動干預功能;提供多源數據的原始數據查詢、差異比較功能;提供主數據的歷史變更回溯功能。參考數據管理提供數據值、數據集生命周期管理，提供數據值、數據集版本管理與血緣關系管理功能，提供參考數據查詢、發布功能。3.4.數據模型基于醫療機構大數據分析的要求，將所需的數據從各業務系統對接后，經過標淮數據轉化，以標準開放的數據模型統一管理。3.4.1.數據清洗數據清洗主要涵蓋輔助合理用藥、合理檢查、合理治療；監測醫改相關指標，源頭控制醫療總費用、門診均次費用、住院均次費用，降低老百姓看病支出。過程包括：數據分析和業務邏輯理解：梳理數據源和業務規則。基于醫療機構醫療大數據資源平臺的數據開發工具進行數據整合，數據標淮處理，統一編碼，字段取舍和數據校驗。錯誤數據和醫院溝通：針對重復數據，不一致情況，由客戶反饋如何操作。數據同步：根據設計的規則進行數據同步。3.4.2.數據模型數據模型包括：數據模型架構將數據分為ODS（數據操作層）層、數據倉庫（數據明細層）層，標淮主數據字典庫/EMPI,DWS（數據集市），ADS（應用數據層）。1.1@醫療機構字典(DIM_SYS_YLJG)@科室字典(DIM_SYS_KSZD)*醫院職工字典(DTM_SYS_YLJG)*醫用材料（耗材）目錄字典表（DIM_SYS_MATERIALS）

1.5*服務項目服務設施收費字典表(DIMSYSSFXM)1.6*國家藥品字典表(DIM_SYS_YPZD)1.7*ICD-9字典(DIM_SYS_ICD9)1.8@ICD-10字典(DIMSYSICD10)2.1.1*患者基本信息(ODSHZZBXX)2.1.2*基本健康信息(ODS_HZ_JBJKXX)2.1.3#衛生事件摘要(ODS_HZJVSSJZY)2.1.4#過敏信息(ODSHZGMXX)2.1.5*診斷明細表(ODS_HZ_ZDMXB)表？2.2.1*門(急)診掛號記錄(ODS_MZ_GHJL)2.2.2*門(急)診處方記錄(ODS_MZ_MZCFJL)2.2.3*門(急)診病歷(ODS_MZ_MJZBL)2.2.4*門(急)診就診記錄(ODS_MZ_MJJZJL)2.2.5#急診留觀病歷(ODS_JZ_JZLGBL)2.3.1#治療記錄(ODSZYZLJL)2.3.2*一般手術記錄(ODSZYYBSSJL)2.3.3#麻醉術前訪視記錄(ODSZYMZSQFSJL)

2.3.4#麻醉記錄(ODS_ZY_MZJL)2.3.5#麻醉術后訪視記錄(ODS_ZY_MZSHFSJL)2.3.6#輸血記錄(ODS_ZY_SXJL)2.4.1#—般護理記錄(ODSZYYBIILJL)2.4.2#病危(重)護理記錄(ODS.ZYWBZHLJL)2.4.3#手術護理記錄(ODS_ZY_SSHLJL)2.4.4#出入量記錄(ODS_ZY_CRLJL)2.4.5*高值耗材使用記錄(ODSZYGZHCSYJL)2.4.6#入院評估記錄(ODS_ZY_RYPGJL)2.4.7#護理計劃記錄(ODS_ZY_HLJHJL)2.4.8#出院評估記錄(ODS_ZY_CYPGJL)2.5.1#手術同意書(ODS_ZY_SSTYS)2.5.2#麻醉知情同意書(ODS_ZY_MZZQTYS)2.5.3#輸血治療同意書(ODS_ZY_SXZLTYS)2.5.4#特殊檢查及特殊治療同意書(ODSZYTSJCZLTYS)2.5.5#病危(重)通知書(ODSZYBWZTZS)2.5.6#其他知情同意書(ODSZYQTZQTYS)

2.6.1*24h內入出院記錄(ODSZYCRYJL)2.6.2*24h內入院死亡記錄(ODS_ZY_ZYSWJL)2.7.1#首次病程記錄(ODS_ZY_SCBCJL)2.7.2#日常病程記錄(ODSZYRCBCJL)2.7.3#上級醫師查房記錄(ODSZYSJYSCFJL)2.7.4#疑難病例討論(ODS_ZY_YNBLTL)2.7.5#交接班記錄(ODS_EMR_JJBJL)2.7.6#轉科記錄(ODSZYZKJL)2.7.7#階段小結(ODS_ZY_JDXJ)2.7.8#搶救記錄(ODS_ZY_QJJL)2.7.9#會診記錄(ODS_ZY_HZJL)2.7.10#術前小結(ODS_ZY_SQXJ)2.7.11#術前討論(ODS_ZY_SQTL)2.7.12#術后首次病程記錄(ODS_ZY_SHSCBCJL)2.7.13#死亡記錄(ODSZYSWJL)2.7.14#死亡病例討論記錄(ODSZYSWBLTLJL)2.7.15*入院記錄(ODSZYRYJL)

2.7.16*出院記錄(ODS_ZY_CYJL)2.7.17*住院病案首頁2012(0DS_ZY_BASY)2.8.1*住院醫囑(ODS_ZY_ZYYZ)執行醫囑2.9.1*出院小結(ODSZYCYXJ)2.10.1檢查申請(ODSIIZJCSQ)2.10.2*檢查報告(ODS_HZ_JCBG)2.10.3*檢驗報告(0DS_HZ_JYBG)2.11.1體檢總體檢查表(ODSTJZTJCB)2.11.2體檢明細表(ODS_TJ_MXB)2.12.1*轉診(院)記錄(ODS_HZ_ZZYJL)3.1*患者費用結算明細表(ODS_HZ_FYJSMXB)3.2*費用發生明細表(ODS_HZ_FYFSMXB)3.3*費用結算表(ODS_HZ_FYJSB)3.4體檢費用(ODS_TJ_TJFY)3.5*門診收費記錄表(ODSMZSFJLB)3.6*門診收費明細表(ODSMZSFMXB)4.1*物資采購記錄(ODSHISWZCGJL)

4.2*物資采購明細記錄(ODSHISWZCGMXJL)4.3*藥品入庫記錄(ODSHISYPRKJL)4.4*藥品入庫詳細記錄(ODSHISYPRKXXJL)4.5*藥品采購記錄4.2*物資采購明細記錄(ODSHISWZCGMXJL)4.3*藥品入庫記錄(ODSHISYPRKJL)4.4*藥品入庫詳細記錄(ODSHISYPRKXXJL)4.5*藥品采購記錄(ODSHISJPCGJL)4.6*藥品釆購詳細記錄(ODSHISYPCGXXJL)5.1*醫院業務量日報(ODSHISYYYWLRB)5.2*醫院業務收入日報(ODSHISYYYWSRRB)5.3*體檢收入日報(ODSHISYYYWSRRB)5.4#醫院支出記錄(ODSHISYYZCJL)6.13II型糖尿病患者隨訪信息(ODSHRIIXTNBHZSFXX)據模型包括101個基本標準6.15門診摘要信息(ODS_HR_MZZYXX)6.16住院摘要信息(ODS_HR_ZYZYXX)6.17會診信息(ODSHRHZXX)6.18轉診(院)信息(ODS_HR_ZZYXX)6.19出生醫學證明(ODS_HR_CSYXZM)數據模型，和病人業務6.20死亡醫學證明(ODSHRSWYXZM)數據模型，和病人業務數據模型集。數據操作ODS層:即數據操作（OperationalDataStore）層，它是從業務系統過渡到數據倉庫核心層的操作數據的模型。口同步：結構化數據增量或全量同步；□結構化：非結構化（日志）結構化處理并存儲到RDS；□累積歷史、清洗：根據數據業務需求及稽核和審計要求保存歷史數據、數據清洗；主索引管理以“居民身份證號碼”作為平臺基礎服務的主索引。通過與居民電子健康卡注冊管理系統關聯，進行身份認證、個人注冊基本信息核實等。提供對醫療衛生人員、醫療衛生機構等基礎共享信息的注冊，提供唯一的標識號，建立相關主索引，實現在區域范圍內的信息識別，能夠關聯到病人所有相關信息，包括基本信息、過敏信息＞家族病史、歷次診療信息、檢查檢驗信息、病人主管醫生、歷次電子病例、收費情況（門診、住院）等病人信息，也是費用結算、客戶服務、成本核算、病種分析等管理的重要主線。。具體功能包括:1） 個人主索引注冊、主索引服務，數據自動匹配關聯、主索引維護等2） 醫療衛生人員注冊：提供醫療衛生人員個人信息登記、服務處所登記、唯一個人標識分配、個人信息查詢、個人標識查詢。3） 醫療衛生機構注冊：提供醫療衛生機構信息登記、唯一機構標識分配、空間方位信息登記、機構信息查詢、機構位置查詢及地圖展現、機構標識查詢。4） 標準字典庫：建立統一的術語編碼服務，實現各機構字典，地方標準/國際醫療標準的統一訪問和應用。以達成各系統間數據交換時語義級別的標準化，平臺應對交換數據中的字典數據作映射轉換。5） 明細數據層：以患者為主線，組織，整合，存儲患者的臨床數據，將患者相關醫療信息，如就診、處方、醫囑、電子病歷、檢查化驗報告等，以全面、標準、統一的方式整合存儲，支持各類區域級別的數據分析應用，及機構和區域級別的科研工作。同時也包括運營相關的數據，例如預約，就診，各類醫療服務統計，床位使用，手術室使用，醫技科室使用等。主要應用于：?:?患者基本信息獲取;?:?關鍵數據項（如姓名、性別、出生日期、出生地、母親姓名等）比對；?:?建立不同應用系統中、采用不同識別碼（如門診號、住院號、檢查號、影像號等）的患者身份的交叉關聯；?:?建立新的患者索引碼；?:?關聯各類官方的身份識別卡（如身份證、健康卡、醫保卡、就診卡、電子健康卡、電子社保卡等）；*患者身份識別碼的統一管理；?:?新增患者交叉索引鏈數據路由表；?:?影像信息交叉索引；3.4.5.數據算法提供標準化的醫療數據算法，至少包括：1.基礎算法?:?文本結構化?:?字符預處理?:?醫療NLP?醫療字典2業務算法?:?預測算法?:?挖掘算法?:?智能算法?:?分析算法3.5.數據加工當底層數據進行聚合后，數據仍然出于零散的狀態，數據是無法直接為上層智能算法和DI應用提供對應數據的，此時需要對數據進行匯聚加工。數據管理和開發人員需要在數據資源平臺建立對應的數據中心，進行對應數據的加工。數據開發為數據使用者提供一站式的集成開發環境，可滿足數據資源平臺下，數據開發者進行ETL開發、數據挖掘算法開發、數據主題庫建設等需求。工作流設計器：幫助用戶配置數據開發節點任務，包含ODPSSQL、ODPSMR、Shell.機器學習、數據同步、虛擬節點任務。可以被工作流任務or其他節點任務依賴，并能夠被調度系統調度，完成數據倉庫的建設。36數據資產管理經過數據集成后，業務系統及醫療大數據資源平臺里都有大量的數據表、API等各類數據資產，數據管理者通過數據集成工具同步數據、通過數據開發加工數據后，需要對整個平臺數據進行統一管控，了解平臺的核心數據資產，提供對應數據資產管理規范。資產門戶對平臺的數據資產進行統一管控和查看，無論是各類型數據的元數據信息，都需要能從資產門戶，讓使用者知道有哪些數據可用，讓管理者知道有哪些屬于可管，平臺能對數據狀態情況進行查看和分析。數據地圖數據地圖面向數據開發者，匯聚用戶所有數據信息，通過元數據信息收集、數據血緣探查、數據權限申請授權等手段，幫助數據資源平臺完成數據信息的收集和管理，解決數據資源平臺數據開發者”有哪些數據可用”、”到哪里可以找到數據■'的難題，并且提升數據資源的利用率，數據地圖包含以下功能：1數據概覽展示面向開發者和管理者的數據資產情況，包含總項目數、總表數、占用存儲量、消耗存儲量，占用存儲TOP排行等;□數據表詳情展示數據表的詳細信息。包括：表字段信息、分區信息、數據產出信息、變更歷史、血緣信息。□字段信息通過字段信息可以了解表的結構，甚至可以通過這些基礎信息直接獲得表的DDL語句，以完成類似數據表結構的建設；□分區信息當該數據表存在分區，即可了解通過分區信息可以看到表的分區情況，每個分區大小、數據量的波動情況，了解產出數據在數據量上的穩定性。□產出信息通過產出信息可以推斷表產出時間的波動情況，在依賴該表時可以推算下游表的產出時間及是否可以穩定產出。□歷史變更可以了解表級別、字段級別、分區級別的修改情況，從而推斷表結構穩定性、變化頻率等特征。數據血緣根據數據資源平臺里任務的運行信息和記錄，通過分析，提供數據表、字段級別的血緣關系；包含上下游血緣、影響分析。用戶可以了解表數據的來源，數據表的使用者，改動表帶來的影響情況等信息。并且通過可視化的方式，看到表的上游、下游，并能不斷追朔，方便用戶了解數據的來源和下游的使用情況。數據權限用戶可在數據權限中，完成對數據表和API的權限申請和審批過程，并提供申請的全部歷史信息情況。資產管理類目管理數據資產類目編制的過程是梳理資產、明確職責、規范工作、整理和挖掘數據資產的過程。可支持多套視角下的類目編制，幫助用戶快速清晰的定義各個分類。3.642.類目屬性設置數據資產管理方可針對類目進行屬性設置，包括共享屬性、類目說明等內容，支持日常的維護和更新。3.6.4.3.類目與數據資產關系管理數據資產管理方可針數據資源和各種類目關系進行對應維護管理，保障類目和數據資源的關系可靠清晰。主要包含數據表、API服務等資產與和資源類目的關聯維護。3.644?數據表管理針對資產數據表提供對應的元數據信息管理，核心元數據是描述數據資源各種屬性和特征數據的基本集合，包括數據資產基本信息、說明信息（例如摘要、分類等）、管理信息（例如負責單位等）。同時支持離線表管理以及生命周期設置，幫助用戶對表的創建到回收都是可管控、可治理的。對應數據表管理者也可在數據表管理中，對不完整的數據資源信息進行修改說明，完善業務信息上下文，讓管理者和使用者能更清晰了解其業務含義。3.7.數據開發當底層數據進行聚合后，數據仍然出于零散的狀態，數據是無法直接為上層智能算法和DI應用提供對應數據的，此時需要對數據進行匯聚加工。數據管理和開發人員需要在數據資源平臺建立對應的數據中心，進行對應數據的加工。數據開發為數據使用者提供一站式的集成開發環境，可滿足數據資源平臺下，數據開發者進行ETL開發、數據挖掘算法開發、數據主題庫建設等需求。工作流設計器：幫助用戶配置數據開發節點任務，包含ODPSSQL、ODPSMR、Shell.機器學習、數據同步、虛擬節點任務。可以被工作流任務or其他節點任務依賴，并能夠被調度系統調度，完成數據倉庫的建設。3.8.數據運維數據資源平臺上數據量龐大、數據類型多樣、數據業務復雜，數據處理任務也非常多，數據處理環節和流程周期長，需要支持高并發、多周期、支持多種數據處理環節的統一數據任務調度機制，按照策略進行數據任務調度。監控運維為數據開發者和維護者提供一站式的數據運維管控能力，用戶可自主管理作業的部署、作業優先級、以及生產監控運維。平臺提供數據監控運維、任務運行情況監控、異常情況告警、日常運維數據統計等功能。運維監控主要用來展示調度任務的指標數據情況，目前包含以下幾類：任務完成情況、任務運行情況、任務執行時長排行、調度任務數量趨勢、近一月出錯排行、任務類型分布、30天基線破線次數排行。任務運維可視化展示調度任務DAG圖，極大地方便用戶對線上任務進行運維管理；支持任務運行狀態監控告警，支持單任務重跑、多任務重跑、kill、置成功、暫停等操作；支持兩種模式選擇：包括列表、DAG模式。可以針對周期運行、測試運行、手動運行任務查看任務運行狀態。可以針對任務進行重跑、停止、查看運行日志、查看節點代碼、查看節點屬性。3.8.3.監控吿警監控告警是調度任務的監控保障系統，當任務出現錯誤的時候，系統會通過預定義的方式告知用戶任務失敗。用戶可以按照自己定義的規則來配置告警規則，及時調整任務產出，保障產出數據的及時性和可用性。3.9.數據質量數據質量主要用于數據質量監控，其擁有一套完善的規則校驗體系用戶可以配置諸如唯一性監控、波動監控、空值監控等監控規則，如果違反相應監控規則，觸發報警給相關人員。數據質量以數據表為監控對象，當表中數據發生變化的時候則會觸發數據質量的的校驗邏輯，對表中的數據進行校驗，幫助用戶避免臟數據的產出和質量不佳的數據對整體數據的污染。同時數據質量中會保留所有規則的歷史檢驗結果，以便用戶對數據的質量進行分析和定級。針對實時數據也提供對應質量監控接入，提供數據斷流等質量信息監控，方便用戶對流數據的實時性進行管控；規則配置數據質量監控模塊支持靈活的規則配置，預置30種以上的內置基礎業務模板，擁有完備的數據質量度量標準。模板中提供了波動閾值比較、固定值比較兩種度量方式，覆蓋字段級、表級規則，包含空值、唯一值、離散值、最大值、最小值、平均值、匯總值等采集方法，且提供了自定義規則適配多樣化業務需求。自定義規則系統支持自定義編寫規則表達式。支持標準SQL形式的自定義規則，任意復雜度。規則強弱分類、紅橙等級預警。服務將規則按照重要程度劃分成強、弱兩種，按照偏離預期程度劃分成紅、橙閾值。當重要的規則嚴重偏離期望值時能夠阻塞數據生產鏈路，防止臟數據污染下游，保障生產鏈路的數據正確性。并發可用型規則采集引擎支持可配的資源池，且支持水平擴展。此外，數據質量提供了可靠的容錯機制，保障采集作業狀態的一致性和正確性。智能優先級保障規則采集引擎執行層面，提供了優先級錯峰保障機制，在資源有限情況下，保障強規則的任務能夠得到第一時間的執行，在資源空閑時，弱規則的任務能夠得到有效的執行。質量監控具備抽取的不合法數據轉成正確的目標數據庫所需要數據的功能，有以下幾種情況的數據清洗工作：必需填寫的項為空、數據長度不合法、值域不合法、取值范圍不合法、數據項之間邏輯沖突。質量報警當出現質量問題觸發規則時，對應負責人會收到相應的報警提示,及時對數據質量進行處理優化。質量總覽為數據質量管理人員提供監控總覽情況，用戶可展現目前數據質量總體/個人所監控的表的總數、配置的規則總數和今日運行任務情況的統計信息。3.10?數據安全整個數據資源平臺上的數據安全是重中之重，敏感數據防護更需要符合行業規定和數據隱私法律等規定，數據安全模塊為平臺提供安全服務，通過以下功能保障數據安全和對應自定義化的安全功能配置：數據資源平臺內部，積累大量敏感數據，一旦發生泄漏，損壞，不僅僅會給帶來數據損失，更重要的是會影響平臺的權威性和可信性。為了保護數據安全，首先要知道敏感數據在哪里，通過數據安全等級，發現和定位敏感數據，明確其在數據資源平臺上的分布情況，根據定義的敏感數據類型自動發現敏感數據，并為其分級分類。通常分為絕密、機密、正常等等級進行對應安全規則保障。3?10丄數據保護對于數據的訪問都應當受到監控，確保敏感數據訪問的合法性、合理性、安全性，規范用戶對訪問敏感數據的訪問權限，對于不同的行業，不同的應用系統，需要分