國家健康醫療大數據（東部）中心王建大數據研發經理01背景介紹02架構演變03場景應用04未來展望01背景介紹背景介紹輸入你的小標題外線框是文字輸入區參考線，請在正式稿中刪除輸入你的小標題外線框是文字輸入區參考線，請在正式稿中刪除。文字：根據文章長度選擇適合的文字尺寸，以32-24號字為宜。2019.03專業團隊運管分離架構設計，常州國資與中國電子合資負責規劃、建設、運營2019.12新型基建江蘇省衛生健康云（常州區域）試運行，數字化、國產化、數據服務同步推進2020.01試點服務常州市“醫療廢物服務（監管）系統建設試點、“基層醫療機構信息化提檔升級省級試點”、“常州市醫學影像云”等多個項目依托“云大腦”開發、2020基地榮譽長三角一體化聯盟智慧城市應用示范基地；省、市網信辦聯合啟動，建設大數據和云服務安全保障試點；列入省發改委重大產業服務平臺輸入你的小標題輸入正文內容，根據你的文章內容長度來進行頁面最終調整。輸入正文內容，根據輸入你的小標題輸入正文內容，根據你的文章內容長度來進行頁面最終調整。輸入正文內容，根據你的文章內容長度來進行頁面最終調整。數據治理2021常州市健康醫療數據開放創新應用大賽，推動三醫數據聯動治理開放應用2021.09百日攻關影像平臺項目百日攻關，省屬三級醫療機構、南京市三甲醫院、宿遷第一人民醫院以及常州全市公立醫療機構全面接入衛生健康云2022全省推進影像平臺項目計劃年內覆蓋全省70%公立醫療機構2023全省實現實現全省100%公立醫院以及部分私立醫院接入影像平臺2024數據服務在常州市率先提供數據服務，實現全市‘無膠片化’數據特殊性?影像的結構化數據及非結構化數?影像的結構化數據及非結構化數據上傳后，在臨床需要進行及時的應用。但是因為影像數據復雜度高，需要多源數據進行關聯并對多質量指標進行稽核，并進行預警、處理，保證不對臨床的數據服務產生影響。?影像數據存在大量的重傳、補傳的動作，對多場景的數據操作進行兼容，保證數據唯一性及可靠性。同時需要對上傳記錄進行回及時性要求高?影像平臺涉及醫療機構?影像平臺涉及醫療機構2000余個，每個醫療機構的狀態以及條件千差萬別，需要對各醫療機構的多種數據情況進行兼容。數據重復性高數據采集點多數據采集點多行業特殊性?以數據質量模塊為例，?以數據質量模塊為例，需要對27個核心指標，共140余個質量指標進行監控。?同一個檢查的數據分批上云，時間差不確定。同時，單一放射檢查的涉及的數據類型較多，需要對多數據體進行關鍵計算，JOIN難度大。關聯難度大??需要對數據質量預警、數據質量BI大屏、報表以及數十個業務系統進行數據支撐。指標口徑多數據服務場景多數據服務場景多02架構演進l組件多：因為Hadoop架構的特殊性，導致實現從采集、治理、存儲到服務的全鏈路數據流程所需要的組件龐雜，在平臺中，擁有超過20個開源的組件以及30余個自研的平臺管理服務；l運維難度大：組件多導致運維成本高，甚至單獨一個組件的兜底要求也非常高；l部署成本高：一套完整的Hadoop集群，需要的管理資源較多。在集群規模不夠大的狀態下，計算節點的邊際成本較高；l較難對新場景進行兼容：隨著業務的發展，數據實時性的要求愈加的高，Hadoop（Hive）的體系，無法滿足實時性的需求；l拓展性較差：體系內的單一組件只面向單一的能力。面相新的業務需求，只能拓展新的組件進入集群。帶來極高的維護成場景痛點分析業務痛點業務痛點改進方向改進方向數據質量反饋周期長T+1的反饋周期，無法及時反映整改措施的有效性，極大拉長了工作周期打造高效的大表交叉查詢在對院端數據進行實時質量計算的同時，提供能將指定時間段的檢查數據和存儲日志數據進行交叉查詢的能力，解決最關鍵的影像完整性檢測問題。缺乏實時監控能力普通的流式計算難以參照歷史數據，無法實現對應用數據監測的多維度分析。構建實時-歷史數據比對能力在不僅對應用日志進行實時存儲，也可以將實時日志按照日、周、月等較大時間維度進行統計分析，有效支撐各種評估維度。指標開發過程長需要針對大量指標進行定制化開發，牽涉人員多、流程長、工作量大。提升指標實時計算性能基于明細數據對指標進行實時計算，無需開發多層數據源，保證數據出口固定，支持指標統計維度的自由設計。難以支撐分析業務數據即席分析與數據開發共用平臺，操作難度大、數據復雜，且容易對開發業務進行干擾。提供數據分析查詢專用入口將明細數據提供給數據分析業務使用，通過運維手段保證資源占用情況，提升數據分析師的工作效率和工作體驗。期望的數據底座簡單強大架構輕量化開發便捷維護簡單具備強大的計算引擎，實現快速寫入架構輕量化開發便捷維護簡單及實時的場景，能給與更多的支撐全面穩定覆蓋采、存、治、用的數據生命周期穩定運行、故障修復、資源管理新老架構圖03案例分享案例背景在省級影像平臺中，需要對從數千家醫療機構采集的數據進行質量評估及預警，以保證良好的數據質量，實現影像數據服務環節的穩定性以及提升用戶的體驗。數據維度多、數據量大、對實時性要求高等問題成為質量改善的阻礙。在2023年初，團隊在數據質量管理的場景探索質量改善的技術方案。數據質量管理-數據流向圖數據源采集數倉服務場景數據源采集數倉服務醫療機構信息服務數據質量推送醫療機構信息服務數據底座日志數據底座日志數據APICatalog人員信息異常代辦人員信息JDBC明細數據云邊采集云邊采集原始數據質量看板質量分析代碼示例INSERTINSERTINTOdws_xxxx_xxxx(k_1,k_2,k_3,k_4,time_1,__DORIS_DELETE_SIGN___)SELECTk_1,k_2,k_3,k_4,time_1,trueFROM(SELECTrank()over(partitionby...orderby...desc)asrankFROMdws_xxxx_xxxxWHERE...WHEREt.rank>1INERRTINERRTINTOdws_xxxx_xxxxSELECT...from(--增量數據WITHxxx_schemaAS(SELECT...FROM(...WHERE...select...FROMALEFTJOINBLEFTJOINC...ON...WHERE...CREATETABLE`dws_xxxx_xxxx`(`k_1`varchar(255)NULLCOMMENT'主鍵1',`k_2`varchar(255)NULLCOMMENT'主鍵2',`k_3`varchar(255)NULLCOMMENT'主鍵3',`k__4`dateNULLCOMMENT'主鍵4',`v_1`dateNULLCOMMENT'值1',`v_2`int(11)NULLCOMMENT'值2',`v_3`int(11)NULLDEFAULT"值3",........``time_1`datetimeNULLCOMMENT'計算時間')ENGINE=OLAPUNIQUEKEY(`k_1`,`k_2`,`k_3`,`k__4`)COMMENT'質量原子指標結果表'PARTITIONBYRANGE(`K__4`)()DISTRIBUTEDBYHASH(`k_1`)BUCKETSxPROPERTIES("function_column.sequence_col"="time_1");依賴組件：6個降低至3個數據模型數：15個降低至2個，另外增加6個視圖質量反饋周期：由原來的T+1，提升至準實時（分在數據去重，在數據去重，多表JOIN，即席查詢等場景，展現了強大的能力應用示例質量監測質量監測質量代辦質量代辦應用示例質量看板質量推送質量看板質量推送質量改善效果圖100.00%95.00%90.00%85.00%80.00%75.00%70.00%65.00%60.00%某核心指標97.60%98.80%93.90%87.40%69.70%68.90%63.50%2022-092022-122023-032023-062023-092023-122024-102023-03之前在2023年3月份引入Doris之前，質量的改善效果緩慢，存在分析困難、實時性查等問題，導致質量問題反饋慢、根因分析困難2023-03之后2023年3月份以后，引入Doris。并在后續半年的時間內，逐漸以Doris為底座，構建質量體系，并依托于Doris的特性，如聚合模型、物化視圖等能力，實現了質量預警、統計以及質量問題溯源等能力。在