Apache

Doris

在區域醫療影像平臺中的應用目錄背景介紹01架構演變02場景應用03未來展望0401背景介紹輸入你的小標題外線框是文字輸入區參考線，請在正式稿中刪除。文字：根據文章長度選擇適合的文字尺寸，以32-24號字為宜。輸入你的小標題輸入正文內容，根據你的文章內容長度來進行頁面最終調整。輸入正文內容，根據你的文章內容長度來進行頁面最終調整。2016.10獲批試點國家健康醫療大數據中心及產業園建設國家級試點2019.03專業團隊運管分離架構設計，常州國資與中國電子合資負責規劃、建設、運營2019.12新型基建江蘇省衛生健康云（常州區域）試運行，數字化、國產化、數據服務同步推進2020.01試點服務常州市“醫療廢物服務（監管）系統建設試點、“基層醫療機構信息化提檔升級省級試點”、“常州市醫學影像云”等多個項目依托“云大腦”開發、服務、管理2020基地榮譽長三角一體化聯盟智慧城市應用示范基地；省、市網信辦聯合啟動，建設大數據和云服務安全保障試點；列入省發改委重大產業服務平臺2021.01全省覆蓋影像平臺項目列入“大數據+產業鏈”三大省級大數據應用示范重點項目，由省領導掛鉤聯系數據治理2021常州市健康醫療數據開放創新應用大賽，推動三醫數據聯動治理開放應用2021.09百日攻關影像平臺項目百日攻關，省屬三級醫療機構、南京市三甲醫院、宿遷第一人民醫院以及常州全市公立醫療機構全面接入衛生健康云2022全省推進影像平臺項目計劃年內覆蓋全省70%公立醫療機構2023全省實現實現全省100%公立醫院以及部分私立醫院接入影像平臺2024數據服務在常州市率先提供數據服務，實現全市‘無膠片化’背景介紹數據特殊性影像平臺涉及醫療機構

2000

余個，每個醫療機構的狀態以及條件千差萬別，需要對各醫療機構的多種數據情況進行兼容。影像數據存在大量的重傳、補傳的動作，對多場景的數據操作進行兼容，保證數據唯一性及可靠性。同時需要對上傳記錄進行回放。影像的結構化數據及非結構化數據上傳后，在臨床需要進行及時的應用。但是因為影像數據復雜度高，需要多源數據進行關聯并對多質量指標進行稽核，并進行預警、處理，保證不對臨床的數據服務產生影響。數據重復性高數據采集點多及時性要求高行業特殊性需要對數據質量預警、數據質量看板、數據質量監控、質量代辦、BI

大屏、報表以及數十個業務系統進行數據支撐。以數據質量模塊為例，需要對27

個核心指標，共

140

余個質量指標進行監控。同一個檢查的數據分批上云，時間差不確定。同時，單一放射檢查的涉及的數據類型較多，需要對多數據體進行關鍵計算，JOIN難度大。指標口徑多數據服務場景多關聯難度大02架構演進Hadoop體系特點組件多：因為

Hadoop

架構的特殊性，導致實現從采集、治理、存儲到服務的全鏈路數據流程所需要的組件龐雜，在平臺中，擁有超過

20

個開源的組件以及

30

余個自研的平臺管理服務；運維難度大：組件多導致運維成本高，甚至單獨一個組件的兜底要求也非常高；部署成本高：一套完整的

Hadoop

集群，需要的管理資源較多。在集群規模不夠大的狀態下，計算節點的邊際成本較高；較難對新場景進行兼容：隨著業務的發展，數據實時性的要求愈加的高，Hadoop（Hive）的體系，無法滿足實時性的需求；拓展性較差：體系內的單一組件只面向單一的能力。面相新的業務需求，只能拓展新的組件進入集群。帶來極高的維護成本。場景痛點分析業務痛點改進方向數據質量反饋周期長T+1的反饋周期，無法及時反映整改措施的有效性，極大拉長了工作周期打造高效的大表交叉查詢在對院端數據進行實時質量計算的同時，提供能將指定時間段的檢查數據和存儲日志數據進行交叉查詢的能力，解決最關鍵的影像完整性檢測問題。缺乏實時監控能力普通的流式計算難以參照歷史數據，無法實現對應用數據監測的多維度分析。構建實時-歷史數據比對能力在不僅對應用日志進行實時存儲，也可以將實時日志按照日、周、月等較大時間維度進行統計分析，有效支撐各種評估維度。指標開發過程長需要針對大量指標進行定制化開發，牽涉人員多、流程長、工作量大。提升指標實時計算性能基于明細數據對指標進行實時計算，無需開發多層數據源，保證數據出口固定，支持指標統計維度的自由設計。難以支撐分析業務數據即席分析與數據開發共用平臺，操作難度大、數據復雜，且容易對開發業務進行干擾。提供數據分析查詢專用入口將明細數據提供給數據分析業務使用，通過運維手段保證資源占用情況，提升數據分析師的工作效率和工作體驗。期望的數據底座穩定穩定運行、故障修復、資源管理全面覆蓋采、存、治、用的數據生命周期強大具備強大的計算引擎，實現快速寫入、快速查詢，特別是在當前即席及實時的場景，能給與更多的支撐簡單架構輕量化

開發便捷

維護簡單新老架構圖03案例分享案例背景在省級影像平臺中，需要對從數千家醫療機構采集的數據進行質量評估及預警，以保證良好的數據質量，實現影像數據服務環節的穩定性以及提升用戶的體驗。數據維度多、數據量大、對實時性要求高等問題成為質量改善的阻礙。在

2023

年初，團隊在數據質量管理的場景探索質量改善的技術方案。數據質量管理-數據流向圖數據源采集數倉醫療機構信息底座日志人員信息云邊采集……FlinkCatalog服務數據維度事實數據明細數據原始數據數據

APIJDBC質量推送質量告警異常代辦自動補償質量看板質量分析服務場景代碼示例CREATETABLE`dws_xxxx_xxxx`

(`k_1`

varchar(255)

NULL

COMMENT

'主鍵1',`k_2`

varchar(255)

NULL

COMMENT

'主鍵2',`k_3`

varchar(255)

NULL

COMMENT

'主鍵3',`k_4`

date

NULL

COMMENT

'主鍵4',`v_1`

dateNULLCOMMENT'值1',`v_2`

int(11)NULLCOMMENT'值2',`v_3`int(11)NULLDEFAULT

"值3",....`time_1`

datetime

NULL

COMMENT

'計算時間')ENGINE=OLAPUNIQUEKEY(`k_1`,`k_2`,`k_3`,`k_4`)COMMENT

'質量原子指標結果表'PARTITIONBYRANGE(`K_4`)()DISTRIBUTEDBYHASH(`k_1`)BUCKETSxPROPERTIES

("xxx":"xxx","function_column.sequence_col"=

"time_1");INERRTINTO

dws_xxxx_xxxxSELECT

...from

(--增量數據WITH

xxx_schema

AS

(SELECT

...FROM

(...WHERE

...)

a)select

...FROMALEFTJOIN

BLEFTJOIN

C...ON

...WHERE

...INSERTINTOdws_xxxx_xxxx(k_1,k_2,k_3,k_4,time_1,__DORIS_DELETE_SIGN__)SELECTk_1,k_2,k_3,k_4,time_1,trueFROM

(SELECT...,rank()over(partitionby

...orderby...desc)as

rankFROM

dws_xxxx_xxxxWHERE

...)

tWHERE

t.rank>1運行效率：1H+

提升至

30s依賴組件：6

個降低至

3

個數據模型數：15

個降低至

2

個，另外增加

6

個視圖質量反饋周期：由原來的

T+1，提升至準實時（分鐘級）在數據去重，多表

JOIN，即席查詢等場景，展現了強大的能力應用示例質量代辦質量監測應用示例質量看板質量推送質量改善效果圖63.50%68.90%69.70%87.40%93.90%97.60%98.80%60.00%65.00%70.00%75.00%80.00%85.00%90.00%95.00%100.00%2022-092022-122023-032023-062023-092023-122024-10質量改善趨勢某核心指標2023年3月份以后，引入

Doris。并在后續半年的時間內，逐漸以

Doris

為底座，構建質量體系，并依托于

Doris

的特性，如聚合模型、物化視圖等能力，實現了質量預警、統計以及質量問題溯源等能力。在半年的時間內，數據質量迅速提升。并依托于

Doris，搭建實時數倉。2023-03之后在2023年3月份引入

Doris

之前，質量的改善效果緩慢，存在分析困難、實時性查等問題，導致質量問題反饋慢、根因分析困難2023-03之前改進成效倍人員效率提升3 70+%平臺組件降低30+倍計算效率提升70+%物理資源節省04未來展