ICS35.240.80DataProcessingandIntegrationStandardsforMedicalCaseswithCombiDiagnosticMethodsofTraditionalChineseMedicine中國中醫藥信息學會發布IT/CIATCM111—2024 2規范性引用文件 3術語和定義 4規范性技術要素 4.1總體規范內容 4.2總體數據流程圖 4.3具體規范內容 附錄A（規范性附錄）數據安全規范 A.1系統安全要求 T/CIATCM111—2024本文件參照GB/T1.1—2020《標準化工作導則第1部分:標準化文件的結構和起草規則》的規定起草。請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由中國中醫科學院醫學實驗中心提出。本文件由中國中醫藥信息學會歸口。本文件起草單位：中國中醫科學院醫學實驗中心、清華大學、博奧生物集團有限公司、上海中醫藥大學、天津帕斯泰克醫療器械有限公司、成都中醫藥大學、北京中醫藥大學東直門醫院、蘇州思必馳科技有限公司。本文件主要起草人：汪南玥、徐華、李福鳳、王東、溫川飆、劉佳、田貴華、錢鵬、王文君、駱學榮、吳至婧、余文夢、毛惠生、李心怡、周躍。T/CIATCM111—2024中醫四診合參是中醫診斷中最重要的思想之一，中醫四診客觀化數據進行融合研究是中醫診斷現代化的必然發展趨勢。中醫四診合參數據源自中醫的“望聞問切”四種診斷方式，結合多種中醫診斷設備，采集受試者后得到的文本、音頻和圖片等多模態數據。由于采集過程的長期性、多種診斷模式以及處理數據、分析方法的復雜性，使中醫四診合參數據處理及融合進展緩慢。本文件通過對四診合參中的多個單模態數據的數據采集及數據格式、數據處理過程進行規范，并將多個單模態特征融合的過程進行規范，這樣，可以更好地綜合各個模態特征的優勢，挖掘數據的潛能，從而提升病情預測的準確率。1T/CIATCM111—2024中醫四診合參病案數據處理和融合規范本文件通過對四診合參中的多個單模態數據的采集、格式、處理過程進行規范并對多個單模態特征融合的過程進行規范，可開展四診合參數據的處理、分析與研究工作。本文件適用于中醫四診合參數據的采集、處理及融合應用，中醫師、中西醫結合醫師、臨床數據采集人員、相關科研人員、數據分析人員等可依據本文件，在中醫科研機構、數據分析機構、中醫醫療機構、中醫藥企業等適合場所開展中醫四診合參數據處理、分析與融合等研究工作。2規范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T40665.1—2021中醫四診操作規范第1部分：望診GB/T40665.2—2021中醫四診操作規范第2部分：聞診GB/T40665.3—2021中醫四診操作規范第3部分：問診GB/T40665.4—2021中醫四診操作規范第4部分：切診T/CIATCM058—2019中醫藥信息標準編制通則3術語和定義下列術語和定義適用于本文件3.1數據采集dataacquisition工作人員使用輔助設備對受試者進行數據收集的過程，包括望診數據，主要為舌、面診與目診的圖片采集；聞診數據主要為音頻的采集；問診數據，主要通過臨床量表與相關生理參數填寫的文本表格數據；切診數據主要為脈搏波信號數據。3.2數據處理dataprocessing指將望聞問切的原始數據轉換為對應特征向量的過程。該過程包含數據預處理，如舌、面診與目診的圖片，音頻降噪等；以及特征提取等步驟。3.3數據融合datafusion指考慮不同模態的特異性和互補性，從而進行有效的特征拼接、張量融合等方法對望聞問切“四診”特征的有效融合和預測，融合后的特征包含更全面的信息，增強數據可靠性。4規范性技術要素4.1總體規范內容中醫四診合參數據，是通過對受試者進行中醫“望聞問切”四種診斷方式，結合多種中醫診斷設備，2T/CIATCM111—2024采集得到的文本、音頻和圖片等多模態數據。四診合參數據主要包括以下四個方面的內容：a）望診數據（圖片，主要為舌、面診與目診）b）聞診（聲音）數據（音頻，聲音的采集）c）問診數據（表格數據，臨床量表與相關生理參數的填寫）d）切診（脈診）數據（文本數據，為脈搏波的信號數據）在獲得上述數據后，需結合計算機算法輔助進行數據處理和數據融合，以便后期數據分析，達到更好的診斷目的。因此，本文件主要涵蓋以下三方面的內容：a）數據采集、格式規范：明確開展病例數據采集內容、數據結構、數據格式等要求，內容引用《中醫四診信息病案數據采集規范》標準。b）數據處理規范：明確采集到的四診信息數據所需要進行的預處理方法和流程，即將原始數據轉換為各個單模態特征。c）數據融合規范：明確不同單模態特征的融合方法和流程，最終得到分類器所需的融合特征表示。4.2總體數據流程圖總體上，三方面數據內容的關系見圖1。圖1總體數據流程圖4.3具體規范內容4.3.1數據采集規范a）望診數據（圖片，主要為舌、面診與目診）采集，在封閉環境下保證固定的光照，使用高分辨率的數字相機或智能手機的相機功能進行圖片采集。確保相機設置為適當的且固定的角度和距離，以便捕捉的圖像便于處理。b）聞診（聲音）數據（音頻，聲音的采集），使用高質量的錄音設備或智能手機的錄音功能進行音頻采集。在采集音頻數據之前，確保設備處于良好的工作狀態，并選擇一個相對安靜的環境，以減少背景噪音的干擾。將麥克風或錄音設備放置在合適的位置，以捕捉病人的聲音、呼吸或其他需要記錄的音頻信號。c）問診數據（表格數據，臨床量表與相關生理參數的填寫），使用電子表格、文檔編輯器或專門的數據采集工具來記錄文本數據，設計合適的表單或模板來收集病人的相關信息，如年齡、身高、現病史、家族史等。在采集文本數據時，確保使用清晰、簡潔的語言，并盡可能詳細地記錄相關的醫療信息。d）切診（脈診）數據（文本數據，為脈搏波的信號數據），使用脈搏測量儀器（如血壓計、心電圖儀等）來采集病人的脈搏數據。遵循正確的操作步驟和技術，確保準確測量和記錄脈搏數據。3T/CIATCM111—20244.3.2數據處理規范“望聞問切”四診數據的存在形式不一，所需要的處理方式亦不同。數據處理規范涵蓋望、聞、問、切四診的數據處理，適用于數據分析人員對四診合參數據進行數據處理和特征提取。a）望診數據處理規范包括舌、面診與目診數據處理規范。每位受試者的舌、面診數據包括三張圖片，分別對應舌面、舌底和面部特征。面部圖片分析中應包含至少5個區域，分別為額頭、鼻部、右頰、左頰、下頜五大區域；舌診需要包含舌面與舌下絡脈兩部分內容的分析：舌面需要進行舌體分割與苔質分離，并分別進行舌質顏色、舌苔顏色、舌體面積、是否有齒痕、是否有裂紋等關鍵參數分析；舌下絡脈需要進行絡脈分割，并分別進行顏色、長短、粗細、迂曲走形的分析。目診數據包括左眼和右眼共十張圖片，每組圖片分別對應雙眼正視、左視、右視、上視，見圖2。具體處理步驟：①舌面、舌底以及眼部位在圖片中的占比較低，需要先實現對應的語義分割提取網絡，從原始圖像中提取舌上和舌下等局部圖像區域；②設計五個部位的特征提取網絡；③拼接上述特征，得到望診數據的特征表示。在圖像語義分割過程中去除異常分割像素點。圖2望診數據處理規范圖示b）聞診（聲音）數據處理規范聞診數據采集的受試者發出特定語音與語句時錄制的語音音頻數據。具體處理步驟：①使用音頻特征提取器（eGeMAPS）從受試者的聲音中提取出若干維統計學特征，采樣率設置為16000；②由于提取的特征時序長短不一，使用0對時序短的特征進行填充；③得到聞診數據的特征表示。聞診數據處理4T/CIATCM111—2024規范圖示見圖3。聞診信息處理特征需包括：基頻、諧波、共振峰及其頻率、相位與幅值等參數。圖3聞診數據處理規范圖示c）問診數據處理規范問診數據為記錄受試者信息的若干個表項數據，比如年齡、身高、現病史、家族史等，每一個表項均可視為一個特征，具體處理步驟：①將非數值型特征進行數值化處理；②設計特征提取網絡；③得到問診數據的特征表示。問診數據處理規范圖示見圖4。圖4問診數據處理規范圖示d）脈診數據處理規范脈診數據指每位受試者6個部位（左右手的寸、關、尺）的脈搏搏動監測值。具體處理步驟：①根據脈診數據繪制波形圖，設計波形模式挖掘網絡，提取出模式特征；②將脈診數據視為信號數據，首先使用傳統信號處理方法對輸入數據進行歸一化、降噪處理和去除基準漂移，然后計算數據的平均周期波形并獲取平均周期特征。設計信號特征提取網絡，從而提取出信號特征；③拼接以上兩種特征，得到脈診數據的特征表示。脈診信息特征需包含體現中醫位、數、形、勢等關鍵特征的參數，如脈力、脈位、脈率、節律、脈形等信息，并進行6部脈相關參數自身對照或與健康基線進行對照。脈診數據處理規范圖示見圖5。5T/CIATCM111—2024圖5脈診數據處理規范圖示4.3.3數據融合規范對于望聞問切四種模態信息，首先會用各自的方法提取出相對成熟的特征向量。這四種模態的特征向量的維度不一定相同，對于特征維度不同的情況，首先會人為選定一個標準的維度，然后按照這個標準維度，對各個模態的特征進行線性變換，讓特征的維度都保持一致。對于維度對齊后的特征向量，可以采用不同方法進行模態融合。具體有兩類融合方法：a）平凡融合方法，包括第一維度拼接，加權求和，將四種特征向量按順序進行拼接，形成一個更大的特征向量。這種方法簡單有效，直接將各個模態的特征信息串聯起來。b）基于深度學習的融合方法，對于這一類方法，會額外構建一個模態融合網絡，這個網絡接收四種模態的特征向量為輸入，輸出為一個向量，即為望聞問切四種模態融合后的特征向量。通過實驗驗證，基于深度學習的融合方法表現比平凡融合方法會更好。得到融合后的特征向量之后，將融合后的特征輸入到無偏置線性層，通過線性映射將特征維度映射到與分類器對應的特征維度。這一步驟有助于提取出最能表達中醫“四診”多模態信息的有效融合表達。實現將多個單模態特征進行融合，綜合利用各個模態的信息，得到一個綜合且有效的“四診”多模態特征表示。數據融合流程圖示見圖6。圖6數據融合流程圖示6T/CIATCM111—2024