CCKS2021技術評測任務書面向中文醫(yī)療科普知識的內容理解一、任務描述隨著科技的發(fā)展和經(jīng)濟的進步，人們對健康問題越來越關注，醫(yī)療科普資訊的普及也得到了國家和社會的一致認可和重視。互聯(lián)網(wǎng)技術日新月異，圖文、問答、短視頻和直播等新內容形式層出不窮，如何利用海量的醫(yī)療資訊內容快速滿足用戶需求以及保證內容的準確、權威，都是很重要的課題。所以，本次評測任務圍繞著中文醫(yī)療科普知識的內容理解展開，分為兩個子任務：醫(yī)療科普知識閱讀理解醫(yī)療科普知識答非所問識別子任務一：醫(yī)療科普知識閱讀理解任務定義醫(yī)療科普知識閱讀理解任務針對用戶所提出的搜索query，在相關的文章中找到對應的答案片段內容，以作為直接展示給用戶的摘要。本次任務參考了CMRC2018和CJRC2019閱讀理解任務：拒答類答案定義：文章里面沒有能回答query的片段或摘要，人工標注結果為空（0條標注答案）。單個答案定義：每一條標注答案由人工獨立標注；單個答案可以由一段連續(xù)的文本組成，也可能由文章中若干不連續(xù)的短語/句子/片段組成。具體json格式見2.2示例。參賽者只需對每條測試數(shù)據(jù)預測出最多1條答案；如果是拒答類，給出空結果即可。數(shù)據(jù)描述2.1格式如下：Json文件格式。context_id:文檔IDcontext_text:正文內容qas:問答對列表。其中:query_text:問題描述query_id:問題IDanswers:答案列表，其中：每個元素為一個字符串列表，代表一個人工標注答案。如下圖所示，第一個答案來自文章中若干不連續(xù)的短語/句子/片段，組成一個字符串列表；第二、三個答案分別是一段連續(xù)的文本；每個答案之間相互獨立標注。2.2示例：2.3數(shù)據(jù)集說明本評測子任務的數(shù)據(jù)集包括：1）訓練及第一階段測試集：27000條標注數(shù)據(jù)作為訓練集，3000條非標注數(shù)據(jù)為第一階段測試集。2）最終測試集：在測試數(shù)據(jù)發(fā)布階段，會有6000條非標注數(shù)據(jù)作為最終測試集。最終測試集分為公域和私域兩部分數(shù)據(jù)（各3000條），公域數(shù)據(jù)作為閉榜之前的排名依據(jù)，參賽隊每次需提交全部最終測試集的結果；閉榜后的最終排名使用全部最終測試集的預測結果（6000條）計算得出。3）非標注數(shù)據(jù)無answers字段4)訓練集包含0或1個人工標注答案，其中0個標注答案表示‘拒答’類；測試集將包含0~3個標注答案，有多于1個的標注答案表示有多個人工標注，且都是正確答案；計算評測指標時會將預測結果與每個標注答案依次計算，取最高的F1分數(shù)作為本條結果的得分。（注：測試集包含多個答案的原因是因為現(xiàn)實場景下每個人對答案的理解會有不同，并且是多人標注，取最高匹配得分）5）除訓練集和測試集外，主辦方會提供100條樣例標注數(shù)據(jù)作為驗證集（含指標計算腳本）；驗證集會包含0~3個標注答案，驗證集的評測結果不作為任何排名依據(jù)，并且不能加入訓練集使用。評價指標本次子任務采用F1值來評估預測答案效果，預測數(shù)據(jù)提交格式同訓練集，每條結果包含0~1個預測答案。指標計算腳本metrics.py會隨訓練集一起發(fā)布，公式定義如下：LLLprecision=recallf1(F1FinalF1子任務二：醫(yī)療科普知識答非所問識別任務定義答非所問是指針對問答形式的醫(yī)療科普內容<Q，A>，回答A和問題Q沒有關聯(lián)，即答案不能滿足所提問題。在醫(yī)療科普內容里，一般有兩種答非所問形式，一種是回答A和問題Q完全沒有關聯(lián)，不能回答提問的問題；第二種是回答A和問題Q有關聯(lián)，但回答的方向不對，沒有回答提問的問題。舉例如下：第一種：Question:臉總是起痘是閉口粉刺，還總是泛紅怎么治療呢？Description:臉總是起痘泛紅是閉口粉刺，該用什么藥Answer:皮膚光亮泛紅，很可能是由化妝品過敏引起的過敏，如果臉部表皮薄，可能有皮膚沖洗過敏，所以應停止使用化品，然后應用爐甘石洗劑，也可以采取抗過敏藥物治療內部，并避免辛辣刺激性食物，別熬夜，多喝水，沒特效藥，注意生，可用撲爾敏試試。標注評語：患者詢問治理粉刺方法和用藥，回答是關于化妝品過敏的內容，沒有明顯關聯(lián)。第二種：Question：氣管狹窄是怎么回事？Description：我老公最近胸悶特別厲害，而且咳嗽不斷去醫(yī)院檢查，是右上葉支氣管狹窄，擔心是癌癥。右上葉支氣管狹窄是癌癥嗎？Answer：一般良性的狹窄，多數(shù)可以考慮用支氣管鏡下球囊擴張的治療方法。如果是短暫的狹窄，比如氣管異物引起的肉芽導致的狹窄，把氣管異物通過支氣管鏡取出來之后，就可以看肉芽很快消失。如果是惡性狹窄，惡性狹窄主要是指腫瘤，這種情況的治療就更加復雜，除了腫瘤是否能夠切除，是否能夠外科治療之外，還要考慮支氣管鏡的介入治療。標注評語：患者詢問氣管狹窄原因，回答是氣管狹窄的治療方法，回答的方向不正確。數(shù)據(jù)描述2.1格式如下：Label\tDocid\tQuestion\tDescription\tAnswerLabel：標注，0/1，其中1表示Answer不能回答Question，是答非所問。Docid：文檔idQuestion：問題Description：針對問題的補充描述Answer：回答2.2示例：Label:1Docid：abcd023659647xigosQuestion：出肉芽的甲溝炎怎么治療Description：甲溝炎長了肉芽，大概黃豆粒般大小，目前在用碘伏和紅霉素軟膏，沒什么效果，除了拔甲手術還有什么更好的治療方法嗎？Answer：從你說的情況來看這是局部的支架，長得不好了，再就是有甲溝炎這種情況得先治甲溝炎好了以后再拔甲，如果是這個指甲卡到了肉里邊，一定要先把指甲拔下來，不把拔甲，只能是先消炎，以后指甲長出來還會引起甲溝炎的。2.3數(shù)據(jù)集說明本評測子任務的數(shù)據(jù)集包括：訓練及第一階段測試集：40000條標注數(shù)據(jù)作為訓練集（正負比例大致1：2），5000條非標注數(shù)據(jù)為第一階段測試集，用于在最終測試集發(fā)布前榜單排名的依據(jù)，提交格式和訓練集一致。如需離線優(yōu)化，可使用訓練集做n-fold劃分。最終測試集：在測試數(shù)據(jù)發(fā)布階段，會有10000條非標注數(shù)據(jù)作為最終測試集。最終測試集分為公域和私域兩部分數(shù)據(jù)（各5000條），公域數(shù)據(jù)作為閉榜之前的排名，參賽隊每次需提交全部最終測試集的結果；閉榜后的最終排名使用全部最終測試集的預測結果（10000條）計算得出。標注數(shù)據(jù)格式為每行一條數(shù)據(jù)，有5列，用\t分隔，依次為Label、Docid、Question、Description和Answer；非標注數(shù)據(jù)格式為每行一條數(shù)據(jù)，有4列，用\t分隔，依次為Docid、Question、Description和Answer。評價指標本次子任務采用精確率（Precision,P）、召回率（Recall,R）、F1值（F1-measure,F1）來評估答非所問的識別效果。PRF二、任務提交本次任務將采取刷榜的方式，第一階段測試集發(fā)布后，允許參賽隊伍多次向平臺提交結果，文件命名為“參賽隊名稱_valid_result.txt”，格式與任務描述中的標注數(shù)據(jù)格式相同，排名實時更新。參賽隊伍可在測試集發(fā)布之前隨時上傳驗證集的計算結果（每日最多可上傳3次），管理系統(tǒng)會及時更新各隊伍的最新排名情況。測試集發(fā)布后，允許參賽隊伍多次提交結果文件（每日不超過3次），文件命名為“參賽隊名稱_test_result.txt”，結果文件提交格式同上。最終提交文件要求：每一支參數(shù)隊伍提交的材料如下（閱讀理解和答非所問識別分開提交）：結果文件，result.txt（utf-8格式）代碼及說明方法描述文檔（非評測論文，評測論文撰寫要求見CCKS2021官網(wǎng)）以上3個文件需在任務提交截止日期前發(fā)送至指定郵箱。閱讀理解：發(fā)送至ccks2021Medical_1@，郵件標題格式為：CCKS-評測任務-MRC-最終提交文件-參賽隊名稱”，例如“CCKS-評測任務-MRC-最終提交文件-醫(yī)心隊”。答非所問：發(fā)送至ccks2021Medical_2@，郵件標題格式為：CCKS-評測任務-WA-最終提交文件-參賽隊名稱”，例如“CCKS-評測任務-WA-最終提交文件-醫(yī)心隊”。代碼及其文檔需打包成一個zip文件，用code.xxx命名，要求提交所有的程序代碼及相關的配置說明，確保程序能夠正確運行，且所得結果與result.txt相符。方法描述文檔用desc.pdf命名，包含算法描述及參數(shù)設置，需用pdf格式存儲，頁數(shù)不超過10頁。三、規(guī)則本次比賽組委會依托Biendata（/）作為在線評測平臺，所有參賽隊伍最終結果均需在Biendata上指定的時間窗口內進行提交。參賽選手須在Biendata平臺管理系統(tǒng)中注冊，并確保注冊時提交信息準確有效，所有的比賽資格及獎金支付均以提交信息為準；參賽選手在管理系統(tǒng)中組隊，參賽隊伍成員數(shù)量不得超過5個（包括隊長），報名截止日期之后不允許更改隊員名單；每支隊伍需指定一名隊長，隊伍名稱不超過15個字符，隊伍名的設定不得違反中國法律法規(guī)或公序良俗詞匯；每名選手只能參加一支隊伍，一旦發(fā)現(xiàn)某選手以注冊多個賬號的方式參加多支隊伍，將取消相關隊伍的參賽資格；允許使用開源代碼或工具，但不允許使用任何未公開發(fā)布或需要授權的代碼或工具；除主辦方提供的數(shù)據(jù)集外，參賽選手允許使用公開的預訓練模型（如詞向量、字向量等），但是不能用額外的標注數(shù)據(jù)。參賽隊伍可在參賽期間隨時上傳驗證集的預測結果，一天不能超過3次，管理系統(tǒng)會實時更新各隊伍的最新排名情況。參賽隊伍最終需要提交可運行的代碼和方法描述文檔，如果在排行榜上的結果無法復現(xiàn)，將取消參賽資格。歡迎在校師生及企業(yè)在職人士參賽。三、時間安排時間安排初定如下，如有后續(xù)調整，將在討論群中更新說明。評測任務發(fā)布：4月1日報名時間：4月1日—7月15日訓練及第一階段測試集數(shù)據(jù)發(fā)布：4月20日第一階段測試集提交開放：4月20日-7月15日最終測試集數(shù)據(jù)發(fā)布：7月15日最終測試集提交開放：7月15日-7月20日評測論文提交：8月5日CCKS會議日期：8月18日—21日四、獎勵設置第一名：人民幣15000元第二名：人民幣7000元第三名：人民幣3000元技術創(chuàng)新獎：人民幣5000元備注：每個子任務獨立設置獎項，包括一、二、三名和技術創(chuàng)新獎。子任務每個獎項最多一支隊伍獲得，技術創(chuàng)新獎可以缺失，并且可以和前三名兼得；參賽隊伍可以分別參加兩個子任務，并分別排名；獲獎者有機會進入2022年騰訊醫(yī)療校園招聘終面和實習生綠色通道。五、任務組織者及聯(lián)系人劉新春（騰訊）：xinchunliu@吳賢（騰訊）：kevinxwu@陳裕通（騰訊）：bradleychen@邵紀春（騰訊）：sunnyshao@周佳（騰訊）：alisazh