人工智能視頻圖像審核系統(tǒng)技術規(guī)范中國電子工業(yè)標準化技術協(xié)會發(fā)布 2規(guī)范性引用文件 3術語和定義 14縮略語 15系統(tǒng)框架 25.2業(yè)務域 25.3數(shù)據(jù)服務域 25.4算法引擎域 3 35.6應用流程 6技術要求 36.1功能要求 36.2性能要求 47測試評價方法 67.1功能測試 67.2性能測試 7 9本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由中國電子技術標準化研究院提出。本文件由中國電子技術標準化研究院、中國電子工業(yè)標準化技術協(xié)會歸口。本文件起草單位：中國電子技術標準化研究院、上海商湯智能科技有限公司、上海計算機軟件開發(fā)中心、美的集團(上海)有限公司、海信集團控股股份有限公司、騰訊云計算(北京)有限責任公司、上海依圖網(wǎng)絡科技有限公司、北京百度網(wǎng)訊科技有限公司、深圳云天勵飛技術股份有限公司、上海人工智能研究院有限公司、西北工業(yè)大學。本文件主要起草人：董建、馬珊珊、陳海峰、徐浩、蔣慧、劉海林、吳庚、陳敏剛、丁敏捷、徐洋、楊雨澤、脫立恒、蔡亞森、高雪松、何晨迪、劉常昱、鄢科、段婧、趙春昊、郭明坤、周志超、何棟梁、陳斌、石羨、宋海濤、王資凱、張世周、梁國強。1人工智能視頻圖像審核系統(tǒng)技術規(guī)范本文件確立了視頻圖像審核系統(tǒng)的框架，規(guī)定了框架中業(yè)務域的技術要求，描述了測試評價方法。本文件適用于視頻圖像審核系統(tǒng)的開發(fā)方、使用方及第三方進行測試評估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T21023—2007中文語音識別系統(tǒng)通用技術規(guī)范GB/T35678—2017公共安全人臉識別應用圖像技術要求3術語和定義GB/T35678—2017界定的以及下列術語和定義適用于本文件。視頻圖像審核系統(tǒng)videoandimageauditingsystem根據(jù)用戶審核要求，將視頻和圖像中信息進行識別、分類并協(xié)助人工進行處理的服務系統(tǒng)。對于給定的數(shù)據(jù)集，正確分類的樣本數(shù)占全部樣本數(shù)的比率。對于給定的數(shù)據(jù)集，正確預測的樣本數(shù)占全部正確樣本的比率。4縮略語下列縮略語適用于本文件。JPEG:聯(lián)合圖像專家組(JointPhotographicExpertsGroup)PNG:便攜式網(wǎng)絡圖形(PortableNetworkGraphics)2QPS:每秒查詢量(QueryPerSecond)TIFF:標簽圖像文件格式(TagImageFileFormat)5系統(tǒng)框架5.1概述業(yè)務域數(shù)據(jù)服務域算法引擎域基礎域基于人工智能技術的視頻圖像審核系統(tǒng)(簡稱“系統(tǒng)”)包括業(yè)務域、數(shù)據(jù)服務域、算法引擎域和基礎域等核心邏輯域，主要提供將視頻、圖像等數(shù)據(jù)轉(zhuǎn)換為標簽、文本及特征信息等服務。其基本框架業(yè)務域數(shù)據(jù)服務域算法引擎域基礎域5.2業(yè)務域圖1視頻圖像審核系統(tǒng)框架業(yè)務域包括以下功能模塊：a)標簽管理：應具備按照業(yè)務邏輯配置審核標簽等功能；b)人物庫管理：應具備人物庫管理功能；c)關鍵詞管理：應具備使用關鍵詞等關鍵信息在結構化數(shù)據(jù)庫匹配；d)審核模板管理：應具備審核模板的新增、刪除、查詢、更改等功能；e)審核任務管理：應具備對審核任務的新增、刪除、查詢、更改等功能；f)審核結果輸出：應具備對審核結果的查看和篩選等功能，宜支持導出功能；g)離線審核管理：應具備對離線審核文件導入和查看等功能；h)用戶管理：應具備用戶管理和權限管理等功能；i)系統(tǒng)日志：應具備自動生成系統(tǒng)操作日志等功能。5.3數(shù)據(jù)服務域數(shù)據(jù)服務域包括以下功能模塊：a)接口服務：應具備查詢檢索服務、數(shù)據(jù)管理等服務；可支持其他服務或系統(tǒng)接入功能；b)數(shù)據(jù)庫：應支持標簽庫、人物庫和關鍵詞庫；可支持其他數(shù)據(jù)庫功能；3c)數(shù)據(jù)處理：應具備數(shù)據(jù)清洗、轉(zhuǎn)換、加載等功能，其中視頻數(shù)據(jù)應支持視頻截幀，語音數(shù)據(jù)應支持音軌提取；可支持其他數(shù)據(jù)處理功能；d)數(shù)據(jù)接入：應支持視頻、圖像、語音、文本等數(shù)據(jù)類型接入；可支持其他元信息。5.4算法引擎域算法引擎域主要包括基于人工智能技術的視頻圖像服務引擎、語音服務引擎和文本服務引擎等，針對視頻、圖像、語音、文本等數(shù)據(jù)進行標簽化標識，支持對標簽化關鍵詞進行分組、新增、刪除、查詢、更改等操作：a)視頻圖像服務引擎：應具備視頻、圖像分類、標簽識別、特征提取功能，可支持其他功能；b)語音服務引擎：應具備語音轉(zhuǎn)寫、語義分析、聲紋提取功能，可支持其他功能；c)文本服務引擎：應具備文本實體分割、特定語種識別、文字特征提取功能，可支持其他功能。基礎域包括支持通用計算單元或異構計算單元的硬件、網(wǎng)絡設備和存儲設備等構成的資源池。5.6應用流程視頻圖像審核系統(tǒng)與內(nèi)容采集系統(tǒng)和人工審核系統(tǒng)之間的關系見圖2,系統(tǒng)的部署形式可采用云服務，也可采用私有化部署。視頻圖像審核系統(tǒng)中宜具備視頻圖像解析引擎和對外服務功能。6技術要求6.1功能要求系統(tǒng)標簽管理包括以下要求：a)系統(tǒng)應能查看已支持的標簽列表，并能配置指定標簽的報警閾值，根據(jù)報警閾值輸出審核結b)系統(tǒng)標簽體系應支持按照審核業(yè)務需求分類、移動；c)系統(tǒng)宜支持對標簽的啟用、禁用等功能；d)系統(tǒng)宜支持對標簽的新增、刪除、查詢、更改等功能。6.1.2人物庫管理系統(tǒng)人物管理包括以下要求：a)系統(tǒng)應支持對符合GB/T35678—2017中4.1要求的人臉圖像數(shù)據(jù)進行人臉注冊，并與接入數(shù)據(jù)進行識別、比對，生成相似度值；b)系統(tǒng)應支持對符合GB/T35678—2017中4.2要求的人臉圖像數(shù)據(jù)進行檢測、識別；4c)系統(tǒng)宜支持對人物以及相關人臉圖像數(shù)據(jù)的新增、刪除、查詢、更改等功能。6.1.3關鍵詞管理系統(tǒng)應支持對關鍵詞庫以及庫中關鍵詞的新增、刪除、查詢、更改等功能。6.1.4審核模板管理系統(tǒng)審核模板管理包含以下要求：a)系統(tǒng)應支持審核模板的新增、刪除、查詢、更改等功能，開啟與關閉，設置默認模板；b)系統(tǒng)應支持配置審核模板，宜支持自定義綁定標簽、人物、關鍵詞庫、審核分數(shù)范圍等條件；c)系統(tǒng)應支持設定抽幀方式及頻率。6.1.5審核任務管理系統(tǒng)審核任務管理包括以下要求：a)系統(tǒng)應支持選擇審核模板；b)系統(tǒng)應支持通過配置標簽、人物、關鍵詞、審核分數(shù)范圍等條件進行審核任務的創(chuàng)建、編輯和刪除操作；c)系統(tǒng)應支持通過審核任務名稱對審核任務篩選。6.1.6審核結果輸出系統(tǒng)審核結果輸出包括以下要求：a)系統(tǒng)應支持查看審核任務的審核結果；b)系統(tǒng)應支持通過時間、標簽、人物、關鍵詞、審核分數(shù)范圍等條件對審核結果篩選。6.1.7離線審核管理系統(tǒng)離線審核管理包括以下要求：a)系統(tǒng)應支持通過創(chuàng)建離線審核任務的方式對離線文件審核，離線文件導入類型可包括視頻、圖像、語音、文本等數(shù)據(jù)類型；b)系統(tǒng)應支持查看離線審核任務的審核結果。系統(tǒng)應具備用戶管理、角色管理模塊，支持用戶、角色的新增、刪除、查詢、更改等功能，實現(xiàn)對用戶進行部門劃分、通過角色對用戶進行功能權限的分配管理。6.1.9系統(tǒng)日志系統(tǒng)日志包括以下要求：a)系統(tǒng)應支持自動生成操作日志，記錄操作人員身份信息、進入、退出系統(tǒng)的時間和操作情況；b)系統(tǒng)應具備操作日志查詢、導出等功能。6.2性能要求系統(tǒng)兼容性包括以下要求：5對于視頻圖像中大于(32×32)像素的人臉類檢測識別，包含下列要求：a)準確率不應低于90%;b)召回率不應低于90%;a)準確率不應低于90%;b)召回率不應低于80%;c)QPS不應低于200;a)準確率不應低于95%;a)準確率不應低于90%;b)召回率不應低于80%;c)QPS不應低于400;對于視頻圖像中大于(32×32)像素的中文字符或(16×16)像素的英文字符檢測識別，包含下列a)準確率不應低于90%;6a)測試用戶對指定標簽的報警閾值進行調(diào)整，并根據(jù)報警閾值輸出審核結果，通過調(diào)整標簽的c)測試用戶查看標簽啟用、禁用功能，先選取輸出結果帶有某標簽的數(shù)據(jù)進行測試，然后對某d)測試用戶查看已支持的標簽列表，通過新增、刪除、查詢或更改任意標簽確定標簽列表的有a)測試用戶使用符合GB/T35678-2017中4.1要求的人臉圖像數(shù)據(jù)進行人臉數(shù)據(jù)注冊，然后利用符合該標準的同一人的不同角度人臉圖像數(shù)據(jù)接入系統(tǒng)，觀察與該注冊人臉的相似度是否最b)測試用戶將多張符合GB/T35678—2017中4.2要c)測試用戶對人物以及相關人臉圖像數(shù)據(jù)進行新增、刪除、查詢、更改等操作，觀察功能有效a)測試用戶對審核模板創(chuàng)建，并觀察是否在審核模板中自定義綁定標簽、人物、關鍵詞庫、審c)測試用戶對審核模板進行新增、刪除、查詢、更改等操作，檢測功能有效性。并觀察已創(chuàng)建7a)測試用戶根據(jù)系統(tǒng)要求配置任意標簽、人物、關鍵詞、審核分數(shù)范圍進行審核任務的創(chuàng)建、a)測試用戶進入系統(tǒng)、退出系統(tǒng)并做出一些操作，將這些操作記錄，然后觀察系統(tǒng)日志中是否a)準確率和召回率：根據(jù)測試結果，基于混淆矩陣(表1),統(tǒng)計真正樣本數(shù)(TP),假正樣本數(shù)(FP),假負樣本數(shù)(FN),真負樣本數(shù)(TN),根據(jù)下式對準確率和召回率進行計算，計8表1混淆矩陣正值(Positive)負值(Negative)正值(Positive)真正樣本數(shù)(TP)假負樣本數(shù)(FN)負值(Negative)假正樣本數(shù)(FP)真負樣本數(shù)(TN)式中：TP——真正樣本數(shù)；TN——真負樣本數(shù)；FP——假正樣本數(shù)；FN——假負樣本數(shù)。2)召回率計算方法：式中：TP——真正樣本數(shù)；FN——假負樣本數(shù)。b)誤報率：誤報率應按照GB/T21023-2007中第七章的方法進行測試，統(tǒng)計系統(tǒng)報出關鍵詞總數(shù)中錯誤的關鍵詞個數(shù)FA,按下列公式進行計算：式中：Far——誤報率；FA——系統(tǒng)報出關鍵詞總數(shù)中錯誤的關鍵詞個數(shù)，單位：個；KW——關鍵詞表的詞匯量，單位：個；HR——語音長度，單位：小時；C——每小時每個關鍵詞最大容忍的誤報個數(shù)，一般取10。c)每秒查詢量：采用并發(fā)性能測試工具，設置并發(fā)數(shù)N個，每個并發(fā)用戶不斷向被測審核系統(tǒng)發(fā)送審核請求，記錄成功執(zhí)行的查詢平均響應時間為T秒，QPS=N/T。根據(jù)監(jiān)測結果與6.2.2的要求進行比對；d)響應時間：采用性能測試工具，設置并發(fā)數(shù)1個，用戶串行向被測審核系統(tǒng)發(fā)送審核請求，記錄成功執(zhí)行的查詢平均響應時間為T秒；e)語音轉(zhuǎn)寫倍速：測試音頻文件總時長為H小時，調(diào)用音頻轉(zhuǎn)寫接口將測試音頻文件發(fā)送到審核系統(tǒng)，記錄系統(tǒng)語音轉(zhuǎn)寫處理時間為h小時，轉(zhuǎn)寫倍速為H/h。9 (資料性)參考測試條件A.1測試工具測試工具包括軟硬件平臺，可由檢測機構提供或由測試用戶準備，其中：a)檢測機構提供的測試工具要求如下：1)硬件平臺：CPU主頻大于2.0GHz、內(nèi)存大于4GB的等同性能的硬件平臺，測試硬件平臺的算力性能上限宜根據(jù)檢測業(yè)務需求確定；2)操作系統(tǒng)：主流操作系統(tǒng)，如Linux、Windows等；3)調(diào)用算法庫進行測試時，應提供算法庫接口函數(shù)。b)測試用戶準備測試工具要求如下：1)可結合審核系統(tǒng)實際應用時的配置準備測試工具；2)直接提供被測系統(tǒng)或產(chǎn)品，使用檢測機構提供的測試數(shù)據(jù)，被測系統(tǒng)或產(chǎn)品反饋測試結果記錄。A.2測試環(huán)境除另有規(guī)定外，基本測試環(huán)境如下：a)環(huán)境溫度：15℃~35℃;b)相對濕度：25%~75%;c)氣壓：86kPa~106kPa;d)照度：3