人工智能視頻圖像審核系統技術規范中國電子工業標準化技術協會發布 2規范性引用文件 3術語和定義 14縮略語 15系統框架 25.2業務域 25.3數據服務域 25.4算法引擎域 3 35.6應用流程 6技術要求 36.1功能要求 36.2性能要求 47測試評價方法 67.1功能測試 67.2性能測試 7 9本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由中國電子技術標準化研究院提出。本文件由中國電子技術標準化研究院、中國電子工業標準化技術協會歸口。本文件起草單位：中國電子技術標準化研究院、上海商湯智能科技有限公司、上海計算機軟件開發中心、美的集團(上海)有限公司、海信集團控股股份有限公司、騰訊云計算(北京)有限責任公司、上海依圖網絡科技有限公司、北京百度網訊科技有限公司、深圳云天勵飛技術股份有限公司、上海人工智能研究院有限公司、西北工業大學。本文件主要起草人：董建、馬珊珊、陳海峰、徐浩、蔣慧、劉海林、吳庚、陳敏剛、丁敏捷、徐洋、楊雨澤、脫立恒、蔡亞森、高雪松、何晨迪、劉常昱、鄢科、段婧、趙春昊、郭明坤、周志超、何棟梁、陳斌、石羨、宋海濤、王資凱、張世周、梁國強。1人工智能視頻圖像審核系統技術規范本文件確立了視頻圖像審核系統的框架，規定了框架中業務域的技術要求，描述了測試評價方法。本文件適用于視頻圖像審核系統的開發方、使用方及第三方進行測試評估。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T21023—2007中文語音識別系統通用技術規范GB/T35678—2017公共安全人臉識別應用圖像技術要求3術語和定義GB/T35678—2017界定的以及下列術語和定義適用于本文件。視頻圖像審核系統videoandimageauditingsystem根據用戶審核要求，將視頻和圖像中信息進行識別、分類并協助人工進行處理的服務系統。對于給定的數據集，正確分類的樣本數占全部樣本數的比率。對于給定的數據集，正確預測的樣本數占全部正確樣本的比率。4縮略語下列縮略語適用于本文件。JPEG:聯合圖像專家組(JointPhotographicExpertsGroup)PNG:便攜式網絡圖形(PortableNetworkGraphics)2QPS:每秒查詢量(QueryPerSecond)TIFF:標簽圖像文件格式(TagImageFileFormat)5系統框架5.1概述業務域數據服務域算法引擎域基礎域基于人工智能技術的視頻圖像審核系統(簡稱“系統”)包括業務域、數據服務域、算法引擎域和基礎域等核心邏輯域，主要提供將視頻、圖像等數據轉換為標簽、文本及特征信息等服務。其基本框架業務域數據服務域算法引擎域基礎域5.2業務域圖1視頻圖像審核系統框架業務域包括以下功能模塊：a)標簽管理：應具備按照業務邏輯配置審核標簽等功能；b)人物庫管理：應具備人物庫管理功能；c)關鍵詞管理：應具備使用關鍵詞等關鍵信息在結構化數據庫匹配；d)審核模板管理：應具備審核模板的新增、刪除、查詢、更改等功能；e)審核任務管理：應具備對審核任務的新增、刪除、查詢、更改等功能；f)審核結果輸出：應具備對審核結果的查看和篩選等功能，宜支持導出功能；g)離線審核管理：應具備對離線審核文件導入和查看等功能；h)用戶管理：應具備用戶管理和權限管理等功能；i)系統日志：應具備自動生成系統操作日志等功能。5.3數據服務域數據服務域包括以下功能模塊：a)接口服務：應具備查詢檢索服務、數據管理等服務；可支持其他服務或系統接入功能；b)數據庫：應支持標簽庫、人物庫和關鍵詞庫；可支持其他數據庫功能；3c)數據處理：應具備數據清洗、轉換、加載等功能，其中視頻數據應支持視頻截幀，語音數據應支持音軌提取；可支持其他數據處理功能；d)數據接入：應支持視頻、圖像、語音、文本等數據類型接入；可支持其他元信息。5.4算法引擎域算法引擎域主要包括基于人工智能技術的視頻圖像服務引擎、語音服務引擎和文本服務引擎等，針對視頻、圖像、語音、文本等數據進行標簽化標識，支持對標簽化關鍵詞進行分組、新增、刪除、查詢、更改等操作：a)視頻圖像服務引擎：應具備視頻、圖像分類、標簽識別、特征提取功能，可支持其他功能；b)語音服務引擎：應具備語音轉寫、語義分析、聲紋提取功能，可支持其他功能；c)文本服務引擎：應具備文本實體分割、特定語種識別、文字特征提取功能，可支持其他功能。基礎域包括支持通用計算單元或異構計算單元的硬件、網絡設備和存儲設備等構成的資源池。5.6應用流程視頻圖像審核系統與內容采集系統和人工審核系統之間的關系見圖2,系統的部署形式可采用云服務，也可采用私有化部署。視頻圖像審核系統中宜具備視頻圖像解析引擎和對外服務功能。6技術要求6.1功能要求系統標簽管理包括以下要求：a)系統應能查看已支持的標簽列表，并能配置指定標簽的報警閾值，根據報警閾值輸出審核結b)系統標簽體系應支持按照審核業務需求分類、移動；c)系統宜支持對標簽的啟用、禁用等功能；d)系統宜支持對標簽的新增、刪除、查詢、更改等功能。6.1.2人物庫管理系統人物管理包括以下要求：a)系統應支持對符合GB/T35678—2017中4.1要求的人臉圖像數據進行人臉注冊，并與接入數據進行識別、比對，生成相似度值；b)系統應支持對符合GB/T35678—2017中4.2要求的人臉圖像數據進行檢測、識別；4c)系統宜支持對人物以及相關人臉圖像數據的新增、刪除、查詢、更改等功能。6.1.3關鍵詞管理系統應支持對關鍵詞庫以及庫中關鍵詞的新增、刪除、查詢、更改等功能。6.1.4審核模板管理系統審核模板管理包含以下要求：a)系統應支持審核模板的新增、刪除、查詢、更改等功能，開啟與關閉，設置默認模板；b)系統應支持配置審核模板，宜支持自定義綁定標簽、人物、關鍵詞庫、審核分數范圍等條件；c)系統應支持設定抽幀方式及頻率。6.1.5審核任務管理系統審核任務管理包括以下要求：a)系統應支持選擇審核模板；b)系統應支持通過配置標簽、人物、關鍵詞、審核分數范圍等條件進行審核任務的創建、編輯和刪除操作；c)系統應支持通過審核任務名稱對審核任務篩選。6.1.6審核結果輸出系統審核結果輸出包括以下要求：a)系統應支持查看審核任務的審核結果；b)系統應支持通過時間、標簽、人物、關鍵詞、審核分數范圍等條件對審核結果篩選。6.1.7離線審核管理系統離線審核管理包括以下要求：a)系統應支持通過創建離線審核任務的方式對離線文件審核，離線文件導入類型可包括視頻、圖像、語音、文本等數據類型；b)系統應支持查看離線審核任務的審核結果。系統應具備用戶管理、角色管理模塊，支持用戶、角色的新增、刪除、查詢、更改等功能，實現對用戶進行部門劃分、通過角色對用戶進行功能權限的分配管理。6.1.9系統日志系統日志包括以下要求：a)系統應支持自動生成操作日志，記錄操作人員身份信息、進入、退出系統的時間和操作情況；b)系統應具備操作日志查詢、導出等功能。6.2性能要求系統兼容性包括以下要求：5對于視頻圖像中大于(32×32)像素的人臉類檢測識別，包含下列要求：a)準確率不應低于90%;b)召回率不應低于90%;a)準確率不應低于90%;b)召回率不應低于80%;c)QPS不應低于200;a)準確率不應低于95%;a)準確率不應低于90%;b)召回率不應低于80%;c)QPS不應低于400;對于視頻圖像中大于(32×32)像素的中文字符或(16×16)像素的英文字符檢測識別，包含下列a)準確率不應低于90%;6a)測試用戶對指定標簽的報警閾值進行調整，并根據報警閾值輸出審核結果，通過調整標簽的c)測試用戶查看標簽啟用、禁用功能，先選取輸出結果帶有某標簽的數據進行測試，然后對某d)測試用戶查看已支持的標簽列表，通過新增、刪除、查詢或更改任意標簽確定標簽列表的有a)測試用戶使用符合GB/T35678-2017中4.1要求的人臉圖像數據進行人臉數據注冊，然后利用符合該標準的同一人的不同角度人臉圖像數據接入系統，觀察與該注冊人臉的相似度是否最b)測試用戶將多張符合GB/T35678—2017中4.2要c)測試用戶對人物以及相關人臉圖像數據進行新增、刪除、查詢、更改等操作，觀察功能有效a)測試用戶對審核模板創建，并觀察是否在審核模板中自定義綁定標簽、人物、關鍵詞庫、審c)測試用戶對審核模板進行新增、刪除、查詢、更改等操作，檢測功能有效性。并觀察已創建7a)測試用戶根據系統要求配置任意標簽、人物、關鍵詞、審核分數范圍進行審核任務的創建、a)測試用戶進入系統、退出系統并做出一些操作，將這些操作記錄，然后觀察系統日志中是否a)準確率和召回率：根據測試結果，基于混淆矩陣(表1),統計真正樣本數(TP),假正樣本數(FP),假負樣本數(FN),真負樣本數(TN),根據下式對準確率和召回率進行計算，計8表1混淆矩陣正值(Positive)負值(Negative)正值(Positive)真正樣本數(TP)假負樣本數(FN)負值(Negative)假正樣本數(FP)真負樣本數(TN)式中：TP——真正樣本數；TN——真負樣本數；FP——假正樣本數；FN——假負樣本數。2)召回率計算方法：式中：TP——真正樣本數；FN——假負樣本數。b)誤報率：誤報率應按照GB/T21023-2007中第七章的方法進行測試，統計系統報出關鍵詞總數中錯誤的關鍵詞個數FA,按下列公式進行計算：式中：Far——誤報率；FA——系統報出關鍵詞總數中錯誤的關鍵詞個數，單位：個；KW——關鍵詞表的詞匯量，單位：個；HR——語音長度，單位：小時；C——每小時每個關鍵詞最大容忍的誤報個數，一般取10。c)每秒查詢量：采用并發性能測試工具，設置并發數N個，每個并發用戶不斷向被測審核系統發送審核請求，記錄成功執行的查詢平均響應時間為T秒，QPS=N/T。根據監測結果與6.2.2的要求進行比對；d)響應時間：采用性能測試工具，設置并發數1個，用戶串行向被測審核系統發送審核請求，記錄成功執行的查詢平均響應時間為T秒；e)語音轉寫倍速：測試音頻文件總時長為H小時，調用音頻轉寫接口將測試音頻文件發送到審核系統，記錄系統語音轉寫處理時間為h小時，轉寫倍速為H/h。9 (資料性)參考測試條件A.1測試工具測試工具包括軟硬件平臺，可由檢測機構提供或由測試用戶準備，其中：a)檢測機構提供的測試工具要求如下：1)硬件平臺：CPU主頻大于2.0GHz、內存大于4GB的等同性能的硬件平臺，測試硬件平臺的算力性能上限宜根據檢測業務需求確定；2)操作系統：主流操作系統，如Linux、Windows等；3)調用算法庫進行測試時，應提供算法庫接口函數。b)測試用戶準備測試工具要求如下：1)可結合審核系統實際應用時的配置準備測試工具；2)直接提供被測系統或產品，使用檢測機構提供的測試數據，被測系統或產品反饋測試結果記錄。A.2測試環境除另有規定外，基本測試環境如下：a)環境溫度：15℃~35℃;b)相對濕度：25%~75%;c)氣壓：86kPa~106kPa;d)照度：3