人工智能視頻圖像審核系統(tǒng)技術(shù)規(guī)范中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布 2規(guī)范性引用文件 3術(shù)語和定義 14縮略語 15系統(tǒng)框架 25.2業(yè)務(wù)域 25.3數(shù)據(jù)服務(wù)域 25.4算法引擎域 3 35.6應(yīng)用流程 6技術(shù)要求 36.1功能要求 36.2性能要求 47測(cè)試評(píng)價(jià)方法 67.1功能測(cè)試 67.2性能測(cè)試 7 9本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院提出。本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)歸口。本文件起草單位：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、上海商湯智能科技有限公司、上海計(jì)算機(jī)軟件開發(fā)中心、美的集團(tuán)(上海)有限公司、海信集團(tuán)控股股份有限公司、騰訊云計(jì)算(北京)有限責(zé)任公司、上海依圖網(wǎng)絡(luò)科技有限公司、北京百度網(wǎng)訊科技有限公司、深圳云天勵(lì)飛技術(shù)股份有限公司、上海人工智能研究院有限公司、西北工業(yè)大學(xué)。本文件主要起草人：董建、馬珊珊、陳海峰、徐浩、蔣慧、劉海林、吳庚、陳敏剛、丁敏捷、徐洋、楊雨澤、脫立恒、蔡亞森、高雪松、何晨迪、劉常昱、鄢科、段婧、趙春昊、郭明坤、周志超、何棟梁、陳斌、石羨、宋海濤、王資凱、張世周、梁國(guó)強(qiáng)。1人工智能視頻圖像審核系統(tǒng)技術(shù)規(guī)范本文件確立了視頻圖像審核系統(tǒng)的框架，規(guī)定了框架中業(yè)務(wù)域的技術(shù)要求，描述了測(cè)試評(píng)價(jià)方法。本文件適用于視頻圖像審核系統(tǒng)的開發(fā)方、使用方及第三方進(jìn)行測(cè)試評(píng)估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T21023—2007中文語音識(shí)別系統(tǒng)通用技術(shù)規(guī)范GB/T35678—2017公共安全人臉識(shí)別應(yīng)用圖像技術(shù)要求3術(shù)語和定義GB/T35678—2017界定的以及下列術(shù)語和定義適用于本文件。視頻圖像審核系統(tǒng)videoandimageauditingsystem根據(jù)用戶審核要求，將視頻和圖像中信息進(jìn)行識(shí)別、分類并協(xié)助人工進(jìn)行處理的服務(wù)系統(tǒng)。對(duì)于給定的數(shù)據(jù)集，正確分類的樣本數(shù)占全部樣本數(shù)的比率。對(duì)于給定的數(shù)據(jù)集，正確預(yù)測(cè)的樣本數(shù)占全部正確樣本的比率。4縮略語下列縮略語適用于本文件。JPEG:聯(lián)合圖像專家組(JointPhotographicExpertsGroup)PNG:便攜式網(wǎng)絡(luò)圖形(PortableNetworkGraphics)2QPS:每秒查詢量(QueryPerSecond)TIFF:標(biāo)簽圖像文件格式(TagImageFileFormat)5系統(tǒng)框架5.1概述業(yè)務(wù)域數(shù)據(jù)服務(wù)域算法引擎域基礎(chǔ)域基于人工智能技術(shù)的視頻圖像審核系統(tǒng)(簡(jiǎn)稱“系統(tǒng)”)包括業(yè)務(wù)域、數(shù)據(jù)服務(wù)域、算法引擎域和基礎(chǔ)域等核心邏輯域，主要提供將視頻、圖像等數(shù)據(jù)轉(zhuǎn)換為標(biāo)簽、文本及特征信息等服務(wù)。其基本框架業(yè)務(wù)域數(shù)據(jù)服務(wù)域算法引擎域基礎(chǔ)域5.2業(yè)務(wù)域圖1視頻圖像審核系統(tǒng)框架業(yè)務(wù)域包括以下功能模塊：a)標(biāo)簽管理：應(yīng)具備按照業(yè)務(wù)邏輯配置審核標(biāo)簽等功能；b)人物庫(kù)管理：應(yīng)具備人物庫(kù)管理功能；c)關(guān)鍵詞管理：應(yīng)具備使用關(guān)鍵詞等關(guān)鍵信息在結(jié)構(gòu)化數(shù)據(jù)庫(kù)匹配；d)審核模板管理：應(yīng)具備審核模板的新增、刪除、查詢、更改等功能；e)審核任務(wù)管理：應(yīng)具備對(duì)審核任務(wù)的新增、刪除、查詢、更改等功能；f)審核結(jié)果輸出：應(yīng)具備對(duì)審核結(jié)果的查看和篩選等功能，宜支持導(dǎo)出功能；g)離線審核管理：應(yīng)具備對(duì)離線審核文件導(dǎo)入和查看等功能；h)用戶管理：應(yīng)具備用戶管理和權(quán)限管理等功能；i)系統(tǒng)日志：應(yīng)具備自動(dòng)生成系統(tǒng)操作日志等功能。5.3數(shù)據(jù)服務(wù)域數(shù)據(jù)服務(wù)域包括以下功能模塊：a)接口服務(wù)：應(yīng)具備查詢檢索服務(wù)、數(shù)據(jù)管理等服務(wù)；可支持其他服務(wù)或系統(tǒng)接入功能；b)數(shù)據(jù)庫(kù)：應(yīng)支持標(biāo)簽庫(kù)、人物庫(kù)和關(guān)鍵詞庫(kù)；可支持其他數(shù)據(jù)庫(kù)功能；3c)數(shù)據(jù)處理：應(yīng)具備數(shù)據(jù)清洗、轉(zhuǎn)換、加載等功能，其中視頻數(shù)據(jù)應(yīng)支持視頻截幀，語音數(shù)據(jù)應(yīng)支持音軌提取；可支持其他數(shù)據(jù)處理功能；d)數(shù)據(jù)接入：應(yīng)支持視頻、圖像、語音、文本等數(shù)據(jù)類型接入；可支持其他元信息。5.4算法引擎域算法引擎域主要包括基于人工智能技術(shù)的視頻圖像服務(wù)引擎、語音服務(wù)引擎和文本服務(wù)引擎等，針對(duì)視頻、圖像、語音、文本等數(shù)據(jù)進(jìn)行標(biāo)簽化標(biāo)識(shí)，支持對(duì)標(biāo)簽化關(guān)鍵詞進(jìn)行分組、新增、刪除、查詢、更改等操作：a)視頻圖像服務(wù)引擎：應(yīng)具備視頻、圖像分類、標(biāo)簽識(shí)別、特征提取功能，可支持其他功能；b)語音服務(wù)引擎：應(yīng)具備語音轉(zhuǎn)寫、語義分析、聲紋提取功能，可支持其他功能；c)文本服務(wù)引擎：應(yīng)具備文本實(shí)體分割、特定語種識(shí)別、文字特征提取功能，可支持其他功能。基礎(chǔ)域包括支持通用計(jì)算單元或異構(gòu)計(jì)算單元的硬件、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)設(shè)備等構(gòu)成的資源池。5.6應(yīng)用流程視頻圖像審核系統(tǒng)與內(nèi)容采集系統(tǒng)和人工審核系統(tǒng)之間的關(guān)系見圖2,系統(tǒng)的部署形式可采用云服務(wù)，也可采用私有化部署。視頻圖像審核系統(tǒng)中宜具備視頻圖像解析引擎和對(duì)外服務(wù)功能。6技術(shù)要求6.1功能要求系統(tǒng)標(biāo)簽管理包括以下要求：a)系統(tǒng)應(yīng)能查看已支持的標(biāo)簽列表，并能配置指定標(biāo)簽的報(bào)警閾值，根據(jù)報(bào)警閾值輸出審核結(jié)b)系統(tǒng)標(biāo)簽體系應(yīng)支持按照審核業(yè)務(wù)需求分類、移動(dòng)；c)系統(tǒng)宜支持對(duì)標(biāo)簽的啟用、禁用等功能；d)系統(tǒng)宜支持對(duì)標(biāo)簽的新增、刪除、查詢、更改等功能。6.1.2人物庫(kù)管理系統(tǒng)人物管理包括以下要求：a)系統(tǒng)應(yīng)支持對(duì)符合GB/T35678—2017中4.1要求的人臉圖像數(shù)據(jù)進(jìn)行人臉注冊(cè)，并與接入數(shù)據(jù)進(jìn)行識(shí)別、比對(duì)，生成相似度值；b)系統(tǒng)應(yīng)支持對(duì)符合GB/T35678—2017中4.2要求的人臉圖像數(shù)據(jù)進(jìn)行檢測(cè)、識(shí)別；4c)系統(tǒng)宜支持對(duì)人物以及相關(guān)人臉圖像數(shù)據(jù)的新增、刪除、查詢、更改等功能。6.1.3關(guān)鍵詞管理系統(tǒng)應(yīng)支持對(duì)關(guān)鍵詞庫(kù)以及庫(kù)中關(guān)鍵詞的新增、刪除、查詢、更改等功能。6.1.4審核模板管理系統(tǒng)審核模板管理包含以下要求：a)系統(tǒng)應(yīng)支持審核模板的新增、刪除、查詢、更改等功能，開啟與關(guān)閉，設(shè)置默認(rèn)模板；b)系統(tǒng)應(yīng)支持配置審核模板，宜支持自定義綁定標(biāo)簽、人物、關(guān)鍵詞庫(kù)、審核分?jǐn)?shù)范圍等條件；c)系統(tǒng)應(yīng)支持設(shè)定抽幀方式及頻率。6.1.5審核任務(wù)管理系統(tǒng)審核任務(wù)管理包括以下要求：a)系統(tǒng)應(yīng)支持選擇審核模板；b)系統(tǒng)應(yīng)支持通過配置標(biāo)簽、人物、關(guān)鍵詞、審核分?jǐn)?shù)范圍等條件進(jìn)行審核任務(wù)的創(chuàng)建、編輯和刪除操作；c)系統(tǒng)應(yīng)支持通過審核任務(wù)名稱對(duì)審核任務(wù)篩選。6.1.6審核結(jié)果輸出系統(tǒng)審核結(jié)果輸出包括以下要求：a)系統(tǒng)應(yīng)支持查看審核任務(wù)的審核結(jié)果；b)系統(tǒng)應(yīng)支持通過時(shí)間、標(biāo)簽、人物、關(guān)鍵詞、審核分?jǐn)?shù)范圍等條件對(duì)審核結(jié)果篩選。6.1.7離線審核管理系統(tǒng)離線審核管理包括以下要求：a)系統(tǒng)應(yīng)支持通過創(chuàng)建離線審核任務(wù)的方式對(duì)離線文件審核，離線文件導(dǎo)入類型可包括視頻、圖像、語音、文本等數(shù)據(jù)類型；b)系統(tǒng)應(yīng)支持查看離線審核任務(wù)的審核結(jié)果。系統(tǒng)應(yīng)具備用戶管理、角色管理模塊，支持用戶、角色的新增、刪除、查詢、更改等功能，實(shí)現(xiàn)對(duì)用戶進(jìn)行部門劃分、通過角色對(duì)用戶進(jìn)行功能權(quán)限的分配管理。6.1.9系統(tǒng)日志系統(tǒng)日志包括以下要求：a)系統(tǒng)應(yīng)支持自動(dòng)生成操作日志，記錄操作人員身份信息、進(jìn)入、退出系統(tǒng)的時(shí)間和操作情況；b)系統(tǒng)應(yīng)具備操作日志查詢、導(dǎo)出等功能。6.2性能要求系統(tǒng)兼容性包括以下要求：5對(duì)于視頻圖像中大于(32×32)像素的人臉類檢測(cè)識(shí)別，包含下列要求：a)準(zhǔn)確率不應(yīng)低于90%;b)召回率不應(yīng)低于90%;a)準(zhǔn)確率不應(yīng)低于90%;b)召回率不應(yīng)低于80%;c)QPS不應(yīng)低于200;a)準(zhǔn)確率不應(yīng)低于95%;a)準(zhǔn)確率不應(yīng)低于90%;b)召回率不應(yīng)低于80%;c)QPS不應(yīng)低于400;對(duì)于視頻圖像中大于(32×32)像素的中文字符或(16×16)像素的英文字符檢測(cè)識(shí)別，包含下列a)準(zhǔn)確率不應(yīng)低于90%;6a)測(cè)試用戶對(duì)指定標(biāo)簽的報(bào)警閾值進(jìn)行調(diào)整，并根據(jù)報(bào)警閾值輸出審核結(jié)果，通過調(diào)整標(biāo)簽的c)測(cè)試用戶查看標(biāo)簽啟用、禁用功能，先選取輸出結(jié)果帶有某標(biāo)簽的數(shù)據(jù)進(jìn)行測(cè)試，然后對(duì)某d)測(cè)試用戶查看已支持的標(biāo)簽列表，通過新增、刪除、查詢或更改任意標(biāo)簽確定標(biāo)簽列表的有a)測(cè)試用戶使用符合GB/T35678-2017中4.1要求的人臉圖像數(shù)據(jù)進(jìn)行人臉數(shù)據(jù)注冊(cè)，然后利用符合該標(biāo)準(zhǔn)的同一人的不同角度人臉圖像數(shù)據(jù)接入系統(tǒng)，觀察與該注冊(cè)人臉的相似度是否最b)測(cè)試用戶將多張符合GB/T35678—2017中4.2要c)測(cè)試用戶對(duì)人物以及相關(guān)人臉圖像數(shù)據(jù)進(jìn)行新增、刪除、查詢、更改等操作，觀察功能有效a)測(cè)試用戶對(duì)審核模板創(chuàng)建，并觀察是否在審核模板中自定義綁定標(biāo)簽、人物、關(guān)鍵詞庫(kù)、審c)測(cè)試用戶對(duì)審核模板進(jìn)行新增、刪除、查詢、更改等操作，檢測(cè)功能有效性。并觀察已創(chuàng)建7a)測(cè)試用戶根據(jù)系統(tǒng)要求配置任意標(biāo)簽、人物、關(guān)鍵詞、審核分?jǐn)?shù)范圍進(jìn)行審核任務(wù)的創(chuàng)建、a)測(cè)試用戶進(jìn)入系統(tǒng)、退出系統(tǒng)并做出一些操作，將這些操作記錄，然后觀察系統(tǒng)日志中是否a)準(zhǔn)確率和召回率：根據(jù)測(cè)試結(jié)果，基于混淆矩陣(表1),統(tǒng)計(jì)真正樣本數(shù)(TP),假正樣本數(shù)(FP),假負(fù)樣本數(shù)(FN),真負(fù)樣本數(shù)(TN),根據(jù)下式對(duì)準(zhǔn)確率和召回率進(jìn)行計(jì)算，計(jì)8表1混淆矩陣正值(Positive)負(fù)值(Negative)正值(Positive)真正樣本數(shù)(TP)假負(fù)樣本數(shù)(FN)負(fù)值(Negative)假正樣本數(shù)(FP)真負(fù)樣本數(shù)(TN)式中：TP——真正樣本數(shù)；TN——真負(fù)樣本數(shù)；FP——假正樣本數(shù)；FN——假負(fù)樣本數(shù)。2)召回率計(jì)算方法：式中：TP——真正樣本數(shù)；FN——假負(fù)樣本數(shù)。b)誤報(bào)率：誤報(bào)率應(yīng)按照GB/T21023-2007中第七章的方法進(jìn)行測(cè)試，統(tǒng)計(jì)系統(tǒng)報(bào)出關(guān)鍵詞總數(shù)中錯(cuò)誤的關(guān)鍵詞個(gè)數(shù)FA,按下列公式進(jìn)行計(jì)算：式中：Far——誤報(bào)率；FA——系統(tǒng)報(bào)出關(guān)鍵詞總數(shù)中錯(cuò)誤的關(guān)鍵詞個(gè)數(shù)，單位：個(gè)；KW——關(guān)鍵詞表的詞匯量，單位：個(gè)；HR——語音長(zhǎng)度，單位：小時(shí)；C——每小時(shí)每個(gè)關(guān)鍵詞最大容忍的誤報(bào)個(gè)數(shù)，一般取10。c)每秒查詢量：采用并發(fā)性能測(cè)試工具，設(shè)置并發(fā)數(shù)N個(gè)，每個(gè)并發(fā)用戶不斷向被測(cè)審核系統(tǒng)發(fā)送審核請(qǐng)求，記錄成功執(zhí)行的查詢平均響應(yīng)時(shí)間為T秒，QPS=N/T。根據(jù)監(jiān)測(cè)結(jié)果與6.2.2的要求進(jìn)行比對(duì)；d)響應(yīng)時(shí)間：采用性能測(cè)試工具，設(shè)置并發(fā)數(shù)1個(gè)，用戶串行向被測(cè)審核系統(tǒng)發(fā)送審核請(qǐng)求，記錄成功執(zhí)行的查詢平均響應(yīng)時(shí)間為T秒；e)語音轉(zhuǎn)寫倍速：測(cè)試音頻文件總時(shí)長(zhǎng)為H小時(shí)，調(diào)用音頻轉(zhuǎn)寫接口將測(cè)試音頻文件發(fā)送到審核系統(tǒng)，記錄系統(tǒng)語音轉(zhuǎn)寫處理時(shí)間為h小時(shí)，轉(zhuǎn)寫倍速為H/h。9 (資料性)參考測(cè)試條件A.1測(cè)試工具測(cè)試工具包括軟硬件平臺(tái)，可由檢測(cè)機(jī)構(gòu)提供或由測(cè)試用戶準(zhǔn)備，其中：a)檢測(cè)機(jī)構(gòu)提供的測(cè)試工具要求如下：1)硬件平臺(tái)：CPU主頻大于2.0GHz、內(nèi)存大于4GB的等同性能的硬件平臺(tái)，測(cè)試硬件平臺(tái)的算力性能上限宜根據(jù)檢測(cè)業(yè)務(wù)需求確定；2)操作系統(tǒng)：主流操作系統(tǒng)，如Linux、Windows等；3)調(diào)用算法庫(kù)進(jìn)行測(cè)試時(shí)，應(yīng)提供算法庫(kù)接口函數(shù)。b)測(cè)試用戶準(zhǔn)備測(cè)試工具要求如下：1)可結(jié)合審核系統(tǒng)實(shí)際應(yīng)用時(shí)的配置準(zhǔn)備測(cè)試工具；2)直接提供被測(cè)系統(tǒng)或產(chǎn)品，使用檢測(cè)機(jī)構(gòu)提供的測(cè)試數(shù)據(jù)，被測(cè)系統(tǒng)或產(chǎn)品反饋測(cè)試結(jié)果記錄。A.2測(cè)試環(huán)境除另有規(guī)定外，基本測(cè)試環(huán)境如下：a)環(huán)境溫度：15℃~35℃;b)相對(duì)濕度：25%~75%;c)氣壓：86kPa~106kPa;d)照度：3