互聯網信息內容安全審核能力通用要求2025-03-26發布2025-07-01實施上海市市場監督管理局發布IDB31/T1560—2025前言 1范圍 12規范性引用文件 13術語和定義 14等級劃分與要求 25技術能力 25.1違法和不良信息檢測能力 25.2違法和不良信息過濾能力 35.3違法和不良信息溯源能力 45.4違法和不良信息處置能力 46管理能力 46.1組織機構 4 46.3信息內容審核 56.4信息源及用戶分類 56.5監測預警與應急處置 5附錄A(資料性)違法和不良信息的主要類型 7附錄B(規范性)互聯網信息內容安全審核能力要求 8參考文獻 本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由上海市互聯網信息辦公室提出并組織實施。本文件由上海市信息安全標準化技術委員會歸口。本文件起草單位：上海市信息安全測評認證中心、中國科學院信息工程研究所、上海東方報業有限公司、支付寶(中國)網絡技術有限公司、上海攜程商務有限公司、上海幻想七貓數字技術有限公司、上海盒馬網絡科技有限公司、上海寬娛數碼科技有限公司、行吟信息科技(上海)有限公司、東方財富信息股份有限公司、上海任意門科技有限公司、公安部第三研究所、上海喜馬拉雅科技有限公司、上海觀察者信息技術有限公司、上海米哈游網絡科技股份有限公司。本文件主要起草人：李宏達、徐御、俞露婷、俞佳敏、化嘉儀、何極、范劭林、張瀟丹、黃楊、林冠辰、吳夢楠、王業元、丁呂瑾、侯金龍、朱厚真、陳云鵬、韓嘉巍、丁治國、婁向文、李建輝、楊夢11范圍本文件規定了互聯網信息內容安全審核能力的等級劃分與要求、技術能力、管理能力等要求。本文件適用于上海地區互聯網信息服務提供者開展信息內容安全審核能力建設，本市監管部門、第三方機構進行監督管理和評估時可參考使用。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T40645—2021互聯網信息服務安全通用要求3術語和定義GB/T40645—2021界定的術語和定義適用于本文件。基于信息發布、交互、傳播等相關技術和功能屬性，通過互聯網面向社會公眾提供的信息服務。[來源：GB/T40645—2021,3.1]信息源informationsource互聯網信息服務中信息的提供者及信息內容。互聯網信息服務用戶internetinformationserviceuser使用互聯網信息服務的個人或組織。為用戶提供互聯網信息服務的組織或機構。[來源：GB/T40645—202利用深度學習、虛擬現實等生成合成類算法制作文本、圖片、音頻、視頻、虛擬場景等網絡信息的技術。2注：違法和不良信息的主要類型見附錄A。對于給定的數據集，違法和不良樣本判斷正確的本文件將互聯網信息服務提供者的信息內容安全審核能力劃分為兩個等級，分別是基本級和增強審核能力等級√一中型企業一√一√業務范圍√一圖片√一√100萬及以下√100萬以上一√35.1.1文本檢測能力5.1.1.3應具備對變形的文本檢測能力，如：插入特殊符號、使用拼音替換、使用同音字替換、使用5.1.2圖片檢測能力5.1.2.3應具備對變種圖片的檢測能力，變種方式包括：裁剪、變5.1.3音頻檢測能力5.1.3.1應具備對音頻中文本的檢測能力，如：中文普通話語音、5.1.3.2應具備對語音清晰、少量背景噪聲的單人5.1.3.3應具備對其他音頻內容的檢測能力，包括：音樂類或包含背景音5.1.4視頻檢測能力5.1.4.3應具備對變種視頻的檢測能力，變種方式包括：剪輯視頻、改變5.1.5樣本數據庫5.1.5.1參照附錄A確定違法和不良信息的類型，建立、維護與業務規模相適應的樣本數據庫，包括5.1.6.1違法和不良文本信息的召回率不低于85%,精確率不低于80%。5.1.6.2違法和不良圖片信息的召回率不低于85%,精確率不低于70%。5.1.6.3違法和不良音頻信息的召回率不低于80%,精確率不低于80%。5.1.6.4違法和不良視頻信息的召回率不低于85%,精確率不低于70%。45.2.2.2應具備對技術檢測命中疑似違法和不良信息的內容進行風險量化的能力，并對風險值較高的5.3.1應具備對互聯網信息服務用戶的賬號信息、操作時間、操作內容、操作結果等進行日志記錄的5.3.2應具備對信息源的相關信息進行日志記錄的能力，如信息的采集來源、發布時間、發布渠道、5.3.3日志留存時間不少于6個月。6.2人員6.2.1.1應指定至少1名負責人，負責組織開展相關信息內容審核工作，機構應為信息內容審核工作6.2.1.3信息內容審核人員數量與業務規模相比，應具有一定冗余。6.2.2.3對參與信息內容審核的相關人員應建立培訓制度，制定年度培訓計劃，培訓內容應包括信息6.2.2.4信息內容審核的從業人員每年應至少參加1次業務培訓。56.3.1.2信息內容審核標準化手冊應包括審核程序、審核標準、審核時限、信息源和用戶賬號的分類6.3.2.2應具備審核策略，包括：A.1中所述信息的分級審核、審核技術檢測能力(文本、圖片、音頻、視頻)、審核覆蓋語種(漢語、英語、方言、小語種)及審核方式(機器抽審、機器全審、人工抽審、人工全審)等。6.3.2.3針對首屏推送、彈窗信6.3.3.3發生重大事件時，應對技術檢測技術檢測命中疑似違法和不良信息的內容宜在30分鐘內由審核人員審核完畢。6.4.2.2宜從賬號IP、賬號實名情況、影響力、活躍度等方面對用戶賬號進行分類。6.4.2.4宜對不同類別的用戶賬號，如未成年人賬號、機器人賬號等，從發布、轉載信息等方面進行6.5.1.2應明確監測預警人員名單、聯系方式、具體分工、與66.5.2.1應制定安全事件管理制7(資料性)j)侮辱或者誹謗他人，揭露他人隱私，侵害他人合法權益；1)其他法律、行政法規禁止的其他信息。h)可能引發未成年人模仿不安全行為和違反社會公德行為、誘導未成8(規范性)互聯網信息內容安全審核能力要求互聯網信息服務提供者的安全審核能力技術要求和管理要求見表B.1和表B.2。表B.1互聯網信息內容安全審核能力技術要求審核能力等級違法和不良信息檢測能力文本檢測能力圖片檢測能力音頻