Q/LB.□XXXXX-XXXXT/XXXXXXX—2025目次TOC\o"1-1"\h前言 II1范圍 12規范性引用文件 13術語和定義 14縮略語 25概述 26評估方法 37評估流程 38評估內容 49評估指標分析 710評估結論 9附錄A（資料性）算法性能評估指標選取 11附錄B（資料性）算法評估指標等級確定 12前言本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起草。請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由貴州道坦坦科技股份有限公司提出。本文件由貴州省標準化協會歸口。本文件起草單位：本文件主要起草人：交通視頻檢測算法評估規范范圍本標準提出了交通視頻檢測算法的評估方法、流程、內容、指標分析和結果報告等內容。本文件適用于指導交通視頻檢測算法開發方、用戶方以及第三方等相關組織對深度學習算法及其訓練得到的深度學習模型開展評估、管理和認證工作。規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.28—2001信息技術詞匯第28部分:人工智能基本概念與專家系統GB/T42888—2023信息安全技術機器學習算法安全評估規范GB/T43782—2024人工智能機器學習系統技術要求GB/T45225—2025人工智能深度學習算法評估術語和定義下列術語和定義適用于本文件。數據標注dataannotations將原始數據進行人工標記、分類、注釋等處理，使其在訓練和推理中能被算法理解和處理的過程，如圖片、文本、語音等。數據標注規則dataannotationrules對數據標注過程中所使用的規則、標準和方法進行統一規劃、制定和維護，以確保標注數據的質量、準確性和一致性。精確率precision預測為正類的樣本中真正為正類的比例。召回率recall所有真正為正類的樣本中被正確預測為正類的比例。交并比intersectionoverunion，IoU度量預測框和真實框的重疊程度，只能評估單個目標檢測的結果。平均精度average-precision，AP各種召回下的平均檢測精度，并以某個特定類別的方式進行評估。可通過計算“精確率-召回率曲線”（Precision-RecallCurve）下的面積衡量模型性能。平均精度均值meanaverageprecision，MAP由所有類別的平均精度值加權平均求得，是目標檢測和相關領域評估的最終指標。多目標跟蹤準確度multipleobjecttrackingaccuracy，MOTA用于衡量跟蹤算法準確性和性能的指標，可衡量單攝像頭、多目標跟蹤準確度。縮略語以下縮略語適用于本文件。CPU：中央處理單元（CentralProcessingUnit）GPU：圖形處理器（GraphicsProcessingUnit）概述檢測算法類別交通視頻檢測算法包括但不限于以下幾種：目標檢測算法：基于深度學習的目標檢測算法，采用卷積神經網絡進行目標特征提取，對預測的目標物體進行回歸，實現車輛、行人、非機動車、拋灑物等目標檢測；單目標追蹤算法：對視頻圖像序列中的可疑目標進行檢測、提取、識別和跟蹤，獲得運動目標的輪廓參數、色彩參數等，從而進行處理與分析，實現對目標的危險程度理解，以完成更高級的檢測任務；多目標追蹤算法：應考慮視頻圖像序列中多個獨立目標的位置、大小、輪廓等數據、多個目標各自外觀的形態、色彩飽和度及多個目標之間相互遮擋、合并與分離等情況；目標分類算法：基于深度學習的目標分類算法，在目標檢測基礎上，對目標的具體屬性進行分析，包括車輛、行人、拋灑物、非機動車等；目標識別算法：系統算法模型通過海量高速公路事件視頻樣本的訓練學習，提取目標物品的特征，建立對應模型特征庫，再通過目標檢測算法，對圖片中的物體的位置和類別進行預測，并描繪不同種類物體間的邊界，實現目標信息的提取和檢測。測試數據集類型測試數據集應支持多種類型類型，每種類型都有其特定的應用場景和優勢。視頻檢測算法中主要涉及以下類型：圖像：應支持圖像分類、物體檢測、實例分割、語義分割、OCR標注和關鍵點標注等功能，應用于智能交通監控、車輛識別、行人檢測等；視頻：應支持視頻分類、視頻檢測和目標追蹤等功能，應用于交通流量監控和車輛追蹤等；文本：應用于車牌識別、交通標志識別等場景。模型訓練參數模型訓練參數包括但不限于以下內容：學習率：控制模型參數更新的速度；迭代次數：模型在訓練過程中進行的輪數；批量大小：模型在每次迭代中使用的樣本數量；正則化參數：在模型訓練過程中引入的一種約束；其他：根據具體的模型類型和任務需求，其他特定的訓練參數，包括神經網絡的層數、每層的神經元數量、激活函數的選擇等。評估方法算法設計對算法設計的評估方法包括但不限于以下幾項：分析設計完成后任務指標要求是否滿足需求階段設定的相應要求；分析設計完成后響應時間要求是否滿足需求階段設定的相應要求；對訓練數據集以下幾方面進行分析：是否存在不均衡情況；規模是否滿足訓練需求；標注質量是否滿足訓練需求；是否受到污染。對目標函數的影響進行分析，分析優化目標數量是否滿足算法需求。算法實現對算法實現的評估方法包括但不限于以下幾項：驗證算法實現后的任務指標是否達到需求階段設定的相應要求；驗證算法實現后的響應時間是否達到需求階段設定的相應要求；對代碼實現的準確性進行以下幾方面的評估：分析代碼是否滿足相應的編程規范或指南；驗證代碼是否存在漏洞。對目標函數的影響進行評估，分析算法的擬合程度對算法可靠性的影響；對對抗性樣本的影響進行以下幾方面的分析：分析白盒方式生成的樣本對算法的影響；分析黑盒方式生成的樣本對算法的影響；分析指定目標方式生成的樣本對算法的影響；分析不指定目標方式生成的樣本對算法的影響。算法運行對算法運行的評估方法包括但不限于以下幾項：驗證算法運行時任務指標是否達到需求階段設定的相應要求；驗證算法運行時響應時間是否達到需求階段設定的相應要求；軟硬件平臺依賴對算法運行的影響評估包括以下幾個方面：分析深度學習框架差異對算法帶來的影響；分析操作系統差異對算法帶來的影響；分析硬件架構差異對算法帶來的影響。分析環境干擾數據對算法運行的影響，可以分析以下幾個方面：算法輸入對象所處環境的復雜情況；算法輸入對象自身環境的復雜情況；算法輸入對象的傳輸過程的復雜情況；算法輸入對象的數據產品的復雜情況。分析數據集分布發生遷移對算法運行的影響；分析野值數據對算法運行的影響。評估流程確定評估目標確定評估目標包括以下步驟：場景分析：針對交通視頻檢測算法實現的功能發生算法失效從而導致軟件系統產生一個危險時，需要對其所處的運行環境與運行模式進行描述，既要考慮軟件系統正確使用的情況，也要考慮可預見的不正確使用的情況；危險分析：應識別危險的后果，包括對環境或人員是否有傷害、需要完成的任務是否有影響等；危險事件應由運行場景和算法失效的相關組合確定；危險嚴重性等級評估：針對每一個算法失效，應基于確定的理由來預估潛在危險的嚴重性；確定評估目標：根據算法失效的危險嚴重性，建立交通視頻檢測算法的評估目標。需求分析與場景定義可行性評估評估實施的各階段應滿足以下要求：面向交通視頻檢測算法的不同階段實施評估活動；通過當前階段的評估是進入下一階段評估的前提條件之一；各個階段的評估活動有完整的順序關系；各階段的評估結果均應以階段評估報告的形式進行輸出，其內容至少應包括以下內容：交通視頻檢測算法的評估目標；開展算法評估的階段名稱；針對算法在該階段開展評估的內容；該階段評估的結果。復雜場景評估評估應用于復雜場景應滿足以下要求：對于各種不同程度的復雜場景進行評估（例如交通堵塞，事故現場，天氣）；對于復雜場景能夠準確的進行檢測對于評估報告，應包含如下內容：復雜場景的內容；對于該種場景的分析；該階段的評估結果。評估實施評估實施的各階段應滿足以下要求：面向交通視頻檢測算法的不同階段實施評估活動；通過當前階段的評估是進入下一階段評估的前提條件之一；各個階段的評估活動有完整的順序關系；各階段的評估結果均應以階段評估報告的形式進行輸出，其內容至少應包括以下內容：交通視頻檢測算法的評估目標；開展算法評估的階段名稱；針對算法在該階段開展評估的內容；該階段評估的結果。評估結論面向交通視頻檢測算法的設計、實現和運行階段均通過評估，則通過評估并達到目標要求；否則未通過評估。評估內容數據集質量數據標注流程數據標注流程通常包括以下幾個步驟：確定標注目標：根據交通行業的需求和場景，制定標注規則集，明確邊界框標注、語義分割標注等標注類型，以及車輛、行人、交通標志等標注目標類別；制定標注方案：明確標注對象、標注方式以及標注規則；設計數據標注規則：明確標注的分類和約束；標注任務分配：按數據量、標注類型、標注難度等為標注人員進行分配，確保每個標注人員能夠承擔相對均衡的工作量；實施標注任務：應對標注人員進行培訓，并提供充足的資源和支持；標注人員應嚴格按照預先制定的標注規則進行標注，根據標注規則集，從各種來源收集和整理交通相關的圖片和視頻數據，對圖片和視頻進行各種類型的標注，包括但不限于在圖片或視頻中框選出目標對象的位置，對目標對象進行語義分割，標注目標對象的顏色、類型、速度等屬性，以及關鍵點等，構建成涵蓋各種交通場景以及不同的天氣和光照條件的標注數據集。數據質檢：完成標注后，AI中臺將標注結果自動整理為標注文件，這些標注文件包含了所有的標注信息和原始數據，應對數據進行質量檢查；質檢員應對已完成標注的數據集進行全樣檢驗，嚴格按照數據標注的質量標準進行，以確保標注的準確性，并對整個數據標注任務的合格情況進行判定。數據標注規則數據標注規則包括但不限于數據分類標注規則、實例矩形框標注規則、實例多邊形標注規則、實例關鍵點標注規則、語義多邊形標注規則等。數據標注規則的具體要求有以下內容：數據分類標注規則：應對大量的交通數據進行分類處理，包括車輛類型、交通標志等，通過數據分類標注規則，將不同類型的交通數據準確標注，為后續的AI模型訓練提供清晰、有序的數據集；實例矩形框的標注規則：在交通監控視頻中，應對車輛、行人等目標進行定位和識別，通過實例矩形框標注規則，精確框選出目標對象，為AI模型提供準確的定位信息；實例多邊形標注規則：對于某些不規則形狀或復雜結構的交通目標，包括道路標線、事故現場等，應使用多邊形進行更精確的標注；實例關鍵點標注規則：應標注關鍵點的位置信息，以理解交通場景；語義多邊形的標注規則：應表達復雜的語義信息，包括交通擁堵區域、非機動車道等，通過語義多邊形標注規則，將具有特定語義的區域準確標注出來，為模型提供上下文信息。數據標注質量數據標注環節評估內容包括但不限于以下幾條：判斷是否對邊緣節點產生的事件數據、訓練數據和標注數據實現匯聚、存儲、管理、檢索和篩選等；判斷是否提供接口，外部應用通過接口將數據按照維度傳輸至指定的路徑或者按照規則自動創建的路徑；判斷是否將正報、誤報事件的視頻和圖片數據中的特定信息或標簽添加到數據樣本中，其中，特定信息或標簽按照特定的標注規則進行添加；判斷數據標注規則是否明確標注的對象、標注的粒度、標注的符號或標簽等；判斷在標注過程中，是否根據反饋和實際效果對數據標注規則進行不斷優化和調整，包括對標注結果的分析、發現標注不一致或錯誤的地方等；判斷是否通過數據標注使機器學習算法能夠理解和利用數據，為模型訓練提供數據集，并沉淀為數據資產，以作為模型訓練、預測或其他數據驅動任務的輸入；將標注結果自動整理為標注文件，包含所有的標注信息和原始數據，標簽包含目標類型、位置、形狀和尺寸等信息，存儲為特定格式的文件；判斷是否對標注數據進行分析，分析維度包括以下幾個方面：是否能夠生成實例類別頻次統計分析報告，包括體現車輛、行人、交通標志等各類交通實體在圖片數據集中出現的頻次，體現數據集中各類別分布情況等；是否能夠生成實例屬性頻次統計分析報告，包括車輛的顏色、類型等屬性。算法質量算法開發流程算法開發流程包括以下幾個步驟：從現有的區域中心以及橋隧站的視頻監控系統收集對應新算法的視頻樣本數據，并對數據進行標準化等預處理操作；從原始數據中提取有用的特征，利用數學和統計方法進行特征轉換和選擇；根據問題特性和需求，選擇合適的算法模型，包括決策樹、支持向量機、神經網絡等；設計算法邏輯，確定開發語言和部署平臺；按照開發規范編寫代碼，制作數據集；使用訓練集對模型進行訓練，通過調整模型參數優化其性能；使用測試集對模型進行評估，包括交叉驗證和指標評估等；根據評估結果，對模型進行參數調整和特征選擇等優化操作；將優化后的模型部署到實際環境中進行測試，驗證模型的可靠性和準確性。性能評價指標根據交通視頻檢測算法不同任務類型，不同性能評估指標選擇示例見附錄A。視頻檢測算法的性能評價指標包括但不限于以下幾個方面：準確率：預測準確的樣本數占總樣本數的比率；精度：預測類別為正樣本的集合中真實類別為正樣本的比率；召回率：被準確預測的正樣本占全部正樣本的比率；錯誤率：對于給定的數據集,預測錯誤的樣本占總樣本的比率；精度和召回率的調和平均數（F1值）：衡量二分類模型精度的一種指標,兼顧了分類模型的精度和召回率；兩個概率分布間的差異的非對稱性度量（KL散度）：比較了真實分布和理論(擬合)分布之間的差異；受試者工作特性曲線（ROC曲線）：由不同設定條件下的真正率和假正率值畫出的響應曲線,是反映敏感性和特異性連續變量的綜合指標；精度召回率曲線（PRC曲線）：一種同時顯示不同閾值下深度學習算法精度和召回率的圖形化方法，一般x軸表示召回率,y軸表示精度；累積響應曲線（CRC曲線）：也稱為增益曲線或增益圖,是顯示跨多個閾值的總數據中真陽性率和陽性預測百分比的圖形方法。功能評價指標在算法代碼、功能等方面，應滿足以下評估指標：功能完備性：交通視頻檢測算法實現的功能達到所有指定任務和用戶目標的程度；功能準確性：交通視頻檢測算法提供具有所需精度的準確結果的程度。模型質量開發框架模型開發框架應達到以下幾方面的要求：應采用JavaEE多層體系架構開發，封裝公共組件；數據交換應采用跨平臺的HTTP/JSON等標準交換技術實現數據交換；應采用JSON技術，包括各類系統的配置、系統開發文檔、數據描述文檔等；引入MVC（ModelViewControl）設計模型，前臺顯示與后臺業務處理分離；系統應用模塊應采用模塊化設計，功能模塊間耦合度低，用戶可按業務需求選擇所需的功能模塊；模型開發應獨立于數據庫平臺，支持各類主流的關系型數據平臺；應采用全對稱的分布式服務器架構，使用通用服務器與分布式軟件相結合，提供容量和性能可按需橫向擴展的文件存儲服務；應支持各類操作系統平臺，包括Windows、UNIX、Linux平臺。模型復雜度對模型復雜度的評價包括但不限于以下幾個要求：計算模型在執行一次前向傳播過程中所需的浮點運算次數。FLOPs（浮點運算次數）越少，模型越輕量，運行速度越快。評估模型中權重和偏置的總數，參數越多，模型越復雜，存儲需求越高。除了模型參數外，還包括模型在運行時需要的臨時存儲空間。評估FPS（每秒幀數）衡量模型處理視頻幀的速度。以及分析從輸入視頻幀到產生檢測結果所需的時間。評估模型在特定硬件（如GPU、FPGA、ASIC）上的性能，包括利用率和效率。對于邊緣設備或移動設備，還需要評估模型的功耗。評估指標分析測試集指標模型測試集應該包含以下指標：測試集應包含各種典型的交通場景，包括但不限于不同的天氣條件（晴天、雨天、霧天）、時間段（白天、夜晚）、道路類型（城市道路、高速公路）、車輛類型（轎車、卡車、摩托車）、行人行為等，并確保測試集覆蓋所有潛在的異常情況和邊界情況，比如極端天氣、特殊事件（交通事故、施工等）；測試集中的圖像或視頻片段應該清晰，避免模糊不清的畫面影響評估準確性。測試集中每個樣本都應有準確的標注信息，如目標框、分類標簽等。測試集應該有適量的樣本量來反映模型的真實性能；測試集中的數據不應與訓練集或驗證集中的數據有任何重疊，確保測試集是對模型完全未知的數據，各類別樣本需在測試集中應保持一定的平衡，避免某類樣本過多或過少影響評估的公正性。通用性能指標精確率解決在被識別為正類別的樣本中，為正類別的比例。精準率的計算公式如下： Precision=P（TP+FN） (AUTONUM)式中：TP（TruePositives)：真正例，預測為正例而且實際上也是正例； FP（FalsePositives)：假正例，預測為正例然而實際上卻是負例。召回率解決在所有正類別樣本中，被準確識別為正類別的比例。召回率的計算公式如下： Recall=TP（TP+FN） (AUTONUM式中：FN（falseNegatives)：假負例，預測為負例然而實際上卻是正例。調和平均值（F1分數）F1分數的計算公式如下： F?score=2×Precision×Recall(Precision+Recall) (AUTONUM準確率準確率的計算公式如下： A=（TP+TN）（TP+TN+FP+FN） (AUTONUM)式中：TN（TrueNegative）：真負例，預測為負例然而實際上卻是負例。交并比評估單個目標的檢測效果，計算公式如下： IoU=|PB∩TB||PB∪TB|式中：PB（PredictedBox）表示預測框；TB（TruthBox）表示真實框。具體計算過程如下：確定預測框和真實框的坐標表示方式，可使用矩形框的左上角和右下角坐標表示；計算兩框相交部分的面積，即交集面積，可通過計算兩框重疊部分的寬度和高度，相乘得到；計算兩框的并集面積，即將兩個框的面積相加，減去交集面積；將交集面積除以并集面積，得到IoU值。平均精度均值mAP用于檢測精度的指標，多類別問題的平均精確度，其計算公式如下： MAP=1Ni=1NAP 式中：對于二分類問題，平均精度均值即精確度，即MAP=AP。多目標跟蹤準確度MOTA計算公式如下： MOTA=1?FN+FP+IDSGT (AUTONUM式中：IDS（IDSwitch）是指整個視頻誤配數量之和；GT（GroundTruth），是指整個視頻物體數量之和。可靠性規定的條件下和規定的時間內，深度學習算法準確完成預期功能，且不引起系統失效或異常的能力。響應時間在給定的軟硬件環境下，算法模型對給定的數據進行運算并獲得結果所需要的時間。擴展指標漏檢率漏檢率評價指標的計算公式如下： FNR=FN（FN+TN） (AUTONUM幀處理速度用于檢測速度的指標，即每秒傳輸幀速，通常指每秒能夠檢測圖片的數量，指標數值越高，傳輸速度越快。場景測試指標算法模型應該在以下環境下也能保持穩定無誤的運行：天氣條件：晴朗天氣：評估算法在理想條件下的表現。雨天：測試算法在濕滑路面上的表現，包括水滴對視覺識別的影響。雪天：評估雪地覆蓋下算法的檢測能力。霧天/霾天：測試在能見度低的情況下算法的表現。沙塵暴/煙霧：評估在惡劣環境下算法的魯棒性。光線條件白天：正常光照條件下的表現。黃昏/黎明：光線變化較大的過渡時段。夜晚：評估算法在低光條件下的性能。強光直射：測試陽光直射或強光源照射下的表現。陰影/背光：評估算法在陰影或背光情況下的檢測能力。時間段高峰時段：評估在交通流量大時的表現。非高峰時段：測試在交通流量較小時的情況。節假日：評估在特殊時間段（如節假日）的表現。地理位置城市道路：包括繁忙的城市街道、交叉路口等。鄉村道路：測試在鄉村或偏遠地區的表現。高速公路：評估在高速公路上的表現，包括高速行駛車輛的檢測。隧道/橋梁：測試在特殊地形下的表現。交通參與者機動車：測試不同類型車輛（轎車、卡車、摩托車等）的檢測能力。非機動車：評估自行車、電動滑板車等非機動交通工具的識別性能。行人：測試行人檢測的準確性和可靠性。障礙物：評估對路面障礙物（如石頭、箱子等）的檢測能力。動態場景動態背景：測試在背景不斷變化的情況下（如車輛行駛、行人走動等）的表現。靜態背景：評估在相對固定背景下的表現。視角變化不同角度：測試在不同拍攝角度下的表現。不同距離：評估在遠近不同距離下的檢測能力。評估結論評價總分計算算法評估得分，計算方式為： Ttotal=i=1M[式中：TtotalM——指標參數體系包含的質量特性項的總項數；N——第i個質量特性項的評估指標項的總項數；Xi——第iYij——第i個質量特性項的第jSij——第i個質量特性項的第j等級評估算法達到的級別，應同時大于或等于算法評估的總基準分值和各質量特性的基準分值的要求，見表1。視頻檢測算法的等級等級算法評估總基準分值質量特性的基準分值評估指標項1評估指標項2……評估指標項n優越級TTT……T進階級TTT……T條件級TTT……T受限級TTT……TTa%表示第a級算法評估的總基準分值；等級評價案例見附錄B。評估報告交通檢測算法評估報告應滿足評估機構及評估管理機構的編制要求，應包括但不