2微光場景圖像質量評價方法構建要求本文件規(guī)定了微光場景下的圖像主觀感受質量的量化評價方法的構建要求，包括圖像質量評價方法總體要求，圖像質量評價方法構建要求和圖像質量測試方法。本文件對圖像采集設備最終輸出的圖像質量進行評價，用于量化人眼對圖像質量的主觀感受，不涉及圖像采集設備的成像方案（包括硬件實現(xiàn)或軟件增強等）。本文件適用于構建微光場景下圖像質量的量化評價方法，以及測試方法，可應用于圖像采集設備的設計、開發(fā)、驗收等。在正常光照度場景下的圖像質量評價方法的構建和測試也可參照執(zhí)行。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。SJ/T11900.1超高清視頻圖像質量第1部分:主觀評價3術語、定義和縮略語3.1術語和定義3.1.1指環(huán)境光照度低于10lux的室內和室外場景。3.1.2目標對象圖像質量targetobjectimagequality指在不同場景的抓拍圖像中主要關注目標的圖像質量，如安防監(jiān)控場景的人臉目標、交通管理場景的車牌目標等，根據(jù)此類目標對象的場景需求給出的符合人眼主觀評價感受的質量量化結果。3.2縮略語下列縮略語適用于本文件。AGGD：非對稱廣義高斯分布（AsymetryGeneralizedGaussianDistribution）BRISQUE：無參考空間域圖像質量評估算法（BlindReferencelessImageSpatialQUalityEvaluator）CPBD：模糊檢測的累積概率（CumulativeProbabilityofBlurDetection）DoG：高斯差分圖（DifferenceofGaussians）GGD：廣義高斯分布（GeneralizedGaussianDistribution）JNB：正好可分辨模糊（JustNoticableBlur）MOS：主觀平均分數(shù)（MeanOpinionScore）3MSCN：平均減去對比度歸一化系數(shù)（MeanSubstractedContrastNormalizedCoefficients）NSS：自然場景統(tǒng)計（NaturalSceneStatistics）SROCC：斯皮爾曼等級相關系數(shù)（SpearmanRank-OrderCorrelationCoefficient）SSCQE：單刺激連續(xù)質量評價法（SingleStimulusContinuousQualityEvaluation）SVR：支持向量回歸（SupportVectorRegression）4圖像質量評價方法總體要求圖像質量評價方法應滿足如下要求：a)應能對圖像的全圖質量或圖像中具體目標對象（人臉、車牌等）的圖像質量進行評價，評價結果符合人眼主觀感受；b)圖像質量評價結果應可量化，輸出打分結果，可采用五分制、百分制等相對分值或絕對分值；c)圖像質量評價方法應封裝成工具包或應用軟件，具備操作界面和可執(zhí)行功能。5圖像質量評價方法構建要求5.1構建流程圖像質量評價方法構建流程如下圖所示，并滿足如下要求：圖1圖像質量評價方法構建流程a)支持對圖像質量評價對象（全圖或人臉、車牌等目標對象）進行各維度指標評測和整體質量指標評測，評測維度覆蓋評價對象的基本特征；b)評測方案支持AI運算推理能力，應用至少一種深度學習和機器學習框架；c)用于訓練評測方案的樣本庫數(shù)據(jù)應覆蓋不同的評價對象類型和不同微光環(huán)境光照條件。5.2評測方案建模5.2.1評價對象分析評測方案應具備對評價對象圖像質量指標的可解釋性。應根據(jù)評價對象的具體圖像特點，將整體圖像質量指標分為多個維度指標分別進行評價，各維度指標評測結果加權融合得到評價對象的整體評測結果。其框架如下圖所示。4圖2圖像質量評測方案框架圖像質量可參照SJ/T11900.1中的相關要求，設置清晰度、圖像噪聲、白平衡、色彩飽和度等維度。人臉圖像質量評測方案見附錄A.1。5.2.2維度評測方案各個維度指標采用傳統(tǒng)計算機視覺算法與深度學習算法相結合的方式進行評測，通過加權融合得到該維度的評測結果，如下圖所示，并滿足如下要求。圖3維度指標評測方案框架——傳統(tǒng)計算機視覺算法：根據(jù)各維度的特殊性選擇合理的傳統(tǒng)計算機視覺算法，輸出結果作為深度學習算法輸入輔助推理或是與深度學習算法輸出加權得到最終維度評測結果；——深度學習算法：應具備一定的普適性，宜選取ResNet為代表的卷積神經(jīng)網(wǎng)絡結構和以SwinTransformer[2]為代表的Transformer網(wǎng)絡結構，如Swin-B、ResNet-152等模型結構。模型的參數(shù)量應不小于20M，計算量FLOPs應不小于5G。人臉圖像質量各維度評價方案見附錄A.2。5.3樣本庫構建5.3.1樣本庫數(shù)據(jù)要求樣本庫應滿足如下要求：a)測試數(shù)據(jù)不應小于10000張；b)測試數(shù)據(jù)應覆蓋不同廠家設備、不同設備型號、不同評價對象類型；c)測試數(shù)據(jù)應覆蓋0.1lux至10lux的不同微光環(huán)境照度，色溫覆蓋2600K至9000K色溫每個照度和色溫下的數(shù)據(jù)數(shù)量差異不超過10%。5.3.2主觀打分要求樣本庫測試數(shù)據(jù)應進行主觀打分，打分人員應滿足如下要求：a)應覆蓋專業(yè)人員和“無經(jīng)驗”觀察者，總人數(shù)不少于20人（其中專業(yè)人員約占10%，“無經(jīng)驗”觀察者包含青年、中年、老年人員）；b)打分人員應進行系統(tǒng)性打分培訓，測試合格后方可進行參與打分活動。5進行打分的全量數(shù)據(jù)應包含10%的重復圖像，用于打分完畢后進行打分篩選。打分結果采用SSCQE方法進行篩選[1]，舍棄與均值存在顯著偏差和前后不一致的打分結果。篩選后選取所有評價人員的MOS作為主觀評測分數(shù)，公式如下：其中，M是觀察者的數(shù)量，ri是第i個觀察者對圖像的評分。5.4算法模型訓練5.4.1數(shù)據(jù)集將樣本庫分為訓練數(shù)據(jù)集、驗證數(shù)據(jù)集與測試數(shù)據(jù)集進行深度學習算法迭代訓練：——訓練數(shù)據(jù)集：用于訓練深度學習模型，對模型中的參數(shù)進行迭代優(yōu)化進而使模型輸出得分逼近主觀打分結果；——驗證數(shù)據(jù)集：用于訓練過程中評估深度學習模型的當前性能，判斷是否可終止訓練；——測試數(shù)據(jù)集：用于深度學習模型訓練完畢后，對其進行性能測試評估。5.4.2權重擬合模型訓練宜使用預訓練權重，凍結大部分參數(shù)，僅開放最后2～3層參數(shù)進行訓練。使用各維度MOS分數(shù)及對應圖像進行訓練得到相應維度評測方案的算法模型。應用于評價對象整體圖像質量的各維度權重值使用最小二乘法進行擬合，其計算公式如下。其中n為訓練集樣本個數(shù)，m為評價對象維度個數(shù)，wj為評價對象各維度權重值，fj(xi)為評價對象各維度評測分數(shù)，yi為樣本主觀整體評測分數(shù)。該擬合得到的權重僅代表構建樣本庫時所選擇的打分人員整體對于各維度在整體維度中所占比重的認知，可根據(jù)場景需求進行選擇性修改。5.4.3評測性能要求圖像質量評測方案通過SROCC進行性能評價，其計算公式如下：SROCC對兩個目標數(shù)組（即主觀打分數(shù)組和算法打分數(shù)組）的秩次大小作線性相關分析，取值為-1~1，等于1時，表明兩個數(shù)組的先后順序完全一致。N表示樣本數(shù)量，di表示第i幅圖像主觀質量分數(shù)排名與算法質量分數(shù)排名的差值。圖像質量整體指標評測結果和各維度指標評測結果的SROCC均應大于0.8。5.5評測方案封裝評測方案應封裝成為可執(zhí)行文件，提供可視化界面，并支持如下功能：a）應支持在主流操作系統(tǒng)上的安裝、運行；b）應支持圖像的本地導入、存儲、播放以及導出評價統(tǒng)計數(shù)據(jù)，宜支持聯(lián)網(wǎng)導入圖像；c）支持對單張圖片和批量圖片進行評價打分和統(tǒng)計分析輸出；6d）宜支持各維度的選擇和權重設置。6圖像質量測試方法6.1評價對象圖像要求根據(jù)圖像的不同評價對象（全圖、人臉、車牌等）選擇相應的圖像質量評價方法，進行評價的圖像應滿足如下要求：a）進行目標對象圖像質量評價應滿足圖像中目標對象的要求，包括目標對象的完整性及像素要求，如人臉圖像質量評測要求圖像中人臉寬度不小于40像素，車牌圖像質量評測要求車牌長邊不小于100像素等；b）評價圖像采集設備在微光場景固定光照度的圖像質量時，批量導入的圖像應在相同光照度環(huán)境下采集獲取，且數(shù)量應不少于100張；c）對比評價不同設備的圖像質量時，不同設備應在相同的光照度環(huán)境下，對同一批目標對象采集獲取。6.2測試步驟圖像質量評價按如下步驟進行測試：a)將需要評價的圖像保存在指定位置；b)在圖像質量評價工具中設置圖像導入路徑和評價結果導出保存路徑；c)如需要，可修改各維度權重；d)執(zhí)行圖像質量評價工具，獲取評價結果。6.3結果評價對于單張圖像的圖像質量評價，打分結果即圖像質量評價結果。對于圖像采集設備的圖像質量進行評價，可通過批量圖像的平均值和打分分布來評價圖像質量結果：——各維度及整體維度評測分數(shù)平均值。平均值越高，說明該維度或是整體圖像質量越好，如下圖中設備B；——各維度及整體維度評測分數(shù)分布。當分數(shù)在分值區(qū)間覆蓋范圍越小，說明該維度或是整體圖像質量越穩(wěn)定，如下圖中設備B。圖4不同設備評測結果直方圖示意圖7（資料性）人臉圖像質量評價方法應用A.1人臉圖像質量評測方案根據(jù)人臉的主觀評價感受，人臉圖像質量可分為噪聲、紋理細節(jié)、自然感、亮度對比度五個維度，其評測方案框架如下圖。圖5人臉指標計算模型框圖人臉圖像質量評價公式如下：F=ΣWiFi,iE{T,N,F,C,L}其中FN為噪聲指標、FT為紋理細節(jié)指標、FF為自然感指標、FL為亮度對比度指標，F(xiàn)C為膚色指標，w為各指標權重。根據(jù)5.4.2的要求，各維度算法分數(shù)與主觀整體分數(shù)應用最小二乘法擬合得到的最優(yōu)值：WN=0.074,WT=0.414,WF=0.302,WL=0.153,WC=0.057。實際使用時可依據(jù)具體場景側重點調整。A.2人臉圖像質量指標計算方法A.2.1傳統(tǒng)計算機視覺算法A.2.1.1人臉噪聲指標FN按下列方法進行測試計算人臉噪聲指標：a)使用差分高斯圖DoG[3]方式，模擬這個多空間頻率通道的過程，該方法需要使用不同標準差生成的DoG圖像可以當做多空間頻率通道。在圖像處理中，將兩幅圖像在不同參數(shù)下的高斯濾波結果相減，生成DoG圖。過程如下所示：b)在得到一系列的DoG結果后，按照32×32的分辨率進行圖像切塊，并進行奇異值分解：c)分解所得到的奇異值結果中，噪聲圖像相較于原始（無噪聲）圖像會有較高的奇異值。基于此原理，對圖像的切塊分解奇異值后，選取最小的10個奇異值相加作為該切塊的特征，然后每張待評價圖像選取特征最小的9個塊作為9維特征，基于所提取的特征結果進行評分結果的映射。8A.2.1.2人臉紋理指標FT人臉紋理指標評估圖像中人臉的模糊程度，使用CPBD的計算方法[4]進行檢測計算。通過sobel算子進行邊緣檢測，可以同時獲得邊緣像素ei及對應角度方向，對于每個邊緣像素可以借助角度方向計算邊緣寬度wei，利用模糊概率心理學曲線的原理計算每一個邊緣像素的模糊概率如下：其中，JNB根據(jù)對比度C分別設置不同的值，如下：心理感知臨界點PJNB=0.63，因此最終CPBD的計算如下，當CPBD值超過0.63時，則認為該圖像清晰度較好：A.2.1.3CPBD=P(Pblur≤PJNB)人臉自然感指標FF自然感采用BRISQUE方法[5]進行計算，統(tǒng)計特征越接近高斯分布則認為圖像越合理、越自然，主要計算MSCN。a)對于圖像中的像素i,j，其與相鄰像素具有較高的相關性，因此采用如下的局部亮度歸一化過程減弱相關性：程減弱相關性：其中，μi,j和σi,j分別是局部均值和標準差，C=1，用于防止分母為零。b)特征提取：首先提取MSCN系數(shù)的統(tǒng)計特征，包括形狀參數(shù)α和方差σ；其次計算MSCN系數(shù)在四個方向上的成對乘積，并擬合AGGD分布；最后提取AGGD的形狀參數(shù)、不對稱參數(shù)和左右方差。c)將上述特征匯總為一個特征向量。對于每個尺度，提取18個特征（2個來自MSCN的GGD擬合，16個來自成對乘積的AGGD擬合）。通常，BRISQUE會在兩個尺度上提取特征，最終得到36個特征。d)使用預訓練的支持向量回歸SVR模型對特征向量進行回歸，得到圖像質量得分。A.2.1.4人臉亮度對比度指標FL亮度對比度主要受圖像的強度影響，首先提取圖像亮度的統(tǒng)計信息如下：a)均值b)標準差c)偏度（衡量圖像強度分布的對稱性）d)峰度衡量圖像強度分布的尖銳度或平坦度）此外，再計算圖像強度的熵H=—Σ1I(i)log2Ii。其中N代表像素總個數(shù)。基于自然場景統(tǒng)計NSS原理[6]，理想的自然圖像的強度分布也趨近于一個高斯分布，因此針對均值、標準差和峰度三個結果，通過已有大數(shù)據(jù)擬合的NSS高斯分布中計算結果符合理想自然圖像的概率，9將所計算的均值、標準差和峰度代入上述式子可以得出圖像為理想自然圖像的可能性，進而衡量圖像的亮度對比度質量。A.2.1.5人臉膚