1《遙感產品算法測評第2部分：指標編制說明科學院空天信息創新研究院牽頭完成本規范的制定任務。該標準由中國遙感應用協會1中國科學院空天信2中國科學院空天信與標準文本及編制說明的起草、撰23中國科學院空天信4中國科學院空天信56中國科學院空天信7中國科學院空天信8中國科學院空天信9中國科學院空天信中國科學院空天信參與標準文本及編制說明的起草、中國科學院地理科中國科學院空天信集、整理和歸納相關的意見和建議以及行業內征求意見和標準送審；3成基礎內容框架，擬重點解決的科學問題與標準化關鍵技術為遙感產品算法測評方法4本標準的編制以遙感產品算法測評的科學實踐為目標，以規范性和可操作性為第從中凝練遙感產品算法測評指標體系的概念和問題，并流程標準化和規范化遙感產品性，使用戶在應用遙感產品算法生產所需的數據產品前可以準確地了解算法的各項性5對遙感產品算法測評進行標準化，需要在規定測評方法與流程的基礎上構建測評種遙感產品算法測評時有據可依，從而提高測評的質量和效率，促進遙感產品算法發本文件規定了遙感產品算法的通用指標體系和指標的測算方法，適用于遙感產品算法的測評，包括但不限于幾何產品、輻射基礎產品、土地覆蓋/土地利用產品、能量一級指標二級指標說明算法精度數值精度對于數值型產品，基于標準輸入數據，算法輸出結果與相對真值之間的接近程度；幾何精度對于數值型產品，標準輸入數據中的同名點在算法輸出結果中的相應位置與真實位置之間的幾何偏差；類別精度對于類別型產品，算法輸出結果與真實類別的偏差；算法適用性地表類型適用性算法在不同地表類型下生產出滿足要求的遙感產品的能力；地形特征適用性算法在不同地形特征下生產出滿足要求的遙感產品的能力；空間尺度適用性算法在不同空間分辨率下生產出滿足要求的遙感產品的能力；時間尺度適用性算法在不同時間范圍內生產出滿足要求的遙感產品的能力；數據源類型適用性算法基于對地觀測數據產品大類、中類數據（按GB/T32453-2015《衛星對地觀測數據產品分類分級規則》的規定）生產出滿足要求的遙感產品的能力；輔助數據依賴性算法對輔助數據或先驗知識輸入的依賴程度；6算法效率運算時間效率算法生產單位數據量的遙感產品所用的運算時間；運算空間效率算法生產單位數據量的遙感產品所占用的存儲空間資源（內存、硬盤空間算法魯棒性算法容錯性算法基于包含一定錯誤的輸入數據仍可生產出滿足要求的遙感產品的能力；效率穩定性算法生產單位數據量的遙感產品所用的運算時間與輸入數據量大小之間的相關性。b）平均絕對誤差meanabsol誤差絕對值的平均MAe：d)平均相對誤差meanrelat相對誤差的平均值MRe：7MRe=Σ1REie）平均絕對相對誤差meanabsoluterel n1Σ1lREi n1Σ1lREilMARe=誤差平方和的均值的平方根RMse:RMse=Σ1ei2g）相關系數correlation兩個隨機變量之間相互依賴性的度量，等于兩個變量間的協方差除以各自方差之積的平方根r(x1,x2)：Σn(x)(x)Σn(x)(x)1(x1,i)2Σ1(x2,i)2參考對象數據中的同名點進行空間抽樣，對抽樣同名點數據常用的幾何精度測評指標值檢查、剖面分析法等方法。幾何類產品與精度σ=Σ=1(Zk—zk)28M=∑1(?xi2+?yi2)類別型遙感產品主要包括遙感分類產品（土地覆蓋、土地利用）和遙感識別產品分類精度評價的一種標準形式，是一個用于表示像元分類結果為某一類別與其真實測數據類別分類結果類別實測總和12…i…k1n11n21…ni1…nk1P+12n12n22…ni2…nk2P+2……jn1jn2j…nij…nkjP+j……kn1kn2k…nik…nkkP+k分類總和P2+…Pi+…Pk+Pk代表類別的數量，P為樣本總數，nij表示分類結果為第i類而實際類別（參考類別）為第j類的樣本數目，Pi+為分類結果為第i類的樣本數，P+j為實際類別為第j類的樣本數。9pe=∑1nii（11）測定兩結果之間的吻合度與精度的指標，符號為K?at，公式如下：K?at=（12）p+i?niip+ipj+?njjpj+令算法基于代表某一種地表類型的標準輸入數據進行產品生產，以輸出的產品滿含的多種地表類型數據進行測評，可根據算法適用的地表類型數量表征算法的地表類地表類型林地草地水體…合計適用性a1a2a3aiaNNai={算法適用是指在給定的測評條件下，算法可在規定時間內生產出滿足要求的遙感令算法基于代表某一種地形特征的標準輸入數據進行產品生產，以輸出的產品滿含的多種地形特征數據進行測評，可根據算法適用的地形特征數量表征算法的地形特At=t地形特征類型平原丘陵盆地…高原合計適用性a1a2a3a4aiaNNai={令算法基于代表某一空間尺度下的標準輸入數據進行產品生產，以輸出的產品滿含的多種空間尺度數據進行測評，可根據算法適用的空間尺度量級表征算法的空間尺Ascale=其中，Ascale為算法的空間尺度適用性值，值越大表明算法空間尺度適用性越強。空間尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合計適用性a1a2a3a4a5a6a7a8Nai={令算法基于代表某一時間尺度的標準輸入數據進行產品生產，以輸出的產品滿足Atemporal=空間尺度10年1年季月16天旬7~8天3天1天1小時30分鐘1分鐘適用性a1a2a3a4a5a6a7a8a9a10a11a12空間尺度上半年下半年春季夏季秋季冬季6:00~14:0014:00~22:0022:00~次日6：00夜晚合計適用性a13a14a15a16a17a18a19a20a21a22a23Nai={令算法基于某一類型遙感數據的標準輸入數據進行產品生產，以輸出的產品滿足Adata=強。N為測評的數據源類型總數，ai表示算法對第i類數據源的適用性大類光學數據產品微波數據產品其他合計全色多光譜高光譜紫外熱紅外激光雷達主動微波被動微波其他適用性a1a2a3a4a5a6a7a8a9Nai={以算法輸入的輔助數據及先驗知識信息的種類和必要性表征算法的輔助數據依賴AauxiliaTY=高。N為測評的輔助數據和先驗知識信息類型總數，ai表示算法對第i輔助數據輔助數據1輔助數據2…輔助數據i必要性指標a1a2…ai權重c2…ci先驗信息先驗信息i+1先驗信息i+2…先驗信息N必要性指標ai+1ai+2…aN權重ci+1ci+2…cNai={包括算法的運算時間效率和運算空間效率兩項二級指標，綜合構成算法效率指標算法執行時啟動系統計時，運行結束后統計算法生產單位數據量的遙感產品所用Etime=（21）算法執行時啟動系統監控，運行結束后統計算法生產單位數據量的遙感產品過程Estorage=a1·CRtCDisk（22）以包含一定量噪聲的標準輸入數據作為算法輸入，以輸出的產品滿足遙感產品精標準輸入數據進行測評，可根據算法適用的輸入數據噪以添加不同方差等級的正態分布噪聲的標準輸入數據作為輸入，以輸出的產品滿Aerror=max{ai?mi}（23）噪聲水平1234iN=8合計噪聲標準差m1?m2?m3?m4?…mi?…mN? mi值2?32?21…2i?4…24 容錯性a1a2a3a4…ai…aNNai={次輸出單位數據量的、滿足遙感產品精度要求的產品所用時間的差異表征算法的效率在相同的運算環境下，以數據量為mi的標準輸入數據作為輸入，統計使用算法生產出滿足要求的遙感產品所需的時間ti，則單位數據量的處理時間為ci=ti/mi。以不ai=(ci+1?ci)/(mi+1?mi)（2輸入數據量mim1m2m3m4…mi…mN所需時間tit1t2t3t4…ti…tNci=ti/mic2c3c4…ci…cN處理速率變化量aia1a2a3a4…ai… Aefficiency=∑1ai入數據量增加，算法對單位數據量的處理效率提高；若Aefficiency=0，則表明算法對單位數據量的處理效率不變，即數據處理所需時間與數據量成正比關系；若Aefficiency>0，則表明隨著輸入數據量增加，算法對單位數據量的處理效率降低。通過文獻調研和已有的研究成果，對指標體系中的各級指標進行了初步的挑選與對算法在遙感產品生產過程中的表現，算法效率評判某種算法是否可以高效地產出遙率的二級指標既要考慮算法在生產一定量產品時所需時間多少及占用運行空間的大小，也要考慮到該算法在生產過程中是否需要額外的輔助數據；算法魯棒性需要評價算法產品類別與級別序號共性產品精度指標幾何產品1DOM平面位置中誤差、平均偏差2DSM/DEM高程中誤差輻射基礎產品3地表反射率平均誤差Me、均方根誤差RMSE和相關系數r4歸一化離水輻射率均方根誤差RMSE5雷達后向散射系數平均誤差Me、均方根誤差RMSE和相關系數r6地表發射率均方根誤差RMSE和平均絕對誤差MAE7云掩膜像元精度Pa和總體分類精度Pt組合、正確率、錯誤率、誤檢率和漏檢率組合8氣溶膠光學厚度絕對誤差Bias、均方根誤差RMSE和相關系數r9大氣水汽含量均方根誤差RMSE和相關系數r土地覆蓋/土地利用產品土地覆蓋總體精度OA、制圖精度PA、用戶精度UA和Kappa系數土地利用總體精度OA、制圖精度PA、用戶精度UA和Kappa系數能量平衡參量產品地表反照率平均誤差Me、均方根誤差RMSE和相關系數r地表溫度均方根誤差RMSE、相關系數r、絕對誤差Bias和標準差STD海表溫度均方根誤差RMSE、相關系數r、絕對誤差Bias和標準差STD土壤熱通量均方根誤差RMSE、相關系數r和平均絕對誤差MAE光合有效輻射均方根誤差RMSE、相關系數r和平均偏差ME下行短波輻射均方根誤差RMSE、相關系數r和平均偏差ME下行長波輻射絕對誤差Bias、均方根誤差RMSE和相關系數r地表凈輻射均方根誤差RMSE、相關系數r、絕對誤差Bias和標準差STD植被參量產品20植被指數平均誤差Me、均方根誤差RMSE和相關系數r21葉面積指數絕對誤差Bias、均方根誤差RMSE和相關系數r22植被覆蓋度均方根誤差RMSE和相關系數r23光合有效輻射吸收比例均方根誤差RMSE和相關系數r24植被凈初級生產力均方根誤差RMSE和相關系數r25植被物候均方根誤差RMSE、相關系數r、相對誤差RE和平均絕對誤差MAE26植被葉綠素含量均方根誤差RMSE和相關系數r27葉綠素熒光均方根誤差RMSE和相關系數r28森林地上生物量均方根誤差RMSE和相關系數r29森林樹高均方根誤差RMSE、相關系數r和標準差SD水分參量產品土壤水分均方根誤差RMSE、相關系數r和平均絕對誤差MAE蒸散發相關系數r和平均絕對誤差MAE干旱指數相關系數r水體面積總體分類精度OA、Kappa系數、錯分誤差、漏分誤差和噪聲統計冰川覆蓋誤差指標IU和IO、總體精度指標Qc和Qa積雪覆蓋誤差指標IU和IO、總體精度指標Qc和Qa雪被指數相關系數r和平均絕對誤差MAE水體懸浮物濃度均方根誤差RMSE、相關系數r和相對誤差RE水體葉綠素濃度均方根誤差RMSE、相關系數r和相對誤差RE水體透明度均方根誤差RMSE、相關系數r和相對誤差RE2）幾何類產品精度指標評價高程值與地表真實值得接近程度，即高程精度。②數字表面模型DSM(DigitalSurfaceModel)，是一種包含了地表建筑物、橋梁和樹木等高度的表面誤差和平面位置中誤差（DOM）等，另外還有無3）類別類產品精度指標4）算法適用性指標16820-2009）的規定；算法的空間尺度適用性是指算法對不同分辨率如大于1km、s）算法效率指標算法效率指標包括算法的運算時間效率和運算空間效率兩項二級指標。評價算法效率的先決條件是算法能“生產出滿足要求的遙感產品”，即在足量但有限的時間和計‘)算法魯棒性指標以帶有一定噪聲的數據作為輸入，算法輸出的產品精度不低于該遙感產品的達標要求算法輸出的產品在某些時間或空間范圍內缺失有效數據而導致結果時空不完整通常是測評指標體系標準輸入數據集測評指標體系標準輸入數據集算法監控參數算法監控參數輸出共性產品輸出共性產品算法測評指標算法測評指標c)制備算法測評數據集：依據算法測評的指標體系與指標測算方法確定需要制備d)確定算法接口規范：根據遙感產品算法接口規范的要求集成算法在算法執行完成后，根據選擇的測評指標對算法輸出結果與參考數據集進行對比觀測樣點同時段的GF-1WFV16米和MODIS500米地表反射率數據并統一裁切成法的輸入數據經過統一的時空尺度轉換和質量控制，輸出結果可作為相對真值進行直最大-最小值歸一化方法，測評指標綜合直接用各項二級指標權重與指標歸一化結果乘待測評的聯合高空間分辨率數據與低分辨率數據的地表反照率反演算法精度評價地表類型林地草地耕地水體冰雪建筑用地未利用地合計適用性11110017地形特征類型平原丘陵盆地高原合計適用性111115空間尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合計適用性111110008d)時間尺度適用性：AtempoTal=4/7=0.5714；時間尺度1年1月16天3天1天1小時瞬時合計適用性00011117e)數據源類型適用性：Adata=2/9=0.2222；大類光學數據產品微波數據產品其他合計全色多光譜高光譜紫外熱紅外激光雷達主動微波被動微波其他適用性0110000009f)輔助數據依賴性：Aauxiliary=根據待測評算法的描述，算法依賴的輔助數據包括高分辨率的地表覆蓋分類數據（high-resolutionclassificationmap以及相應的各類地表覆蓋下的地表輔助數據/先驗信息輔助數據1先驗信息2類別高分辨率的地表覆蓋分類數據各類地表覆蓋下的地表二向反射先驗知識必要性指標ai22權重ci0.40.6a)時間效率Etime=0.0112；分別輸入3景數據，得到算法輸出結果并監控運行時間。最后根據公式(21)計算算輸出數據量coutput（GB）0.750.780.76平均效率（GB/s）處理時間T（s）67.366.571.3時間效率coutput/T（GB/s）0.01110.01170.01070.0112b)空間效率Estorage=1.2239；量的遙感產品過程中所占用的最大存儲空間資源（內存、硬盤空間設定a1=0.5、輸出數據量Coutput（GB）0.750.780.76平均效率（GB/GB）內存占用CRAM（GB）1.231.381.15硬盤占用CDisk（GB）000空間效率Estorage1.21951.13041.32171.2239a)算法容錯性Aerror=2；的平均均方根誤差在0.03~0.1之間，本次試驗中取RMse=0.05為閾值，超過該閾值認?=δ=0.0122，假定算法的標準輸入數據為X，則測試時輸入的標準數據為X′=X+得到的輸入標準數據為X′=X+ε(0,mi2?2)，本測試中mi的取值為2?3~23，每個取值遞增2倍。根據公式(23)可計算得Aerror=2。Aerror值越大表明算法容錯性越強。算法噪聲水平1234567噪聲標準差m1?m2?m3?m4?m5?m6?m7?mi值2?32?2122223RMse0.02830.02800.03010.03150.04790.07550.5708容錯性ai1111100b)效率穩定性Aefficiency=2.5487；Aefficiency=2.5487>0。算法的效率穩定性測評結果如下：輸入景數(景)1246輸出數據量mi(GB)0.753.114.62所需時間ti(s)67.3142.5289.8453.2ci=ti/mi89.733393.137393.183398.0952處理速率變化量ai4.36400.02913.2530 0.24，算法效率0.1，算法魯棒性0.1。考慮指標屬性，可分為數值越大（算法性能）越71.39，算法適用性得分60.55，算法效率得分68.32，算法魯棒一級指標二級指標二級指標測評結果二級指標權重歸一化后加權得分算法精度(數值精度)平均誤差Me0.02320.086.144平均絕對誤差MAe0.08110.084.756相對誤差REi3.3705%0.086.518平均相對誤差MRe0.00370.085.2平均絕對相對誤差MARe0.00590.084.4均方根誤差RMse0.03150.087.4相關系數corr0.6610