1、分類模型的評價指標王秋月中國人民大學(xué)信息學(xué)院要求你為白血病的診斷構(gòu)建一個分類器訓(xùn)練數(shù)據(jù)：1% 的樣例患有白血病，99% 是健康的評價指標是預(yù)測精度：即預(yù)測正確的百分比精度指標的局限性要求你為白血病的診斷構(gòu)建一個分類器訓(xùn)練數(shù)據(jù)：1% 的樣例患有白血病，99% 是健康的評價指標是預(yù)測精度：即預(yù)測正確的百分比那么構(gòu)建一個最簡單的分類器，對所有輸入都回答“健康”仍然可以達到99%的精度。精度指標的局限性現(xiàn)實中樣本在不同類別的分布不平衡，導(dǎo)致精度不能很好地反應(yīng)分類器的性能PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)

2、False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)混淆矩陣混淆矩陣（confusion matrix）可以展示各種類型的錯誤，能更好地描述模型的性能；從混淆矩陣中可計算出多種指標。PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Type II ErrorType I Error混

3、淆矩陣漏報誤報PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Accuracy = TP + TNError = 1 - AccuracyTP + FN + FP + TN精度：預(yù)測正確的比例SensitivityTP + FNRecall or= TPPredictedPositivePredictedNegativeActual PositiveTrue Posit

4、ive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)查全率或敏感度：識別出所有正例Precision = TPTP + FPPredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)查準率：識別出的都是正例Specificity = TN FP + TNPredictedPo

5、sitivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)特異度：避免誤報PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Accuracy =TP + TNPrecision

6、=TP + FN + FP + TN TPTP + FPRecall or SensitivityTP=Specificity =TP + FN TNFP + TNF1 = 2 xPrecision * RecallPrecision + Recall錯誤評價指標0.20.40.60.81.0Perfect ModelBetterRandom GuessWorse0.20.40.60.81.0False Positive Rate (1Specificity)取所有可能的閾值，計算（FPR, TPR)True Positive Rate (Sensitivity)受試者工作特征（Receive

7、r Operating Characteristic，ROC）曲線真正例率（TPR）：在所有實際為陽性的樣本中，被正確地判斷為陽性之比率。假正例率（FPR）：在所有實際為陰性的樣本中，被錯誤地判斷為陽性之比率。取所有可能的閾值，計算（FPR, TPR)0.20.40.60.81.00.20.40.60.81.0False Positive Rate (1Specificity)AUC 0.9AUC 0.75AUC 0.5True Positive Rate (Sensitivity)ROC曲線下面積（AUC）衡量ROC曲線下的面積衡量查準率與查全率之間的權(quán)衡P-R曲線Predicted Cla

8、ss 1Predicted Class 2Predicted Class 3Actual Class 1TP1ActualClass 2TP2Actual Class 3TP3多分類錯誤評價指標Predicted Class 1Predicted Class 2Predicted Class 3Actual Class 1TP1ActualClass 2TP2Actual Class 3TP3Accuracy =TP1 + TP2 + TP3Total多分類錯誤評價指標Predicted Class 1Predicted Class 2Predicted Class 3Actual Class

9、 1TP1ActualClass 2TP2Actual Class 3TP3Accuracy =TP1 + TP2 + TP3Total大部分多分類錯誤評價指標和二分類的類似只是擴展為求和取平均。多分類錯誤評價指標宏平均和微平均宏平均（Macro-averaging），先對每個類統(tǒng)計指標值，然后再對所有類求算術(shù)平均值。微平均（Micro-averaging），對數(shù)據(jù)集中每個實例不分類別進行統(tǒng)計，建立全局混淆矩陣，然后再計算相應(yīng)指標。練習(xí)假設(shè)有10個樣本，屬于A、B、C三個類別。假設(shè)這10個樣本的真實類別和預(yù)測的類別分別是：真實：A A A C B C A B B C預(yù)測：A A C B A C

10、 A C B C求出每個類別的P, R, 和F1求出宏平均P, R, 和F1求出微平均P, R, 和F1micro-F1=micro-precision=micro-recall = accuracy導(dǎo)入想用的評價指標函數(shù)：from sklearn.metrics import accuracy_score在測試集和預(yù)測得到的結(jié)果上計算指標值：accuracy_value = accuracy_score(y_test, y_pred)分類錯誤評價指標的語法導(dǎo)入想用的評價指標函數(shù)：from sklearn.metrics import accuracy_score在測試集和預(yù)測得到的結(jié)果上計算指標值：accuracy_value = accuracy_score(y_test, y_pred)分類錯誤評價指標的語法其他評價指標函數(shù)和檢測工具:from sklearn.metrics import precision_score, recall_score,f1_score, roc_auc_score,confu