1、分類和多分類問題的評價指標總結 1 分類評價指標 準確率，精確率，召回率，F1-Score， AUC, ROC, P-R曲線 1.1 準確率（Accuracy） 評價分類問題的性能指標般是分類準確率，即對于給定的數據，分類正確的樣本數占總樣本數的例。 注意：準確率這指標在Unbalanced數據集上的表現很差，因為如果我們的正負樣本數差別很，如正樣本100個，負樣本9900 個，那么直接把所有的樣本都預測為負， 準確率為99%，但是此分類模型實際性能是常差的，因為它把所有正樣本都分錯了。 1.2 精確率（Precision） 對于分類問題常的評價指標是精確率和召回率。通常以關注的類為正類，其他

2、類為負類，分類器在數據集上的預測或者正確或者不正 確，我們有4中情況： TP：True Positive， 把正類預測為正類； FP：False Positive，把負類預測為正類； TN：True Negative， 把負類預測為負類； FN：False Negative，把正類預測為負類 在混淆矩陣中表如下： 精確率是指在預測為正類的樣本中真正類所占的例，直觀上來解釋精確率就是說 我現在有了這么的預測為正的樣本，那么這些樣本中有多少是真的為正呢？ P = TP/(TP+FP) 1.3 查全率（召回率Recall） 召回率是指在所有的正類中被預測為正類的例,直觀上來說召回率表我現在預測為正的

3、這些值中，占了所有的為正的樣本的多例呢？ R = TP/(TP+FN) 不同的分類問題，對精確率和召回率的要求也不同。 例如：假幣預測，就需要很的精確率，我需要你給我的預測數據具有很的準確性。 腫瘤預測就需要很的召回率?！皩幙慑e殺三千，不可放過個”。 1.4 F1-Score F1-Score: 精確率和召回率的調和平均。 即： 2/F1 = 1/P + 1/R F1=2P*R/(P+R) 因為Precision和Recall是對相互盾的量，當P時，R往往相對較低，當R時， P往往相對較低，所以為了更好的評價分類器的性 能，般使F1-Score作為評價標準來衡量分類器的綜合性能。 1.5 RO

4、C曲線和AUC TPR：True Positive Rate，真正率， TPR代表能將正例分對的概率 TPR=TP/TP+FN FPR: False Positive Rate， 假正率， FPR代表將負例錯分為正例的概率 FPR=FP/FP+TN 使FPR作為橫坐標，TPR作為縱坐標得到ROC曲線如下 ROC曲線中的四個點和條線 (0,1): FN = 0, FP = 0, 表所有樣本都正確分類，這是個完美的分類器； (1,0)：TN = 0, TP = 0, 表所有樣本都分類錯誤，這是個最糟糕的分類器； (0, 0): FP = 0, TP = 0, 表所有樣本都分類為負 (1,1): T

5、N = 0, FN = 0, 表左右樣本都分類為正 經過以上分析，ROC曲線越靠近左上，該分類器的性能越好。 上圖虛線與 y = x，該對線實際上表個隨機猜測的分類器的結果。 ROC曲線畫法：在分類問題中，我們最終得到的數據是對每個樣本估計其為正的概率值（Score），我們根據每個樣本為正的概率 從到排序，然后按照概率從到低，次將“Score”值作為閾值threshold，當測試樣本的概率于或等于這個threshold時，我們認 為它為正樣本，否則為負樣本。每次選取個不同的threshold，就可以得到組FPR和TPR,即ROC曲線上的點。 AUC：（Area Under roc CurveR

6、OC）曲線下的積，引AUC的原因是量化評價指標。 AUC的積越，分類效果越好。AUC于1，另，正常的分類器你應該隨機猜測效果要好吧？所以 0.5 = AUC = 1 AUC表征了分類器把正樣本排在負樣本前邊的能。這的意思其實是指數據按照其為正的概率從到排序之后，正樣本排在負樣本前邊 的能。AUC越，就有越多的正樣本排在負樣本前邊。極端來看，如果ROC的(0, 1)點，所有的正樣本都排在負樣本的前邊。 1.6 ROC 與P, R對 *ROC曲線特性：當測試集中的正負樣本的分布變化的時候，ROC曲線能夠保持不變。*在實際的數據集中經常會出現類不平衡（class imbalance）現象，即負樣本正

7、樣本多很多（或者相反），且測試數據中的正負樣本的分布也可能隨著時間變化。） 下圖是ROC曲線和Precision-Recall曲線的對： a,c為ROC曲線，b,d為P-R曲線； a,b 為在原始測試集(balanced)上的結果，c,d為把原始數據集的負樣本增加10倍后的結果。很明顯，ROC曲線基本保持不變，P-R曲線變 化較。 為什么取AUC較好？因為個分類問題，如果你取P或R的話，那么你的評價結果和你閾值的選取關系很，但是我這個個分類器定 了，我希望評價指標是和你取得閾值關的，也就是需要做與閾值關的處理。所以AUC較P-R好 from sklearn.metrics import acc

8、uracy_score, precision_score, recall_score, f1_score acc = accuracy_score(y_true, y_pred) 2 多分類評價指標 對于分類問題，我們有很多評價指標，因為只有正類和負類兩種，往往我們只關正類的準確率和召回率。但是對于多分類問題，有些 分類的評價標準就不怎么適了。最近實習涉及到多分類，在模型評價指標選取費了不少時間，對于常的多分類評價指標進整理以便 后使。種法是將多分類問題轉化為多個2vs2問題進討論，步驟較復雜。還有種是直接定義的多分類指標。 2.1 多分類轉化為2vs2問題來評價 準確率：與分類相同，預測正確

9、的樣本占總樣本的例。 精確率： macro， 對于每個標簽，分別計算Precision，然后取不加權平均 查全率： macro，對于每個標簽，分別計算Recall，然后取不加權平均 F1-Score：macro， 對于每個標簽，分別計算發，然后取不加權平均 micro, 將n個分類評價的TP,FP,FN對應相加，計算P和R，然后求得F1 般macro-f1和micro-f1都的分類器性能好 2.2 直接定義的多分類指標 2.2.1Kappa系數 kappa系數是在統計學中評估致性的種法，取值范圍是-1,1，實際應中，般是0,1，與ROC曲線中般不會出現下凸形曲 線的原理類似。這個系數的值越，則

10、代表模型實現的分類準確度越。 P0表總體分類精度 Pe表SUM（第i類真實樣本數*第i類預測出來的樣本數）/樣本總數平 from sklearn.metrics import cohen_kappa_score kappa = cohen_kappa_score(y_true,y_pred，label=None) #(label除是你想計算其中的分類集的kappa系數，否則不需要設置) 2.2.2. 海明距離 海明距離也適于多分類的問題，簡單來說就是衡量預測標簽與真實標簽之間的距離，取值在01之間。距離為0說明預測結果與真實結果 完全相同，距離為1就說明模型與我們想要的結果完全就是背道馳。 f

11、rom sklearn.metrics import hamming_loss ham_distance = hamming_loss(y_true,y_pred) 2.2.3.杰卡德相似系數 它與海明距離的不同之處在于分母。當預測結果與實際情況完全相符時，系數為1；當預測結果與實際情況完全不符時，系數為0；當預測 結果是實際情況的真集或真超集時，距離介于0到1之間。 我們可以通過對所有樣本的預測情況求平均得到算法在測試集上的總體表現情況。 from sklearn.metrics import jaccard_similarity_score jaccrd_score = jaccrd_similarity_score(y_true,y_pred,normalize = default) #normalize默認為true，這是計算的是多個類別的相似系數的平均值，normalize = false時分別計算各個類別的相