Statistical tests in the literature mainly use error rate for comparison and assumeequal loss for false positives and negatives. Receiver Operating Characteristics (ROC)curves and/or the Area Under the ROC Curve (AUC) can also be used for comparingclassifier performances under a spectrum of loss values. A ROC curve and hence anAUC value is typically calculated from one training/test pair and to average overrandomness in folds, we propose to use k-fold cross-validation to generate a set ofROC curves and AUC values to which we can fit a distribution and test hypotheseson. Experiment results on 15 datasets using 5 different classification algorithms showthat our proposed test using AUC values is to be preferred over the usual paired t teston error rate because it can detect equivalences and differences which the error testcannot.The approach we use for ROC curves can also be applied to Precision-Recallcurves, used mostly in information retrieval by applying k-fold cross-validated test onthe area under the Precision-Recall curve.When multiple classifiers are to be compared over one dataset or multiple datasets,we can use Analysis of Variance (ANOVA). When we use more than one performancemetric, we use the multivariate ANOVA, that is, MANOVA. Performance metrics ofANOVA is error or AUC. Performance metrics of MANOVA are true positive, falsepositive, true negative and false negative rates. We also perform the nonparametricversion of ANOVA which is called Friedman test. We apply Sign test when we comparemultiple classifiers over multiple datasets. We observe that using more than one per-formance metric includes their correlation in the statistical test and therefore producesmore accurate results.

Literatürdeki istatistiksel testler genelde hata oranını kullanırlar ve yanlış pozitifand yanlış negatiflerin maliyetlerinin aynı oldugunu varsayarlar. ROC eğrileri ve/veyaROC Eğrilerinin Altındaki Alan (AUC), çeşitli maliyet değerlerine göre sınıflandırıcılarınperformanslarını karşılaştırmak için kullanılabilir. Bir ROC eğrisi ve bir ROC eğrisininaltındaki alan genellikle bir öğrenme/sınama çiftinden hesaplanır ve verideki rastsallığınortalamasını almak için ve dağılım oturtabileceğimiz ve üzerinde hipotez testi yapabileceğimiz bir ROC eğrileri kümesi ve AUC değerleri oluşturmayı öneriyoruz. 15veri kümesi üzerinde 5 farklı sınıflandırma algoritması kullanılarak bulduğumuz deneyselsonuçlar gösteriyor ki bizim önerdiğimiz AUC testi hata oranını kullanan eşli ttestine göre daha üstündür¸cünkü AUC testi hata testinin fark edemeyeceği eşitlikve farklılıkları fark edebiliyor. ROC eğrileri için kullandığımız yaklaşım, Doğruluk-Anımsama eğrilerinin altında kalan alana k-kat¸capraz-geçerleme uygulayarak da kullanılabilir.Birden çok sınıflandırıcıyı bir veri kümesi veya birden çok veri kümesi üzerindekarşılaştırımak için Varyans Analizi (ANOVA) kullanabiliriz. Birden çok performansmetriği üzerinden karşılaştırma yapmak için, çok değişkenli ANOVA, MANOVA, kullanırız.ANOVA'nın performans metrikleri hata veya AUC olabilir. MANOVA'nınperformans metrikleri doğru pozitif, yanlış pozitif, doğru negatif ve yanlış negatifdeğerleridir. ANOVA'nın parametrik olmayan versiyonu olan Friedman testini deyapıyoruz. Çoklu sınıflandırıcıları çoklu veri kümeleri üzerinden karşılaştırırken İşarettesti uyguluyoruz. Birden çok performans metriği kullanmanın onların korelasyonlarınıiçerdiğini ve bu yüzden daha güvenilir sonuçlar ürettiğini gözlemliyoruz.