Comparing the performances of prediction models: A study on growth  of lambs

Özlem GÜLLÜ; İsmayil Safa GÜRCAN

doi:https://doi.org/10.1501/Vetfak_0000002787

Makale detayları

Comparing the performances of prediction models: A study on growth of lambs

Yazarlar:

Özlem GÜLLÜ | İsmayil Safa GÜRCAN

Ana Başlıklar:

Hayvancılık

Dergi:

Ankara Üniversitesi Veteriner Fakültesi Dergisi 2017 Vol.64 Issue 2, pp.131-136

Belge Tipi:

Makale

Yayın Tarihi:

5/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000849970

DOI:

https://doi.org/10.1501/Vetfak_0000002787

Anahtar kelimeler:

Özet:

 

The aim of this study is to assess the impact of the birth weight variable on the performance of the model through the use of the classical methods employed to evaluate the performances of prediction models, namely, coefficient of determination, Brier score, area under the ROC curve (AUC), and two new alternative methods, namely, Net Reclassification Improvement (NRI) and Integrated Discrimination Improvement (IDI). The material of the study consists of the data on the growth of 433 lambs in Sivas-Ulaş Agricultural Enterprise between 1996 and 1997. The study examines the impact of birth weight on the model's performance in the classification of lambs as those having and not having the desired weaning weight (WW). The results indicate that the contribution of birth weight to the discrimination of the model is 2.1% according to AUC. NRI was found to be 11.6% (p<0.001). Thus, when the birth weight variable is added, the probability of lambs with the desired WW to be included in the low risk category is 11.6% higher than the probability of those lambs to be included in the high risk category. Categorical independent IDI was calculated to be 3.3% (p<0.001). In conclusion, NRI indicates the impact of birth weight more sensitively than AUC by measuring the change on the basis of the risk categories. These performance indexes (NRI and IDI) newly developed in the literature produce more sensitive results compared to the classical approach (AUC).

 

Bu çalışmanın amacı, tahmin modellerinin performanslarının değerlendirilmesinde kullanılan klasik yöntemler: Belirtme katsayısı, Brier skor, eğri altında kalan alan (EAKA) ve bu yöntemlere alternatif olarak sunulan iki yeni yöntem: Net Tekrar Sınıflandırma İyileştirmesi (NTSİ) ve Bütünleşik Ayrımsama İyileştirmesi (BAİ) ile doğum ağırlığı değişkeninin model performansına etkisinin incelenmesidir. Çalışmanın materyalini 1996-1997 yılları arasında Sivas-Ulaş Tarım İşletmesindeki 433 kuzunun büyüme özelliğine ait veriler oluşturmuştur. Çalışmada, istenilen sütten kesim ağırlığına (SKA) sahip olan ve olmayan kuzuların sınıflandırılmasında doğum ağırlığının model performansına etkisi incelenmiştir. Sonuçlara göre doğum ağırlığının modelin ayırt edebilirliğine katkısı EAKA’ya göre %2.1’dir. NTSİ %11.6 (p<0.001) olarak bulunmuştur. Böylece doğum ağırlığı belirteci eklendiğinde, istenilen SKA’da olan bireylerin düşük risk kategorisine geçme olasılığı, yüksek risk kategorisine geçme olasılığından %11.6 daha fazladır. Kategoriden bağımsız BAİ ise %3.3 (p<0.001) olarak hesaplanmıştır. Sonuç olarak NTSİ, doğum ağırlığının etkisini risk kategorileri bazında meydana gelen değişimi ölçerek EAKA’ya nazaran daha hassas bir şekilde göstermiştir. Literatürde yeni geliştirilen bu performans ölçüleri (NTSİ ve BAİ) klasik yaklaşıma (EAKA) nazaran daha duyarlı sonuçlar üretmektedirler.

Makale detayları

Comparing the performances of prediction models: A study on growth of lambs

Yazarlar:

Özlem GÜLLÜ | İsmayil Safa GÜRCAN

Ana Başlıklar:

Hayvancılık

Dergi:

Ankara Üniversitesi Veteriner Fakültesi Dergisi 2017 Vol.64 Issue 2, pp.131-136

Belge Tipi:

Makale

Yayın Tarihi:

5/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000849970

DOI:

https://doi.org/10.1501/Vetfak_0000002787

BAİ

EAKA

model performans ölçüleri

NTSİ

tekrar sınıflandırma

Sayı

Makale detayları

Comparing the performances of prediction models: A study on growth of lambs

Yazarlar: Özlem GÜLLÜ | İsmayil Safa GÜRCAN

Ana Başlıklar: Hayvancılık

Dergi: Ankara Üniversitesi Veteriner Fakültesi Dergisi 2017 Vol.64 Issue 2, pp.131-136

Belge Tipi: Makale

Yayın Tarihi: 5/2017

Belge Dili: İngilizce

Document ID (Org No.): 2000849970

DOI: https://doi.org/10.1501/Vetfak_0000002787

BAİ

EAKA

model performans ölçüleri

NTSİ

tekrar sınıflandırma

Sayı

Yazarlar:

Özlem GÜLLÜ | İsmayil Safa GÜRCAN

Ana Başlıklar:

Hayvancılık

Dergi:

Ankara Üniversitesi Veteriner Fakültesi Dergisi 2017 Vol.64 Issue 2, pp.131-136

Belge Tipi:

Makale

Yayın Tarihi:

5/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000849970

DOI:

https://doi.org/10.1501/Vetfak_0000002787