A comparative analysis on the reliability of interpretable machine learning

Feyza Yıldırım Okay; Suat Özdemir

Makale detayları

A comparative analysis on the reliability of interpretable machine learning

Yazarlar:

Feyza Yıldırım Okay | Suat Özdemir

Yayıncı:

Pamukkale University

Ana Başlıklar:

Veri Yapıları ve Algoritmalar

Dergi:

Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi Vol.30 Issue 4, pp.494-508

Belge Tipi:

Makale

Yayın Tarihi:

8/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001325673

pISSN:

2147-5881

Anahtar kelimeler:

Özet:

 There is often a trade-off between accuracy and interpretability in Machine Learning ML models. As the model becomes more complex, generally the accuracy increases and the interpretability decreases. Interpretable Machine Learning IML methods have emerged to provide the interpretability of complex ML models while maintaining accuracy. Thus, accuracy remains constant while determining feature importance. In this study, we aim to compare agnostic IML methods including SHAP and ELI5 with the intrinsic IML methods and Feature Selection FS methods in terms of the similarity of attribute selection. Also, we compare agnostic IML models SHAP, LIME, and ELI5 among each other in terms of similarity of local attribute selection. Experimental studies have been conducted on both general and private datasets to predict company default. According to the obtained results, this study confirms the reliability of agnostic IML methods by demonstrating similarities of up to 86 in the selection of attributes compared to intrinsic IML methods and FS methods. Additionally, certain agnostic IML methods can interpret models for local instances. The findings indicate that agnostic IML models can be applied in complex ML models to offer both global and local interpretability while maintaining high accuracy.

 There is often a trade-off between accuracy and interpretability in Machine Learning ML models. As the model becomes more complex, generally the accuracy increases and the interpretability decreases. Interpretable Machine Learning IML methods have emerged to provide the interpretability of complex ML models while maintaining accuracy. Thus, accuracy remains constant while determining feature importance. In this study, we aim to compare agnostic IML methods including SHAP and ELI5 with the intrinsic IML methods and Feature Selection FS methods in terms of the similarity of attribute selection. Also, we compare agnostic IML models SHAP, LIME, and ELI5 among each other in terms of similarity of local attribute selection. Experimental studies have been conducted on both general and private datasets to predict company default. According to the obtained results, this study confirms the reliability of agnostic IML methods by demonstrating similarities of up to 86 in the selection of attributes compared to intrinsic IML methods and FS methods. Additionally, certain agnostic IML methods can interpret models for local instances. The findings indicate that agnostic IML models can be applied in complex ML models to offer both global and local interpretability while maintaining high accuracy.

 There is often a trade-off between accuracy and interpretability in Machine Learning ML models. As the model becomes more complex, generally the accuracy increases and the interpretability decreases. Interpretable Machine Learning IML methods have emerged to provide the interpretability of complex ML models while maintaining accuracy. Thus, accuracy remains constant while determining feature importance. In this study, we aim to compare agnostic IML methods including SHAP and ELI5 with the intrinsic IML methods and Feature Selection FS methods in terms of the similarity of attribute selection. Also, we compare agnostic IML models SHAP, LIME, and ELI5 among each other in terms of similarity of local attribute selection. Experimental studies have been conducted on both general and private datasets to predict company default. According to the obtained results, this study confirms the reliability of agnostic IML methods by demonstrating similarities of up to 86 in the selection of attributes compared to intrinsic IML methods and FS methods. Additionally, certain agnostic IML methods can interpret models for local instances. The findings indicate that agnostic IML models can be applied in complex ML models to offer both global and local interpretability while maintaining high accuracy.

 Makine Öğrenmesi ML modellerinde genellikle doğruluk ve yorumlanabilirlik arasında bir denge vardır. Model daha karmaşık hale geldikçe, genellikle doğruluk artar ve yorumlanabilirlik azalır. Yorumlanabilir Makine Öğrenimi IML yöntemleri karmaşık ML modellerinin doğruluğunu korurken yorumlanabilirliğini sağlamak için ortaya çıkmıştır. Böylece, öznitelik önemi belirlenirken doğruluk sabit kalır. Bu çalışmada, SHAP ve ELI5 gibi agnostik IML yöntemleri ile içsel IML yöntemleri ve özellik seçimi FS yöntemlerinin öznitelik seçimi benzerliği açısından karşılaştırılmasını amaçlıyoruz. Ayrıca agnostik IML modellerini SHAP, LIME ve ELI5 yerel öznitelik seçiminin benzerliği açısından kendi aralarında karşılaştırıyoruz. Şirket temerrüdünü tahmin etmek için hem genel hem de özel veri kümeleri üzerinde deneysel çalışmalar yapılmıştır. Elde edilen sonuçlara göre, bu çalışma öznitelik seçiminde içsel IML yöntemleri ve FS yöntemlerine kıyasla 86ya kadar benzerlikler göstererek agnostik IML yöntemlerinin güvenilirliğini doğrulamaktadır. Ek olarak, bazı agnostik IML yöntemleri, modelleri yerel örnekler için de yorumlayabilmektedir. Sonuçlar, agnostik IML modellerinin, yüksek doğruluğu korurken genel ve yerel yorumlanabilirlik sağlamak için karmaşık ML modellerinde uygulanabileceğini göstermektedir.

Makale detayları

A comparative analysis on the reliability of interpretable machine learning

Yazarlar:

Feyza Yıldırım Okay | Suat Özdemir

Yayıncı:

Pamukkale University

Ana Başlıklar:

Veri Yapıları ve Algoritmalar

Dergi:

Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi Vol.30 Issue 4, pp.494-508

Belge Tipi:

Makale

Yayın Tarihi:

8/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001325673

pISSN:

2147-5881

Interpretable machine learning

Default prediction

Reliability

Jaccard index similarity

Feature selectionYorumlanabilir makine öğrenmesi

Temerrüt tahmini

Güvenilirlik

Jaccard dizin benzerliği

Öznitelik seçimi

Sayı

Makale detayları

Yazarlar: Feyza Yıldırım Okay | Suat Özdemir

Yayıncı: Pamukkale University

Ana Başlıklar: Veri Yapıları ve Algoritmalar

Dergi: Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi Vol.30 Issue 4, pp.494-508

Belge Tipi: Makale

Yayın Tarihi: 8/2024

Belge Dili: İngilizce

Document ID (Org No.): 2001325673

pISSN: 2147-5881

Sayı

Yazarlar:

Feyza Yıldırım Okay | Suat Özdemir

Yayıncı:

Pamukkale University

Ana Başlıklar:

Veri Yapıları ve Algoritmalar

Dergi:

Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi Vol.30 Issue 4, pp.494-508

Belge Tipi:

Makale

Yayın Tarihi:

8/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001325673

pISSN:

2147-5881