Performance analysis of set partitioning formulations on the rule extraction from random forests

Mert EDALI

Makale detayları

Performance analysis of set partitioning formulations on the rule extraction from random forests

Yazarlar:

Mert EDALI

Yayıncı:

Pamukkale University

Ana Başlıklar:

Uygulamalı fizik

Dergi:

Pamukkale University Journal of Engineering Sciences 2021 Vol.27 Issue 4, pp.513-519

Belge Tipi:

Makale

Yayın Tarihi:

8/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000575107

Sıklık:

İki Aylık

eISSN:

2147-5881

pISSN:

1300-7009

Özet:

 

Random Forests is a widely used machine learning algorithm for classification and regression problems from different domains. Although they are generally accurate, their interpretability is low compared to their building blocks: single decision trees. Using the fact that each member of a Random Forest is a decision tree, we propose different set partitioning formulations to extract interpretable if-then rules from Random Forests. Our experiments on well-known classification and regression datasets show that the original set partitioning model formulation significantly reduces the number of rules while keeping the accuracy at acceptable levels. We also propose a modification to the problem's objective function, which aims to reduce the number of extracted rules further. We observe a further reduction in the number of extracted rules while the accuracy values stay nearly the same. Although the set partitioning problem is NP-hard, we obtain optimal results for most datasets within twenty minutes.

 

Rastgele Ormanlar farklı alanlardaki sınıflandırma ve regresyon problemleri için sıklıkla kullanılan bir yapay öğrenme algoritmasıdır. Yüksek başarım göstermelerine rağmen, yapıtaşları olan karar ağaçlarına kıyasla yorumlanabilirlikleri oldukça düşüktür. Her bir üyesinin bir karar ağacı olduğu gerçeğinden yola çıkarak, Rastgele Ormanlardan yorumlanabilir eğer-ise tipinde kurallar çıkarmak için farklı küme bölüntüleme formülasyonları öneriyoruz. Literatürde sıklıkla kullanılan sınıflandırma ve regresyon veri setleri üzerinde yaptığımız deneylerin sonuçları göstermektedir ki orijinal küme bölüntüleme model formülasyonu, başarımı kabul edilebilir seviyelerde tutarak kural sayısını önemli ölçüde düşürebilmektedir. Çıkarılan kural sayısını daha da düşürebilmek için problemin amaç fonksiyonuna bir değişiklik öneriyoruz. Bu değişiklikle birlikte, çıkarılan kural sayısında daha da düşüş gözlemlerken başarımın aynı seviyelerde kaldığını gözlemliyoruz. Küme bölüntüleme problemi NP-zor olmasına rağmen, çoğu veri seti için yirmi dakika içinde en iyi çözümü buluyoruz.

Makale detayları

Performance analysis of set partitioning formulations on the rule extraction from random forests

Yazarlar: Mert EDALI

Yayıncı: Pamukkale University

Ana Başlıklar: Uygulamalı fizik

Dergi: Pamukkale University Journal of Engineering Sciences 2021 Vol.27 Issue 4, pp.513-519

Belge Tipi: Makale

Yayın Tarihi: 8/2021

Belge Dili: İngilizce

Document ID (Org No.): 2000575107

Sıklık: İki Aylık

eISSN: 2147-5881

pISSN: 1300-7009

Sayı

Yazarlar:

Mert EDALI

Yayıncı:

Pamukkale University

Ana Başlıklar:

Uygulamalı fizik

Dergi:

Pamukkale University Journal of Engineering Sciences 2021 Vol.27 Issue 4, pp.513-519

Belge Tipi:

Makale

Yayın Tarihi:

8/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000575107

Sıklık:

İki Aylık

eISSN:

2147-5881

pISSN:

1300-7009