Balanced DATA by DBSCAN and Weighted Arithmetic Mean to Improve Performance of Machine Learning Algorithms

Serkan GÜLDAL

doi:https://doi.org/10.17798/bitlisfen.985519

Makale detayları

Balanced DATA by DBSCAN and Weighted Arithmetic Mean to Improve Performance of Machine Learning Algorithms

Yazarlar:

Serkan GÜLDAL

Yayıncı:

Bitlis Eren University

Ana Başlıklar:

Uygulamalı fizik

Dergi:

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 2021 Vol.10 Issue 4, pp.1563-1574

Belge Tipi:

Makale

Yayın Tarihi:

12/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000888470

Sıklık:

Üç Aylık

eISSN:

2147-3188

pISSN:

2147-3129

DOI:

https://doi.org/10.17798/bitlisfen.985519

Anahtar kelimeler:

Özet:

 

Improvement of digital technology has caused the collected data sizes to increase at an accelerating rate. The increase in data size comes with new problems such as unbalanced data. If a dataset is unbalanced, the classes are not equally distributed. Therefore, classification of the data causes performance losses since the classification algorithms treat as the datasets are balanced. While the classification favors the majority class, the minority class is often misclassified. The majority of collected datasets, especially medical datasets, have an unbalanced distribution problem. To reduce the unbalance datasets, various studies have been performed in recent years. In general terms, these studies are undersampling, oversampling, or both to balance the datasets. In this study, an oversampling method is proposed employing distance and mean based resampling method to produce synthetic samples. For the resampling process, the distances between pairs are calculated by the Euclidean distance in the minority class. The calculated distances are considered in the sense of DBSCAN to obtain a sufficient amount of pairs. The new synthetic samples were formed between listed pairs by using the Weighted Arithmetic Mean. Thus, the dataset has been approximated 500 (majority) and 535 (from 268 minority data). The Random Forest (RF) and Support Vector Machine (SVM) algorithms are used for classification the raw and balanced datasets, and the results were compared with each other and the other well known methods such as Random Over Sampling (ROS), Random Under Sampling (RUS), and Synthetic Minority Oversampling Technique (SMOTE).  The result showed that the proposed method has the best performance among all the listed methods. The accuracy performance of RF is 0.751 and 0.798 for raw data and resampled data respectively. Likewise, the accuracy performance of SVM is 0.762 and 0.781 for raw data and resampled data respectively.

 

Dijital teknolojinin gelişmesi, toplanan veri boyutlarının artan bir hızla artmasına neden olmuştur. Veri boyutundaki artış, dengesiz veri gibi yeni sorunları da beraberinde getirmektedir. Bir veri kümesi dengesizse, sınıflar eşit olarak dağıtılmaz. Bu nedenle, sınıflandırma algoritmaları veri kümeleri dengelenmiş gibi tasarlandığından, verilerin sınıflandırılması performans kayıplarına neden olur. Sınıflandırma çoğunluk sınıfını desteklerken, azınlık sınıfı genellikle yanlış sınıflandırılır. Toplanan veri kümelerinin, özellikle de tıbbi veri kümelerinin çoğunluğunun dengesiz dağılım sorunu vardır. Veri setlerinin dengesizliklerini azaltmak için son yıllarda çeşitli çalışmalar yapılmıştır. Genel anlamda, bu çalışmalar veri kümelerini dengelemek için yetersiz örnekleme, aşırı örnekleme veya her ikisidir. Bu çalışmada, sentetik numuneler üretmek için uzaklık ve ortalama tabanlı yeniden örnekleme yönteminin kullanıldığı bir aşırı örnekleme yöntemi önerilmiştir. Yeniden örnekleme işlemi için çiftler arasındaki uzaklıklar azınlık sınıfındaki Öklid uzaklığı ile hesaplanır. Hesaplanan mesafeler, yeterli sayıda çift elde etmek için DBSCAN yöntemi dikkate alınır. Yeni sentetik numuneler, Ağırlıklı Aritmetik Ortalama kullanılarak listelenen çiftler arasında oluşturulmuştur. Böylece veri seti 500 (çoğunluk) ve 535 (268 azınlık verisinden) olarak yeniden tasarlanmıştır. Ham ve dengeli veri kümelerini sınıflandırmak için Rassal Orman (RF) ve Destek Vektör Makinesi (SVM) algoritmaları kullanılmış ve sonuçlar birbirleriyle ve diğer metotlar (ROS, RUS ve SMOTE) ile kıyaslanmıştır. Sonuç, önerilen yöntemin listelenen tüm yöntemler arasında en iyi performansa sahip olduğunu göstermiştir. RF'nin doğruluk performansı, ham veriler ve yeniden örneklenmiş veriler için sırasıyla 0.751 ve 0.798'dir. Benzer şekilde, SVM'nin doğruluk performansı, ham veriler ve yeniden örneklenmiş veriler için sırasıyla 0.762 ve 0.781'dir.

Makale detayları

Balanced DATA by DBSCAN and Weighted Arithmetic Mean to Improve Performance of Machine Learning Algorithms

Yazarlar:

Serkan GÜLDAL

Yayıncı:

Bitlis Eren University

Ana Başlıklar:

Uygulamalı fizik

Dergi:

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 2021 Vol.10 Issue 4, pp.1563-1574

Belge Tipi:

Makale

Yayın Tarihi:

12/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000888470

Sıklık:

Üç Aylık

eISSN:

2147-3188

pISSN:

2147-3129

DOI:

https://doi.org/10.17798/bitlisfen.985519

Makine Öğrenimi

Rastgele Orman

Destek Vektör Makinesi

Sentetik Veri

Tıbbi Veri

Sayı

Makale detayları

Balanced DATA by DBSCAN and Weighted Arithmetic Mean to Improve Performance of Machine Learning Algorithms

Yazarlar: Serkan GÜLDAL

Yayıncı: Bitlis Eren University

Ana Başlıklar: Uygulamalı fizik

Dergi: Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 2021 Vol.10 Issue 4, pp.1563-1574

Belge Tipi: Makale

Yayın Tarihi: 12/2021

Belge Dili: İngilizce

Document ID (Org No.): 2000888470

Sıklık: Üç Aylık

eISSN: 2147-3188

pISSN: 2147-3129

DOI: https://doi.org/10.17798/bitlisfen.985519

Makine Öğrenimi

Rastgele Orman

Destek Vektör Makinesi

Sentetik Veri

Tıbbi Veri

Sayı

Yazarlar:

Serkan GÜLDAL

Yayıncı:

Bitlis Eren University

Ana Başlıklar:

Uygulamalı fizik

Dergi:

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 2021 Vol.10 Issue 4, pp.1563-1574

Belge Tipi:

Makale

Yayın Tarihi:

12/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000888470

Sıklık:

Üç Aylık

eISSN:

2147-3188

pISSN:

2147-3129

DOI:

https://doi.org/10.17798/bitlisfen.985519