IV ABSTRACT In this thesis, we detail and compare univariate, linear and nonlinear decision tree methods using a set of simulations on twenty standard data sets. For univariate decision tree methods, we have used the ID3 algorithm and for multivariate decision tree methods, we have used the CART algorithm. For linear and nonlinear methods, we have used neural networks at each decision node. We also propose to use the LDA algorithm in constructing linear multivariate decision trees. Univariate decision trees at each decision node consider the value of only one feature leading to axis-aligned splits. In a linear multivariate decision tree, each decision node divides the input space into two with an arbitrary hyperplane leading to oblique splits. In a nonlinear one, a multilayer perceptron at each node divides the input space arbitrarily, at the expense of increased complexity. We propose hybrid trees where the decision node may be linear or nonlinear depending on the outcome of a statistical test on accuracy. We also propose to use linear discriminant analysis at each decision node. Our results indicate that if the data set is small and has few classes, then a univariate technique does not overfit and can be sufficient and the univariate ID3 has better performance than multivariate linear methods. ID3 learns fast, learns simple and interpretable rules. If the variables are highly correlated, then the univariate method is not sufficient and we may resort to multivariate methods. We have shown that ID-LDA has better performance than CART in terms of accuracy, node size and very significantly in learning time. It has also smaller learning time than ID-LP and the same accuracy. ID-LDA generates smaller trees than ID3 and CART. This shows that to generate a linear multivariate tree, using ID-LDA is preferable over CART, and may be preferable over ID- LP if learning time is critical. tC YÜKSEKÖ?RETİM KURUUj DOKÜMANTASYON MERKgg.

ÖZET Bu tezde, tek değişkenli, doğrusal, ve doğrusal olmayan çok değişkenli karar ağaç kurma metodlan karşılaştırıldı. Tek değişkenli karar ağaçları için örnek olarak ID3, çok değişkenli karar ağaçlan için CART yöntemi kullanıldı. Doğrusal ve doğrusal olmayan metodlar içinse karar düğümünde değişik sinir ağlan yapılarından faydalanıldı. Ayrıca Fisher' in doğrusal ayırma analizinin çok değişkenli karar ağacı oluşturulmasında kullanılması önerildi. Tek değişkenli karar ağaçlan her karar düğümünde tek değişkenin değerine bakarak eksenlere dik bölmeler yaparlar. Doğrusal karar ağaçlarında ise her dalda giriş uzayı rasgele bir düzlemle bölünür. Doğrusal olmayan karar ağaçlarında ise çok katmanlı sinir ağlan giriş uzayını rasgele böler. Bu tezde melez ağaçlar önerildi. Bu ağaçlarda karar düğümü doğrusal veya değildir. Kararın doğrusal olup olmamasına ise bir istatistik testinin sonucuna bakılarak karar verilmektedir. Doğrusal ayırma analizi ile doğrusal çok değişkenli karar ağaçlan yapay sinir ağı temelli karar ağaçlarından çok daha hızlı öğrenilir. Sonuçlanınız gösteriyor ki, eğer veri kümesi küçük ve bu kümede az smıf varsa, tek değişkenli metod yeterli olabilir ve ID3 çok değişkenli metodlardan daha iyi performans gösterir. ID3 hızlı ve kolay öğrenir, kurallan da kolayca yorumlanabilir. Eğer değişkenler birbiriyle çok ilişkiliyse, tek değişkenli metod yeterli olmayabilir ve çok değişkenli metodlan kullanabiliriz. Bu tezde gösterildi ki ID-LDA metodu CART'tan daha başanlı, daha küçük ağaçlar üretmekte ve daha az zaman harcamaktadır. Aynı zamanda ID-LP den daha hızlı ve eşit başanlıdır. ID-LDA ID3 ve CART'tan daha küçük ağaçlar üretir. Bu da gösteriyor ki çok değişkenli ağaç üretmek için ID-LDA CART' a göre tercih edilebilir ve eğer zaman önemli ise ID-LP'ye gore de tercih edilebilir.