Designing a system which can detect network intrusions effectively is an active research topic. There are several successful intrusion detection systems which rely on either static methods or artificial intelligence methods, for detecting known attacks. However, the research which is about designing a system to detect zero-day attacks with a high success rate still continues. In addition, the popularity of the machine learning algorithms based intrusion detection models is increasing day by day due to their better performance on zero-day attack detection compared to previously proposed static methods. Within the context of this thesis, in order to detect the intrusions of the NSL-KDD dataset in anomaly detection manner, we used deep learning methods which are the part of machine learning algorithms and perform better than the any other machine learning algorithms at creating solutions for the variety of problems.The implemented methods in this thesis are examined in outlier detection and classification based anomaly detection categories separately. For outlier detection methods, we proposed a stochastic anomaly threshold determination technique to improve the anomaly detection performance of the autoencoders which are part of deep learning methods. The proposed anomaly detection models based on deterministic autoencoder and denoising autoencoder performed with 88.28% and 88.65% accuracy scores respectively on KDDTest+ dataset which is the test dataset of the NSL-KDD dataset. For classification methods, we used denoising autoencoder based deep neural network and deterministic autoencoder based deep neural network methods which are already existing deep learning approaches, to detect the intrusions of the KDDTest+ dataset and they performed with 79.25% and 83.39% accuracy scores respectively. The obtained results from the denoising autoencoder model which uses our proposed threshold determination technique shows that, as a singular model it outperforms any other singular anomaly detection methods and it also performs almost the same as the newly suggested hybrid anomaly detection models.

Bilgisayar ağlarına yapılan saldırıların etkin bir biçimde tespit edilmesine yönelik bir sistem tasarlanması aktif bir araştırma konusudur. Günümüzde bilinen saldırıların tespiti konusunda yüksek başarım ile çalışabilen statik ve yapay zeka tabanlı yöntemler var olmasına rağmen sıfırıncı gün saldırılarını etkin bir biçimde tespit edecek bir yöntem tasarlanması konusundaki çalışmalar devam etmektedir. Bununla beraber, sıfırıncı gün saldırılarının tespiti konusunda makine öğrenmesi yöntemlerinin geçmişte önerilmiş statik yöntemlere göre çok daha başarılı sonuçlar verdiği bilinmektedir. Bu sebeple makine öğrenmesi tabanlı ağ saldırı tespiti yöntemleri her geçen gün daha da popülerleşmektedir. Bu tez kapsamında makine öğrenmesi yöntemlerinin bir alt kolu olan ve mevcut makine öğrenmesi yöntemlerine göre birçok problemin çözümü konusunda çok daha başarılı sonuçlar veren derin öğrenme yöntemleri kullanılarak, NSL-KDD veri kümesi üzerinde anomali tespiti tabanlı ağ saldırı tespiti yapılmıştır.Tez kapsamında kullanılan yöntemler uç değer tespiti tabanlı anomali tespiti ve sınıflandırıcı tabanlı anomali tespiti olarak iki ayrı kategori altında incelenmiş ve sonuçları kıyaslanmıştır. Uç değer tespiti yaklaşımı için derin öğrenme yöntemlerinin bir alt bileşeni olan otomatik kodlayıcıların anomali tespiti konusundaki performanslarını arttırmak amacı ile stokastik bir anomali eşik değeri tespit yöntemi önerilmiş ve önerilen yöntemi kullanan deterministik otomatik kodlayıcı ve gürültü giderici otomatik kodlayıcı modelleri, NSL-KDD'nin içinde bulunan KDDTest+ kümesi üzerinde sırası ile %88,28 ve %88,65 doğruluk oranları ile başarım sağlamıştır.Sınıflandırıcı yaklaşımı için ise mevcut derin öğrenme yöntemlerinden deterministik otomatik kodlayıcı ve gürültü giderici otomatik kodlayıcı tabanlı derin yapay sinir ağlarının KDDTest+ üzerindeki anomali tespit performansları ölçülmüş ve sırası ile %79,25 ve %83,39 doğruluk oranları ile başarım sağlanmıştır. Elde edilen sonuçlar önerilen eşik değeri belirleme yöntemini kullanan, gürültü giderici otomatik kodlayıcı yönteminin tekil bir yöntem olarak literatürdeki diğer tüm tekil yöntemlerden daha başarılı olduğunu ve hibrit yöntemlerin de en başarılı olanlarına eş değer performansa sahip olduğunu göstermiştir.