Novadays, with the advancement of IP (Internet Protocol) based systems, packet switched networks started substutioning with circuit switched networks in telecommunication systems and become more preferable among operators due to their cost advantages. In addition, different security and monitoring mechanisms have been suggested as VoIP (Voice Over Internet Protocol) systems are equally vulnerable to threats such as IP based systems have. Similarly, in this thesis, a VoIP security system design is proposed. Healthy SIP (Session Initiation Protocol) traffic and DoS (Denial of Service) attack traffic simulations are performed on PS (Proxy Server), SIP message load densities on PS are tested via machine learning methods and success levels of traffic classication as healthy and DoS attack are evaluated during the development process. At the result of the evaluation, a MLP (Multi Layer Perceptron) based program prototype is developed which classifies SIP traffic by using SIP message histograms.

Günümüzde IP (Internet Protocol – İnternet Protokolü) tabanlı sistemlerin gelişmesiyle birlikte paket anahtarlamalı ağlar devre anahtarlamalı ağların yerini almaya başlamış ve maliyet avantajları sebebiyle operatörler arasında daha fazla tercih edilir olmuştur. Bununla birlikte VoIP (Voice Over Internet Protocol – İnternet Protokolü Üzerinden Ses İletişimi) sistemleri, IP tabanlı sistemlerin açık olduğu tehditlere aynı şekilde açık olması sebebiyle farklı güvenlik ve izleme mekanizmaları önerilmiştir. Benzer şekilde, bu tez çalışmasında da bir VoIP güvenlik sistemi tasarımı önerilmiştir. Geliştirme sürecinde PS (Proxy Server – Vekil Sunucu) üzerinde sağlıklı SIP (Session Initiation Protocol – Oturum Başlatma Protokolü) trafik benzetimi ve DoS (Denial of Service – Hizmet Engelleme) saldırısı içeren trafik benzetimi gerçekleştirilmiş, PS üzerinden geçen SIP mesaj yük yoğunlukları makine öğrenme teknikleri ile test edilmiş, sağlıklı ve DoS saldırısı içeren trafiğin sınıflandırılma başarı düzeyleri incelenmiştir. Değerlendirme sonucunda trafiği SIP mesaj histogramlarını kullanarak sınıflandıran MLP (Çok Katmanlı Algılayıcı – Multi Layer Perceptron) tabanlı bir uygulama prototipi geliştirilmiştir.