Dynamic group key agreement protocols are cryptographic primitives to provide secure group communications in decentralized and dynamic networks. Such protocols provide additional operations to update the group key while adding new participants into the group and removing existing participants from the group without re-executing the protocol from the beginning. However, the lack of scalability emerges as one of the most significant issues of dynamic group key agreement protocols when the number of participants in the group increases. For instance, frequent participant join requests for large groups may cause an effect similar to a Distributed Denial of Service attack and violate the system availability due to the increase in group key update time. Therefore, analyzing the scalability of dynamic group key agreement protocols is crucial to detect conditions where the system becomes unavailable. In this thesis, we propose a formal performance model to evaluate the scalability of dynamic group key agreement protocols by using queueing models. We also extend our performance model for evaluating the scalability of secure file sharing systems that utilize group key agreement protocols. Moreover, we present a demonstrative use case to show the applicability of our performance model on an example group key agreement protocol and a secure file sharing system. Furthermore, we design attack models that can be used against communication systems and explain how the target system may be affected by a cyber attack.

Dinamik grup anahtarı anlaşma protokolleri, dağıtık ve dinamik ağlarda güvenli grup iletişimi sağlayan temel kriptografik öğelerdir. Bu protokoller, sağladıkları faz-ladan operasyonlar ile gruba yeni katılımcılar eklendiğinde ya da mevcut katılımcılar gruptan ayrıldığında, protokolü en baştan çalıştırmadan grup anahtarının güncellen-mesini sağlamaktadır. Ancak, grup katılımcılarının sayısı arttıkça, ölçeklenebilirlik eksikliği dinamik grup anahtarı anlaşma protokollerinin başlıca sorunlarından biri haline gelmektedir. Örnek olarak, büyük gruplara sık bir şekilde gelen katılımcı ekleme isteği Dağıtık Servis Dışı Bırakma saldırısına benzer bir etkiye sebep olarak, sistemin kullanılırlığının ihlal edilmesine yol açabilir. Bu sebeple, dinamik grup anahtarı anlaşma protokollerinin ölçeklenebilirlik analizinin yapılması, sistemin kullanılamaz noktaya geldiği durumların tespiti açısından çok önemlidir. Bu tezde, dinamik grup anahtarı anlaşma protokollerinin ölçeklenebilirlik değerlendirmesini kuyruk modelleri aracılığıyla yapan biçimsel bir başarım modeli öneriyoruz. Ayrıca, başarım modelimizi dinamik grup anahtarı anlaşma protokolleri kullanan güvenli dosya paylaşım sistemlerinin ölçeklenebilirlik analizini de kapsayacak şekilde genişletiyoruz. Buna ek olarak, modelimizin örnek bir dinamik grup anahtarı anlaşma protokolü ve bir güvenli dosya paylaşım sistemi üzerinde uygulanabilirliğini gösteren bir kullanım senaryosu sunuyoruz. Dahası, grup iletişim sistemlerine karşı kullanılabilecek saldırı modelleri tasarlayarak, hedef alınan sistemin bir siber saldırı altında nasıl etkilendiğini gösteriyoruz.