Deep Reinforcement Learning Based Controller Design for Model of The Vertical Take off and Landing System

Mahmut AĞRALI; Mehmet Uğur SOYDEMİR; Alkım GÖKÇEN; Savas SAHİN

doi:https://doi.org/10.31590/ejosat.957216

Makale detayları

Deep Reinforcement Learning Based Controller Design for Model of The Vertical Take off and Landing System

Yazarlar:

Mahmut AĞRALI | Mehmet Uğur SOYDEMİR | Alkım GÖKÇEN | Savas SAHİN

Yayıncı:

Osman SAĞDIÇ

Ana Başlıklar:

Uygulamalı fizik

Dergi:

European Journal of Science and Technology 2021 Vol. Issue 26, pp.358-363

Belge Tipi:

Makale

Yayın Tarihi:

7/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000917844

Sıklık:

Üç Aylık

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.957216

Anahtar kelimeler:

Özet:

 

In this study, the Deep Deterministic Policy Gradient (DDPG) algorithm, which consists of a combination of artificial neural networks and reinforcement learning, was applied to the Vertical Takeoff and Landing (VTOL) system model in order to control the pitch angle. This algorithm was selected because conventional control algorithms such as Proportional Integral Derivative (PID) controllers which cannot always generate a suitable control signal eliminating the disturbance and unwanted environment effects on the considered system. In order to control the system, training was carried out for a sinusoidal reference in the mathematical model of the VTOL system in the Simulink environment, through the DDPG algorithm with continuous action space from deep reinforcement learning methods that can produce control action values that take the structure that can maximize the reward according to a determined reward function for the purpose of control and the generalization ability of artificial neural networks. For sinusoidal reference and a constant reference, tracking error performances obtained for the pitch angle, which is the output for the specified VTOL system, were compared with the conventional PID controller performance in terms of mean square error, integral square error, integral absolute error, percentage overshoot and settling time. The obtained results are presented via the simulations studies.

 

Bu çalışmada, yapay sinir ağları ve pekiştirmeli öğrenmenin birleşiminden oluşan Deep Deterministic Policy Gradient (DDPG) derin pekiştirme öğrenme algoritması Dikey Kalkış ve İniş (VTOL) sistemi modeline yunuslama (pitch) açısını kontrol edebilme amacıyla uygulanmıştır. Bu algoritma, Oransal İntegral Türevsel (PID) kontrolör gibi geleneksel kontrol algoritmaları için en uygun kontrolör katsayıları bulunsa dahi kontrol edilecek sistem üzerindeki bozucu etki ve istenmeyen ortam etkilerini elimine edebilecek kontrol sinyali üretememelerinden dolayı seçilmiştir. Belirtilen bu problemi çözebilmek için kontrol amacına yönelik belirlenen bir ödül fonksiyonuna göre ödülü maksimize edebilecek yapısı ve yapay sinir ağlarının genelleştirme yeteneğini arkasına alan kontrol aksiyon değerleri üretebilen derin pekiştirmeli öğrenme yöntemlerinden sürekli eylem uzayına sahip DDPG algoritmasının, Simulink ortamında VTOL sisteminin matematiksel modelinde sinüzoidal bir referans için eğitimi gerçekleştirilmiştir. Belirtilen VTOL sistemi için çıkış olan yunuslama açısının, DDPG algoritması için sinusoidal ve sabit referans için elde edilen izleme başarımları, geleneksel PID kontrolör algoritmasının izleme başarımları ile ortalama kare hatası, integral kare hatası, integral mutlak hatası, yüzde aşım ve oturma zamanı cinsinden karşılaştırılmıştır ve edinilen sonuçlar simülasyon çalışmaları ile sunulmuştur.

Makale detayları

Deep Reinforcement Learning Based Controller Design for Model of The Vertical Take off and Landing System

Yazarlar:

Mahmut AĞRALI | Mehmet Uğur SOYDEMİR | Alkım GÖKÇEN | Savas SAHİN

Yayıncı:

Osman SAĞDIÇ

Ana Başlıklar:

Uygulamalı fizik

Dergi:

European Journal of Science and Technology 2021 Vol. Issue 26, pp.358-363

Belge Tipi:

Makale

Yayın Tarihi:

7/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000917844

Sıklık:

Üç Aylık

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.957216

Pekiştirmeli Öğrenme

DDPG

PID

VTOL.

Sayı

Makale detayları

Deep Reinforcement Learning Based Controller Design for Model of The Vertical Take off and Landing System

Yazarlar: Mahmut AĞRALI | Mehmet Uğur SOYDEMİR | Alkım GÖKÇEN | Savas SAHİN

Yayıncı: Osman SAĞDIÇ

Ana Başlıklar: Uygulamalı fizik

Dergi: European Journal of Science and Technology 2021 Vol. Issue 26, pp.358-363

Belge Tipi: Makale

Yayın Tarihi: 7/2021

Belge Dili: İngilizce

Document ID (Org No.): 2000917844

Sıklık: Üç Aylık

eISSN: 2148-2683

DOI: https://doi.org/10.31590/ejosat.957216

Pekiştirmeli Öğrenme

DDPG

PID

VTOL.

Sayı

Yazarlar:

Mahmut AĞRALI | Mehmet Uğur SOYDEMİR | Alkım GÖKÇEN | Savas SAHİN

Yayıncı:

Osman SAĞDIÇ

Ana Başlıklar:

Uygulamalı fizik

Dergi:

European Journal of Science and Technology 2021 Vol. Issue 26, pp.358-363

Belge Tipi:

Makale

Yayın Tarihi:

7/2021

Belge Dili:

İngilizce

Document ID (Org No.):

2000917844

Sıklık:

Üç Aylık

eISSN:

2148-2683

DOI:

https://doi.org/10.31590/ejosat.957216