AI Summary & Key Takeaways
AI InsightThe findings highlight the critical importance of computational efficiency and incorporating hardware constraints into the training process for the applicability of DRL algorithms in embedded systems.
📌 3 Key Takeaways
Abstract
Linear inverted pendulum (LIP) systems, due to their inherent instabilities and fast nonlinear dynamics, are considered a fundamental benchmarking problem in evaluating the performance of control algorithms. In this study, a controller design was implemented using the Deep Q-Network (DQN) algorithm, a model-independent Deep Reinforcement Learning (DRL) method that does not require linearization of the system's dynamic model. The agent, trained in the MATLAB/Simulink environment with a discretized action space suitable for hardware constraints and a quadratic reward function aimed at energy efficiency, lifted the pendulum from its vertical position and successfully stabilized it in the vertical equilibrium position in simulation tests. The novel aspect of the study is the experimental analysis of the "Sim-to-Real Gap" problem encountered during the integration of the simulated agent into the physical experimental setup. While the controller provided excellent results in a simulation environment assuming a 20 ms sampling time, on real hardware, it only completed the control loop in 80 ms due to the computational cost and data transmission delays of the Deep Neural Network. This delay caused the fast-dynamic pendulum system to become unstable and lose its balance. The findings highlight the critical importance of computational efficiency and incorporating hardware constraints into the training process for the applicability of DRL algorithms in embedded systems.
Özet
Doğrusal ters sarkaç (LIP) sistemleri, doğal kararsızlıkları ve doğrusal olmayan hızlı dinamikleri nedeniyle kontrol algoritmalarının performansının değerlendirilmesinde temel bir kıyaslama problemi olarak kabul edilir. Bu çalışmada, sistemin dinamik modelini lineerize etmeye gerek duymayan, modelden bağımsız bir Derin Pekiştirmeli Öğrenme (Deep Reinforcement Learning - DRL) yöntemi olan Derin Q-Ağı (DQN) algoritması kullanılarak bir kontrolcü tasarımı gerçekleştirilmiştir. MATLAB/Simulink ortamında, donanım kısıtlarına uygun ayrıklaştırılmış bir eylem uzayı ve enerji verimliliğini hedefleyen karesel bir ödül fonksiyonu ile eğitilen ajan, simülasyon testlerinde sarkacı düşey konumundan kaldırmış ve dikey denge konumunda başarıyla stabilize etmiştir. Çalışmanın özgün yanı, simülasyonda doğrulanan ajanın fiziksel deney düzeneğine entegrasyonu sırasında karşılaşılan "Simülasyondan Gerçeğe Geçiş" (Sim-to-Real Gap) probleminin deneysel olarak analiz edilmesidir. Simülasyon ortamında 20 ms örnekleme zamanı varsayımıyla mükemmel sonuç veren kontrolcü, gerçek donanım üzerinde Derin Sinir Ağı'nın hesaplama maliyeti ve veri iletim gecikmeleri nedeniyle kontrol döngüsünü ancak 80 ms sürede tamamlayabilmiştir. Bu gecikme, hızlı dinamiklere sahip sarkaç sisteminin kararsızlığa sürüklenmesine ve denge kaybına yol açmıştır. Elde edilen bulgular, DRL algoritmalarının gömülü sistemlerde uygulanabilirliği için hesaplama verimliliğinin ve donanım kısıtlarının eğitim sürecine dahil edilmesinin kritik önemini ortaya koymaktadır.