طراحی و تنظیم سامانه کنترل پهپاد مبتنی بر الگوریتم یادگیری تقویتی عمیق

تحلیل دینامیک پهپاد به دلیل تغییر ماموریت در محیط شامل عدم قطعیت، پیچیده و غیردقیق می‌باشد. در این پهپاد علاوه بر شرایط محیطی، به دلیل اختصاص عملگرهای مشترک برای کنترل، تداخل در کانال‌ها ایجاد می‌گردد. در این تحقیق با معرفی دینامیک غیر خطی پهپاد، ناگزیر با انجام ساده‌سازی مدل خطی شده تقریبی استخراج شده‌است. در این مقاله با قیود عملکردی مشخص شده، برای ردیابی زاویه فراز و غلت و همچنین مهار سرعت‌های زاویه‌ای کنترل‌گر کلاسیک طراحی می‌شود. این کنترل‌گرها چون برای تابع تبدیل تقریبی و شرایط بدون حضور عدم قطعیت طراحی می‌شوند، لذا در تمامی وضعیت‌ها و اغتشاش‌ها لزوما رفتار مناسبی ندارند. هدف از این مقاله ارائه روشی برای اصلاح اثر مدل‌سازی غیر دقیق و عدم قطعیت‌ در طراحی سامانه کنترلی کلاسیک است. روش پیشنهادی استفاده از یادگیری تقویتی برای اصلاح ضرایب کنترل‌گر است. محاسبات به صورت خارج از خط صورت گرفته و پس از یادگیری و در فرایند کاری، نتیجه به صورت بهره‌های اصلاحی به کنترل‌گر کلاسیک اعمال می‌گردند. نتایج تحقیق نشان از افزایش حداقل 20 درصدی در متوسط پاداش دریافتی و کاهش سه برابری در تعداد شبیه‌سازی‌های ناپایدار و یا شبه پایدار دارد. به عبارت دیگر قابلیت اطمینان در عملکرد پهپاد افزایش می‌یابد.

design and tuning of a uav control system based on deep reinforcement learning algorithms

dynamic analysis of uavs becomes complex and imprecise due to mission changes in uncertain environments. in this uav, besides environmental conditions, shared actuators used for control introduce interference across control channels. in this study, the nonlinear dynamics of the uav are first introduced, and an approximate linearized model is derived through simplification. based on this model, classical controllers are designed under specified performance constraints for pitch and roll angle tracking, as well as for damping angular velocity. however, since these controllers are designed based on approximate transfer functions and under nominal conditions without uncertainty, they may not perform adequately in all situations and disturbances. the main objective of this paper is to propose a method to compensate for modeling inaccuracies and uncertainties in classical control system design. the proposed method employs reinforcement learning to adjust controller parameters. the training process is conducted offline, and the learned corrective gains are then integrated into the classical controller during operation. the results demonstrate at least a 20% increase in the average cumulative reward and a threefold reduction in the number of unstable or quasi-stable simulations, thereby improving the uav’s reliability and performance.