طراحی کنترل‌کننده تطبیقی بهینه بدون مدل برای باز پیکربندی آرایش پروازی ماهواره‌ها با یادگیری تقویتی

در این مقاله یک کنترل‌کننده تطبیقی بهینه بدون مدل برای باز پیکربندی آرایش پروازی ماهواره‌ها ارائه می‌شود. باز پیکربندی آرایش پروازی ماهواره‌ها، یک قابلیت مهم برای دستیابی به اهداف ماموریت‌های آرایش پروازی ماهواره‌ها است. به دلیل پیچیدگی استخراج یک مدل ریاضی دقیق و همچنین حضور اغتشاشات مداری و نامعینی‌ها طراحی یک کنترل‌کننده بهینه امری دشوار است. در این کار، ابتدا یک کنترل‌کننده بهینه بر مبنای یک تابع هزینه تعمیم‌یافته تخفیف‌یافته استخراج می‌شود. سپس پایداری آن با استفاده از روش لیاپانوف به اثبات می‌رسد. این کنترل‌کننده برای آنکه قابلیت پیاده‌سازی بروی کامپیوتر‌های ماهواره را داشته باشد، به صورت دیجیتالی طراحی شده است. سپس با استفاده از روش‌های یادگیری تقویتی، الگوریتمی برای حل مسئله ارائه می‌شود. این الگوریتم قادر است تا مسئله ردیابی باز پیکربندی آرایش پروازی ماهواره‌ها را به صورت بر-خط و بدون نیاز به مدل حل کند. در انتها، کارایی روش پیشنهادی در یک سناریو ماموریتی بازپیکربندی آرایش پروازی ماهواره‌ها، صحه‌گذاری می‌شود.

model-free adaptive optimal control of spacecraft formation flying reconfiguration using q-learning

this paper investigates an optimal adaptive controller based on reinforcement learning while considering orbital perturbations. the controller can achieve mission goals, online without any model. reconfiguration capabilities provide great flexibility in achieving formation flying mission goals. in reconfiguration, it is desired that spacecrafts migrate from the current formation to a new formation, thus achieving mission goals. orbital perturbations, difficulties in extracting exact mathematical models, and unknown system dynamics make the optimal reconfiguration problem challenging. due to the digital nature of spacecraft computer systems, controllers have to be implemented digitally. accordingly, this paper introduces an adaptive optimal digital controller for a discounted generalized cost function. the stability of the proposed controller is proven by the lyapunov method. then, using the q-learning method, an algorithm is presented so that the controller can find the optimal control gains in a model-free fashion. finally, numerical simulations of a formation flying mission scenario, confirm the effectiveness of this method.