طراحی مسیر فضاپیمای تراست پایین از مدار لئو به ژئو با استفاده از یادگیری تقویتی

در فاز اولیه طراحی ماموریت‌های فضایی، انتخاب دقیق مسیر فضاپیما از اهمیت بالاتری برخوردار است. در این  پژوهش، دینامیک انتقال مداری تراست پایین دایروی صفحه‌ای بر اساس معادلات دیفرانسیل اعتدالی به‏عنوان محیط پیوسته برای متغیرهای مسئله که شش عنصر مداری اعتدالی یک فضاپیما هستند، شبیه‏سازی می‏شود.  بردار رانش به عنوان فضای عمل تعریف شده و تحت یک سیاست انتخاب و به محیط اعمال می‌شود. عامل توسط الگوریتم یادگیری تقویتی شبکه بازیگر-منتقد برای انجام انتقال مداری تراست پایین از مدار لئو به مدار ژئو آموزش داده می‌شود. مسیر فضاپیما توسط الگوریتم مطابق با شرایط اولیه و قیود ماموریت جستجو می‌شود و در نهایت، پروفیل زاویه تراست مطلوب و تغییرات عناصر مداری مرتبط برای یک حالت مانور انتقال مداری به دست خواهند آمد. برای بررسی دقت و اعتبار الگوریتم در نتایج حالت اول مانور مداری، حالت دوم با اندازه تراست متفاوت پیاده سازی می شود. همچنین تاثیر تغییر فراپارمتر ضریب تنزل الگوریتم بر روند یادگیری نیز بررسی می‌شود. در نهایت با در نظر گرفتن نتایج، عامل آموزش دیده در محیط دینامیک مسئله می‏تواند ماموریت‏های مشابه را بدون نیاز به شبیه‏سازی مجدد دینامیک مسئله و پارامترهای آن و فقط با تعیین شرایط اولیه و نهایی، با موفقیت به انجام برساند

low-trust trajectory design from leo to geo using reinforcement learning

in this paper, in the preliminary phase of space mission design, the selection of the spacecraft’s trajectory is critical. this study simulates the dynamics of low-thrust orbital transfers within a two-dimensional orbital plane, employing a set of ordinary differential equations to represent the continuum of the spacecraft’s orbital elements. these elements are encapsulated by six orbital parameters, manipulated under a defined thrust vector strategy within the action space, adhering to a specified policy framework. an agent, trained via a reinforcement learning algorithm within an actor-critic network architecture, is tasked with executing a low-thrust transfer between low earth orbit (leo) and geostationary orbit (geo). the algorithm dynamically adjusts the spacecraft’s trajectory, informed by initial orbital conditions and mission-specific constraints, to derive an optimal thrust angle trajectory and corresponding adjustments in orbital elements for the maneuver. to validate the algorithm’s efficacy and robustness, a comparative analysis is conducted by implementing an alternative transfer mode at a varied orbital altitude. additionally, the study explores the impact of adjusting the algorithm’s degradation coefficient hyperparameter on the learning efficacy. conclusively, the findings suggest that the agent, once adequately trained within the specified dynamical model, is capable of autonomously executing analogous orbital transfers. this is achieved without necessitating reiteration of the dynamical simulations, contingent solely upon the stipulation of initial and terminal orbital parameters