کنترل به روش یادگیری تقویتی پاندول معکوس چهار درجه آزادی

در این مقاله کنترلر خطی درجه دوم (lqr) مقاوم با استفاده از روش یادگیری تقویتی برای پاندول معکوس چهار درجه آزادی طراحی شده است. سیستم ارائه شده متشکل از یک پاندول معکوس چهار درجه آزادی و یک جرم متمرکز در انتهای آن می باشد. ابتدای پاندول در صفحه xy توانایی حرکت در جهت های x و y را دارد. برای کنترل دو زاویه پاندول معکوس، دو نیروی صفحه ای در جهت های x و y به پایین پاندول وارد می شود. معادلات مدل حاکم بر سیستم با استفاده از روش لاگرانژ استخراج شده اند و سپس یک کنترلر lqr مقاوم بر اساس روش یادگیری تقویتی برای این مسئله طراحی شده است. پاندول برای بازه ای از زاویه ها مختلف ، طول ها و جرم های مختلف آموزش داده شده است. نامعینی های پارامتری به صورت طول و جرم های مختلف پاندول معکوس و اغتشاشات به صورت نیرو های ضربه ای و متغیر با زمان اعمال شده به پاندول تعریف شده است. پس از یادگیری کنترلر، کنترلر یادگیر می تواند به صورت آنلاین برای بازه ای متفاوت از طول و جرم که قبلا آموزش نیافته و در برابر اغتشاشات پیوسته و ضربه ای که به سیستم اعمال می شود سیستم را کنترل کند. نتایج عددی نشان دهنده عملکرد خوب کنترلر یادگیر در حضور نامعینی های ساختاری و پارامتری، اغتشاشات ضربه ای و پیوسته و نویز سنسورها می باشد.

Reinforcement learning control of four degree of freedom inverted pendulum

In this paper, a robust linear quadratic regulator (LQR) based Reinforcement learning method is designed for a four degree of freedom inverted pendulum. The considered system contains a four degree of freedom inverted pendulum with a concentrated mass at the tip of it. The bottom of inverted pendulum is moved in xy plane in x and y directions. For tracking control of two angles of inverted pendulum, two plane forces are applied in x and y directions at the bottom of pendulum. The governing equations of the system are derived using the Lagrange method and then a robust linear quadratic regulator (LQR) based Reinforcement learning controller is designed. The inverted pendulum is learned for a range of different angles, different lengths and different masses. The parametric uncertainties are defined as various lengths and masses of inverted pendulum and the disturbances are defined as impact and continuous forces which are applied on the inverted pendulum. After learning, the controller can learn online the system for any arbitrary angle, length, mass or disturbance which are not learned in the defined range. Numerical results show that the good performance of the reinforcement learning controller for the inverted pendulum in the presence of structural and parametric uncertainties, impact and continuous disturbances and sensor noises.