کنترل عمق عملیاتی ربات زیرسطحی auv با روش یادگیری تقویتی (rl)

امروزه استفاده از روش های پیشرفته برای کنترل حرکات ربات های زیرسطحی سبب بهبود راندمان و افزایش کیفیت عملیات آن ها شده است. در این پژوهش با استفاده از روش یادگیری تقویتی برای حرکت عمقی ربات های auv روشی توسعه داده شده است که براساس معیار پاداش الگوی حرکت ربات را یاد گرفته و براساس آن بهترین تصمیم را برای حرکت و کنترل سطوح کنترلی اتخاذ می کند. کنترل حرکت عمقی براساس یادگیری تقویتی سبب بهبود عملکرد ربات میگردد و بهینه ترین سیگنال کنترلی را براساس شرایط لحظه ای ربات و پاداش ها اتخاذ می کند. در این پژوهش از مدل دینامیکی خطی حرکت پیچ برای توسعه مدل حرکت عمقی استفاده شده است. برای هر هدف مطلوب 500 مرتبه سناریو تکرار می شود تا در حین شبیه سازی ماتریس q به روزرسانی شود. در ادامه با ارائه پاداش به هر سیگنال مقدار مطلوب مشخص می گردد. پس از پایان سناریو، با انتخاب مقدار بهینه از ماتریس q، مقدار سیگنال کنترلی برای بالک مشخص می گردد. نتایج نشان داد که استفاده از روش یادگیری تقویتی کمک شایانی به کیفیت سیستم کنترل ربات های auv می کند تا جایی که مقدار فرارفت و نوسان کمی در عملکرد مشاهده شد.

depth control of an auv robot using reinforcement learning (rl)

nowadays, the use of advanced methods for controlling the movements of underwater robots has led to improved efficiency and enhanced operational quality. in this research, a method based on reinforcement learning has been developed for the depth control of auv robots. this method learns the robot’s movement pattern based on a reward criterion and makes the optimal decision for motion and control surface adjustments accordingly. depth control using reinforcement learning improves the robot’s performance and selects the most optimal control signal based on the robot’s conditions and rewards. in this study, a linear dynamic model of pitch motion was used to develop the depth control model. for each desired state, the scenario is repeated 500 times to update the q-matrix during simulation. subsequently, by assigning rewards to each signal, the optimal value is determined. after completing the scenario, the optimal value from the q-matrix is selected to determine the control signal for the fin. the results showed that the use of reinforcement learning significantly enhances the quality of the auv robot’s control system, resulting in minimal overshoot and oscillation in performance.