کنترل هوشمند میکروربات به منظور ناوبری روی سطح سیال و شبیه‌ سازی کاربرد آن برای از بین بردن میکروپلاستیک‌ها

در سال‌های اخیر میکروپلاستیک‌های موجود در مواد غذایی و آشامیدنی به یک معضل جهانی تبدیل شده‌اند. میکروربات‌های مغناطیسی به‌عنوان یک رویکرد نوین در حل این مشکل، پتانسیل خوبی برای جداسازی و از بین بردن میکروپلاستیک‌ها نشان داده‌اند. بااین‌حال، هدایت و ناوبری خودکار، هوشمند و دقیق میکروربات‌ها برای اجرای چنین وظایفی، همچنان یک چالش اصلی محسوب می‌شود. روش‌های مرسوم برای دستیابی به چنین سطحی از کنترل، اغلب به مدل‌سازی‌های پیچیده‌ای از دینامیک میکروربات، محیط و سیستم تحریک نیاز دارند. به‌عنوان یک رویکرد جایگزین، در این پژوهش یک سیستم ‌کنترل مبتنی بر الگوریتم‌ یادگیری تقویتی عمیق بدون مدل برای کنترل میکروربات مغناطیسی روی سطح سیال ارائه شد. هدف سیستم، آموزش میکروربات برای هدایت آن از یک نقطه در محیط واقعی به سمت موقعیت هدف بود تا فرآیند ناوبری به سوی موقعیت میکروپلاستیک شناور روی سطح سیال شبیه‌سازی شود. برای کنترل موقعیت میکروربات، یک سیستم تحریک مغناطیسی شامل دو آهنربای ثابت و یک سیم‌پیچ هلمهولتز تک‌محوره ساخته شد. نتایج آموزش میکروربات نشان داد که میکروربات توانست با دقت و سرعت بالایی به موقعیت هدف برسد. نتایج ارزیابی مدل آموزش‌یافته نیز حاکی از موفقیت میکروربات در رسیدن به نقطه هدف با میانگین پاداش 39.02 از 40، و انحراف معیار 0.71 در تمام اپیزودها بود. این نتایج نشان می‌دهد که سیستم کنترل مبتنی بر الگوریتم یادگیری بدون داشتن هیچ‌گونه دانش قبلی از دینامیک محیط یا سیستم تحریک، یک سیاست بهینه را با استفاده از تعامل با محیط برای هدایت میکروربات کشف کرد.

smart control of a microrobot for navigation on fluid surface and simulation of its application in microplastics removal

microplastic contamination of food and beverages has become a global concern in recent years. as a novel approach, magnetic microrobots offer promising potential to address microplastic separation and degradation. however, achieving precise, intelligent, and automated navigation control for microrobots in such tasks remains a significant challenge. this level of control is typically achieved by modeling the complex dynamics of microrobots, the environment, and the actuation system. in this study, an alternative approach was presented using a model-free deep reinforcement learning algorithm (drl) to navigate a magnetic microrobot on fluid surfaces. in order to simulate the process of reaching a microplastic particle on the fluid surface, the drl system was implemented to train the microrobot to autonomously navigate from an initial position within the real-world environment to a specified target position. a magnetic actuation system based on two permanent magnets and one-axis helmholtz coils was constructed to manipulate the position of the microrobot. during the training phase, the microrobot demonstrated high accuracy and speed in achieving the desired position. the evaluation results of the trained model also confirmed the microrobot’s success in all episodes, with an average reward of 39.02 out of 40 and a standard deviation of 0.71. these findings indicate that the control system could effectively learn an optimal policy by employing drl without any prior knowledge of environmental dynamics or the actuation system.