کاربرد یادگیری تقویتی در جهت یابی حرکت سرپنتین ربات مارمانند

هدف این مقاله هدایت و کنترل ربات مارمانند با استفاده از یادگیری تقویتی (reinforcement learning) می باشد. این مقاله به مدل‌سازی و شبیه سازی ربات مارمانند می‌‌پردازد و سپس نتایج آن را روی ربات واقعی پیاده‌سازی می‌نماید. در ابتدا معادلات دینامیک یک ربات مارمانند با n عضو (link) در حرکت سرپنتین (serpentine locomotion) با استفاده از روش گیبس-اپل (gibbs-appell) به‌صورت ساده، جامع و کارآمد به‌دست آمده است. روش ارایه شده در این مطالعه حجم محاسبات برای دینامیک ربات مارمانند را تا حد قابل توجهی نسبت به‌کارهای پیشین کاهش می دهد. سپس مدل فیزیکی ربات در نرم‌افزار سیم مکانیک (simmechanics) مدل‌سازی گشته و از آن برای تایید معادلات دینامیک استفاده شده است. در این مقاله از یادگیری q (q learning) برای آموزش ربات مارمانند و جهت یابی آن استفاده شده است. هم‌چنین تاثیر پارامترهای منحنی سرپنوید و منحنی بدن مار روی سرعت یادگیری بررسی شده است. نتایج نشان می‌دهند پارامترهای فیزیکی که شکل ربات مار را تغییر نمی دهند، بر روی یادگیری ربات تاثیر محسوسی نمی گذارند. در انتها، نرم‌افزار شبیه‌سازی وباتس و ربات مارمانند fum-snake ii برای تصدیق نتایج حاصل از یادگیری به‌کار گرفته شده است. نتایج به‌دست آمده از ربات آزمایشگاهی نشان می دهد که مسیر حرکت این ربات پس از یادگیری به روش q، با مسیر پیش‌بینی شده توسط حل‌ دینامیکی پیشنهادی و نتایج شبیه‌سازی در نرم‌افزار وباتس همگی دارای مطابقت خوبی می باشند.