ناوبری خود مختار پهپاد در گذرگاه‌های باریک بدون سامانه موقعیت‌یابی جهانی با یادگیری تقویتی عمیق

هواپیمای بدون سرنشین (پهپاد) به دلیل هزینه‌های عملیاتی پایین و انعطاف‌پذیری بالا، در زمینه‌هایی نظیر نقشه‌برداری، جستجو و نجات، نظارت و اکتشاف کاربرد گسترده‌ای یافته‌اند. با این وجود، ناوبری کارآمد و عبور موفق از گذرگاه‌های باریک در محیط‌های پیچیده، بدون استفاده از حسگرهای گران‌قیمت همچنان یک چالش اساسی محسوب می‌شود. تحقیقات پیشین اغلب به استفاده از حسگرهای پیشرفته یا روش‌های غیربهینه مبتنی بوده‌اند که عملکرد ضعیفی در شرایط متغیر محیطی نشان می‌دهند. این رویکردها برای جلوگیری از تشخیص نادرست موانع و بهبود قابلیت اطمینان و ایمنی بر چندین حسگر مانند فراصوت، مادون‌قرمز، لیدار و دوربین تکیه می‌کنند. این روش‌ها به دلیل نیاز به پردازش حجم زیادی از داده‌ها، دارای سربار محاسباتی بالا هستند و عملکرد آن‌ها در شرایط محدودیت منابع بهینه نیست. علاوه بر این، این روش‌ها معمولاً از قابلیت تعمیم‌پذیری کافی برخوردار نیستند. از طرف دیگر، رویکردهای برنامه‌ریزی مسیر نظیر روش‌های مبتنی بر جستجو در گراف، میدان پتانسیل و مبتنی بر نمونه‌برداری، علی‌رغم تحلیل‌پذیری، در تطبیق با تغییرات مدل یا محیط دچار چالش می‌شوند و به مکان‌های‌ مقیاس کوچک محدود می‌شوند و برای کاربردهای دنیای واقعی دقت کافی ندارند. به همین منظور، در این مقاله یک سامانه ناوبری خودمختار مبتنی بر یادگیری تقویتی عمیق و استفاده از تصاویر عمقی ارایه شده است. در این روش، مسئله تصمیم‌گیری به‌عنوان یک فرآیند تصمیم‌گیری مارکوف مدل‌سازی می‌شود تا پهپاد با اتکا به اطلاعات کنونی قابلیت تصمیم‌گیری را داشته باشد. همچنین، از شبکه‌های عصبی هم‌آمیختی برای استخراج ویژگی‌های بصری از تصاویر عمقی استفاده می‌شود. برای اتخاذ یک سیاست تصمیم‌گیری مناسب، از الگوریتم بهینه‌سازی سیاست تقریبی برای آموزش مدل بهره گرفته شده است. سامانه پیشنهادی در یک محیط شبیه‌سازی‌شده واقع‌گرایانه آزمایش شده و عملکرد آن مورد ارزیابی قرار گرفته است. نتایج آزمایش‌ها نشان می‌دهد که روش پیشنهادی توانسته است با 85 درصد موفقیت و 15 درصد میزان برخورد، مسیر گذرگاه‌های باریک را طی کند و با 17 درصد بهبود، عملکرد بهتری نسبت به روش‌های قیاس شده مرجع ارایه دهد. علاوه بر این، افزایش مداوم پاداش در طول فرآیند آموزش، کاهش بار محاسباتی و قابلیت تعمیم‌پذیری به شرایط محیطی مختلف، نظیر تغییر در پیکربندی محیط یا شکل گذرگاه‌ها، از دیگر مزایای این روش به شمار می‌روند. رویکرد پیشنهادی در آزمایش‌های تعمیم‌پذیری توانسته موفقیت 100 درصد را کسب کند. این رویکرد می‌تواند به‌عنوان یک راهکار مقرون‌به‌صرفه و کارآمد به‌ویژه در شرایطی که استفاده از حسگرهای گران‌قیمت امکان‌پذیر نیست مورد استفاده قرار گیرد.