مسیریابی مبتنی بر یادگیری تقویتی q-learning با تابع پاداش ترکیبی در شبکه‌های کم‌مصرف و ناپایدار اینترنت اشیاء (llns)

شبکه‌های کم‌مصرف و ناپایدار در اینترنت اشیاء به دلیل محدودیت انرژی و عدم پایداری با چالش جدی در زمینه طراحی الگوریتم‌های مسیریابی و تعادل میان مصرف انرژی و تاخیر مواجه هستند. بسیاری از الگوریتم‌های پیشرفته مسیریابی به دلیل پیچیدگی محاسباتی و نیاز به منابع پردازشی بالا در محیط‌های lln مناسب نیستند. در این مقاله یک روش مسیریابی مبتنی بر یادگیری تقویتی q-learning با یک تابع پاداش ترکیبی ارائه شده است. هدف این مطالعه بهینه‌سازی همزمان معیارهای کلیدی شبکه از جمله تحویل بسته، مصرف انرژی، تاخیر انتها به انتها و پایداری لینک‌ها می‌باشد. این الگوریتم با ویژگی‌های خاص llnها مانند لینک‌های ناپایدار، انرژی محدود گره‌ها و توپولوژی پویا سازگار شده است. علاوه بر آن، مکانیزم fallback برای مدیریت خرابی لینک و مسیرهای جایگزین اضافه شده است تا قابلیت اطمینان شبکه افزایش یابد. نتایج شبیه‌سازی نشان می‌دهد که پروتکل پیشنهادی در مقایسه با پروتکل‌ rpl نرخ تحویل بسته بالاتر، تاخیر کمتر و مصرف انرژی پایین‌تری دارد. همچنین توانایی حفظ طول عمر شبکه را نیز بهبود می‌بخشد. این مطالعه نشان می‌دهد که الگوریتم‌های مبتنی بر یادگیری تقویتی با طراحی مناسب می‌توانند کارایی شبکه‌های lln اینترنت اشیاء را به طور چشمگیری ارتقاء دهند.