استفاده از یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفرههای پوشش در شبکه های حسگر بیسیم

در شبکه های حسگر بیسیم، ناهنجاریهای مختلفی ممکن است ایجاد شود و قابلیت اطمینان و کارایی شبکه را کاهش دهد. یکی از این ناهنجاری ها، حفره پوشش است که به دلایل مختلفی مانند استقرار تصادفی گره های حسگر در محیط، حوادث آسیب رسان محیطی، تخلیه باتری حسگرها، خرابیهای سختافزاری، اشکالات نرم افزاری و حملات امنیتی در شبکه، ممکن است ایجاد شود. در شبکه های حسگر بیسیم، انواع چالشهای فنی باید شناسایی شود و واکنش مناسب به هریک از آنها داده شود. استفاده از روشهای قدیمی به منظور پاسخگویی مناسب به چنین چالشهای پویایی، عمدتا سخت است. یکی از این راهحلها به منظور رفع چالش ها، استفاده از روشهای یادگیری تقویتی است. یادگیری کیو یکی از روش-های یادگیری تقویتی است که مبتنی بر فرآیندهای تصمیم گیری مارکوف است. فرآیندهای تصمیم گیریمارکوف، یک مدل تصمیم گیری در محیط های گسسته، تصادفی و متوالی است. ماهیت مدل این استکه، یک تصمیم گیرنده یا عامل در محیطی زندگی می کند که حالت خود را به طور تصادفی در پاسخ به انتخابهای تصمیم گیرنده، تغییر میدهد، هدف عامل این است که اقداماتی را انجام دهد تا معیار پاداش خود را به حداکثر برساند. در این مقاله، از روش یادگیری کیو مبتنی بر فرآیندهای تصمیم گیری مارکوف به منظور تشخیص و بازیابی حفرههای پوشش در شبکه های حسگر بیسیم استفاده کردیم. ما روشپیشنهادی خود را با نرم افزار 2ns شبیه سازی کردیم و سپس نتایج شبیه سازی را با روش پایه یادگیری کیو مبتنی بر نظریه بازی به منظور تشخیص و بازیابی حفرههای پوشش در شبکههای حسگر بیسیم،مقایسه کردیم و نتایج شبیه سازی نشان داد که روش پیشنهادی ما از نظر میانگین تعداد حفرههای ایجاد شده، میانگین تعداد تصمیم گیریهای اشتباه توسط گرههای حسگر در حین فرایند یادگیری، میانگینزمان موردنیاز برای بازیابی حفره ها، میانگین زمان همگرایی، میانگین مصرف انرژی و در نتیجه طول عمر شبکه، نسبت به روش پایه، بهبود داشته است