برون‌سپاری محاسبات غیرمتمرکز مبتنی بر یادگیری تقویتی عمیق چندعامله در رایانش لبه همراه

پشتیبانی از برنامه های کاربردی حساس به تاخیر و نیازمند محاسبات سنگین برای دستگاه های همراه با ظرفیت باتری محدود و منابع محاسباتی کم به سختی امکان پذیر است. توسعه فناوری های رایانش لبه همراه و انتقال توان بی سیم به دستگاه های همراه امکان می دهند تا وظایف محاسباتی خود را به سرورهای لبه برون سپاری کنند و انرژی را برای افزایش طول عمر باتری خود برداشت کنند. با این حال برون سپاری محاسبات با چالش هایی مانند منابع محاسباتی محدود سرور لبه، کیفیت کانال ارتباطی موجود و زمان محدود برای برداشت انرژی مواجه است. ما در این مقاله مسئله مشترک برون سپاری محاسبات و تخصیص منابع غیرمتمرکز را در محیط پویای رایانش لبه همراه مطالعه می کنیم. برای این منظور یک طرح برون سپاری مبتنی بر یادگیری تقویتی عمیق چندعامله را پیشنهاد می دهیم که همکاری بین دستگاه های همراه را برای تنظیم استراتژی هایشان در نظر می گیرد. به طور خاص، ما یک نسخه بهبودیافته الگوریتم گرادیان سیاست قطعی عمیق چندعامله را با به کارگیری ویژگی های clipped double q-learning، به روزرسانی با تاخیر سیاست، هموارسازی سیاست هدف و بازپخش تجربه اولویت بندی شده پیشنهاد می دهیم. نتایج شبیه سازی نشان می دهند طرح برون سپاری پیشنهادی، عملکرد همگرایی بهتری نسبت به سایر روش ها دارد و همچنین میانگین مصرف انرژی، میانگین تاخیر پردازش و نرخ شکست وظیفه را کاهش می دهد.

multi-agent deep reinforcement learning-based decentralized computation offloading in mobile edge computing

it is hardly possible to support latency-sensitive and computational-intensive applications for mobile devices with limited battery capacity and low computing resources. the development of mobile edge computing and wireless power transfer technologies enable mobile devices to offload computing tasks to edge servers and harvest energy to extend their battery lifetime. however, computation offloading faces challenges such as the limited computing resources of the edge server, the quality of the available communication channel, and the limited time for energy harvesting. in this paper, we study the joint problem of decentralized computation offloading and resource allocation in the dynamic environment of mobile edge computing. to this end, we propose a multi-agent deep reinforcement learning-based offloading scheme that considers the cooperation between mobile devices to adjust their strategies. to be specific, we propose an improved version of the multi-agent deep deterministic policy gradient algorithm by employing the features of clipped double q-learning, delayed policy update, target policy smoothing, and prioritized experience replay. the simulation results reveal that the proposed offloading scheme has better convergence performance than other baseline methods and also reduces the average energy consumption, average processing delay and task failure rate.