بهینه‌سازی تخصیص منابع مه در اینترنت اشیا با رویکرد یادگیری تقویتی عمیق

محاسبات مه یک پارادایم نوظهور است که مفهوم ابر را تا لبه گسترش می دهد. این پارادایم، منابع محاسباتی، ذخیره سازی، کنترل و قابلیت‌های شبکه را برای تحقق برنامه‌های کاربردی اینترنت اشیا فراهم می‌کند. در مفهوم محاسبات مه، دستگاه‌های اینترنت اشیا، داده ها و محاسبات پیچیده را به گره‌های مه در اطرافشان بارگذاری می‌کنند. در این مقاله، به مسئله‌ی تخصیص بهینه منابع محدود گره‌های مه به برنامه‌های اینترنت اشیا می‌پردازیم. در واقع، مسئله‌ی تخصیص منابع را می ‌توان به صورت یک سیستم تصمیم‌گیری آنلاین در نظر گرفت که در آن گره‌های مه باید تصمیم بگیرند که آیا درخواست‌های دریافتی از دستگاه‌های اینترنت اشیا را به صورت محلی پردازش کنند یا آن‌ها را به گره‌های ابر در فواصل دور فرستند. رویکرد‌های کنونی برای تخصیص منابع مه از انطباق پذیری کافی در محیط‌های دارای نویز و عدم قطعیت برخوردار نیستند. به همین منظور، وجود الگوریتم‌های متکی به یادگیری در این حوزه امری ضروری است. در این مقاله، در مرحله‌ی اول مسئله تخصیص منابع مه به عنوان یک فرایند تصمیم گیری مارکوف مدل‌سازی شده است. سپس روشی بر پایه‌ی رویکرد یادگیری تقویتی عمیق جهت حل این مسئله پیشنهاد شده است. در واقع، بر اساس الگوریتم گرادیان سیاست، گره‌های مه یاد می‌گیرند که چگونه وظایف iot را به روشی بهینه برنامه‌ریزی کنند.روش پیشنهادی با رویکرد غیر یادگیری مقایسه شده است که در آن وظایف بر اساس طول اجرایشان و بدون در نظر گرفتن اولویت وظایف، به گره‌های مه تخصیص داده می‌شوند. نتایج به‌دست‌آمده با توجه به پاداش تجمعی در طول فرایند اجرای الگوریتم پیشنهادی، حاکی از یادگیری سیاست تخصیص منابع به‌صورت برخط است. این امر منجر به بهبود معیارهای میانگین تاخیر و میانگین تاخیر در شرایط سخت برای سیستمی با اولویت‌‌های مختلف وظایف، در مقایسه با روش غیر یادگیری می‌شود.

Optimization of fog resource allocation in IoT using Deep Reinforcement Learning

Fog computing is an emerging paradigm that extends the cloud concept to the edge. It provides computing, storage, control, and networking capabilities for realizing the Internet of Things (IoT) applications. In the fog computing concept, the IoT devices offload its data or computationally expensive tasks to the fog nodes within its proximity, instead of distant cloud. In this paper, we address the problem of optimal allocating the limited resources of fog nodes to the IoT applications. Current approaches of fog resource allocation are not sufficiently adaptable in noisy and uncertain environments. Using learning-based algorithms is therefore essential. Resource allocation problem can be considered as an online decision-making system where fog nodes should decide whether processing locally the receiving requests from IoT devices or sending them to distant cloud nodes. We model the fog resource allocation problem as a Markov decision process and solve it by the Deep reinforcement learning approach. Based on policy-gradient algorithm, fog nodes learn how to schedule the IoT tasks in an optimal way. The proposed method is compared with the non-learning approach in which tasks are assigned to fog nodes based on their length and without the consideration of task priority. The obtained results, according to the cumulative reward during the implementation process of the proposed algorithm, indicate that the resource allocation policy has been learned online. This improves the average slowdown and average slowdown in difficult conditions for a system with different task priorities, when compared to the non-learning method.