انتقال دانش تنظیم شده برای یادگیری تقویتی چندعاملی

یادگیری تقویتی به آموزش مدل‌های یادگیری ماشین برای اتخاذ تصمیمات متوالی اشاره می کند که در آن یک عامل از طریق تعامل با محیط، آموزش دیده، نتایج این تعامل را مشاهده کرده و بر این اساس، پاداش مثبت یا منفی دریافت می کند. یادگیری تقویتی کاربردهای زیادی برای سیستم های چند عاملی به خصوص در محیط های پویا و ناشناخته دارد. با این حال، اکثر الگوریتم های یادگیری تقویتی چند عاملی با مشکلاتی همچون پیچیدگی محاسباتی نمایی برای محاسبه فضای حالت مشترک مواجه هستند که منجر به عدم مقیاس پذیری الگوریتم ها درمسائل چند عاملی واقعی می شود. کاربردهای یادگیری تقویتی چند عاملی را می توان از فوتبال ربات‌ها، شبکه ها، محاسبات ابری، زمانبندی شغل تا اعزام نیروی واکنشی دسته بندی کرد. در این مقاله یک الگوریتم جدید به نام انتقال دانش تنظیم‌شده برای یادگیری تقویتی چند عاملی (rkt-marl) معرفی می شود که براساس مدل تصمیم گیری مارکوف کار می کند. این الگوریتم برخلاف روش های یادگیری تقویتی سنتی، مفاهیم تعاملات پراکنده و انتقال دانش را برای رسیدن به تعادل بین عامل ها استفاده می کند. علاوه بر این، rkt-marl از مکانیزم مذاکره برای یافتن مجموعه تعادل و از روش حداقل واریانس برای انتخاب بهترین عمل در مجموعه تعادل به دست آمده استفاده می کند. همچنین الگوریتم پیشنهادی، دانش مقادیر حالت-عمل را در میان عامل های مختلف انتقال می دهد. از طرفی، الگوریتم rkt-marl مقادیر q را در حالت های هماهنگی به عنوان ضریبی از اطلاعات محیطی جاری و دانش قبلی مقداردهی می کند. به منظور ارزیابی عملکرد روش پیشنهادی، یک گروه از آزمایشات بر روی پنج بازی جهانی انجام شده و نتایج حاصل بیانگر همگرایی سریع و مقیاس پذیری بالا در rkt-marl است.

regularized knowledge transfer for multi-agent reinforcement learning

reinforcement learning (rl) refers to the training of machine learning models to make a sequence of decisions on which an agent learns by interacting with its environment, observing the results of interactions and receiving a positive or negative reward, accordingly. rl has many applications for multi-agent systems, especially in dynamic and unknown environments. however, most multi-agent reinforcement learning (marl) algorithms suffer from some problems specifically the exponential computational complexity to calculate the joint state-action space, which leads to the lack of scalability of algorithms in realistic multi-agent problems. applications of marl can be categorized from robot soccer, networks, cloud computing, job scheduling, and to optimal reactive power dispatch.in the area of reinforcement learning algorithms, there are serious challenges such as the lack of application of equilibrium-based algorithms in practice and high computational complexity to find equilibrium.  on the other hand, since agents have no concept of equilibrium policies, they tend to act aggressively toward their goals, which it results the high probability of collisions.consequently, in this paper, a novel algorithm called regularized knowledge transfer for multi-agent reinforcement learning (rkt-marl) is presented that relies on markov decision process (mdp) model. rkt-marl unlike the traditional reinforcement learning methods exploits the sparse interactions and knowledge transfer to achieve an equilibrium across agents. moreover, rkt-marl benefits from negotiation to find the equilibrium set. rkt-marl uses the minimum variance method to select the best action in the equilibrium set, and transfers the knowledge of state-action values across various agents. also, rkt-marl initializes the q-values in coordinate states as coefficients of current environmental information and previous knowledge. in order to evaluate the performance of our proposed method, groups of experiments are conducted on five grid world games and the results show the fast convergence and high scalability of rkt-marl. therefore, the fast convergence of our proposed method indicates that the agents quickly solve the problem of reinforcement learning and approach to their goal.