برنامه‌ریزی بهره‌برداری ریزشبکه‌ها مبتنی بر الگوریتم یادگیری تقویتی عمیق

در این مقاله، برنامه‌ریزی بهره‌برداری ریزشبکه‌ها مشتمل بر منابع تولید انرژی و سیستم‌های ذخیره انرژی مبتنی بر یادگیری تقویتی عمیق ارائه شده است. با توجه به خاصیت پویایی مسئله، ابتدا در قالب یک فرایند تصمیم‌گیری مارکوف متشکل از چهارتایی (حالت، اقدام، تابع احتمال انتقال و پاداش) فرمول‌بندی شده است. سپس، الگوریتم گرادیان استراتژی قطعی عمیق به‌منظور یادگیری استراتژی بهینۀ برنامه‌ریزی بهره‌برداری ریزشبکه با هدف کمینه کردن هزینه‌های بهره‌برداری ارائه شده است. این الگوریتم یک روش بی‌نیاز از مدل، مستقل از استراتژی و بر مبنای معماری عامل -نقاد است که می‌تواند به‌خوبی فضای حالت و اقدام مسئله را به‌صورت پیوسته مدل‌سازی و بر چالش بزرگ بودن ابعاد مسئله غلبه کند. به‌منظور ارزیابی الگوریتم ارائه‌شده، نتایج با الگوریتم یادگیری q عمیق و روش تحلیلی مقایسه شد. نتایج حاصل از شبیه‌سازی، کارایی الگوریتم گرادیان استراتژی قطعی عمیق ارائه‌شده را از جهت همگرایی، زمان اجرا و هزینۀ کل نشان دادند.

Operation Scheduling of MGs Based on Deep Reinforcement Learning Algorithm

: In this paper, the operation scheduling of Microgrids (MGs), including Distributed Energy Resources (DERs) and Energy Storage Systems (ESSs), is proposed using a Deep Reinforcement Learning (DRL) based approach. Due to the dynamic characteristic of the problem, it firstly is formulated as a Markov Decision Process (MDP). Next, Deep Deterministic Policy Gradient (DDPG) algorithm is presented to minimize total operational costs by learning the optimal strategy for operation scheduling of MG systems. This modelfree algorithm deploys an actorcritic architecture which can not only model the continuous state and action spaces properly but also overcome the curse of dimensionality. In order to evaluate the efficiency of the proposed algorithm, the results were compared with the analytical method and a Qbased learning algorithm which demonstrates the capability of the DDPG method from the aspects of convergence, running time, and total costs.