افزایش سودآوری بازار شبکه های هوشمند برق با تکنیک یادگیری تقویتی عملگر نقاد

بازار شبکه‌های هوشمند برق پیچیده و پویاست. کارگزاران که واسطه‌گران فروش برق بین خرده‌فروشی‌ها و عمده‌فروشی‌ها هستند به‌صورت گسترده‌ای در بازارهای جدید شبکه‌های هوشمند به کار گرفته می‌شوند. به‌علت پیچیدگی و توزیع‌شدگی ذاتی بازار در شبکه‌های هوشمند رویکردهای استفاده از سیستم‌های چندعامله برای حل مسائل آن مناسب است. در این رویکردها می‌توانیم عامل‌های خودمختاری داشته باشیم که به‌صورت بیست و چهار ساعته درحال تبادل اطلاعات با دیگر عامل‌ها هستند. این عامل‌ها با چالش های اساسی شامل الگوی مصرف متنوع مشتریان، تغییر قیمت با توجه به الگوی مصرف مشتریان و میزان مصرف برق در طول شبانه روز مواجه‌اند. هدف ما در این مقاله این است که ضمن مدل کردن اجزای بازار برق با سیستم‌های چندعامله، با ارائه روشی مبتنی بر یادگیری عامل‌ها سودآوری در بازار شبکه های برق را افزایش دهیم. در روش پیشنهادی ابتدا مساله تنوع مصرف مشتریان را با انجام یک روش خوشه‌بندی متوالی مناسب داده های سری زمانی پردازش می‌کنیم. سپس برای هر گروه خوشه‌بندی شده به صورت مجزا یک روش یادگیری تقویتی سیاست فعال با عنوان یادگیری تقویتی عملگر نقاد به کار می‌بریم. درنهایت تاثیر تغییر پاداش را در سود حاصله ارزیابی می‌کنیم و برای هر خوشه تعرفه‌ای مطابق با زمان مصرف مربوطه به صورت ساعتی ارائه می‌دهیم.

Profit increasing in smart grid market via actor-critic reinforcement learning

The electricity smart grid market is complex and dynamic. Brokers, which mediate the sale of electrical power between retailers and wholesalers, are widely used in new markets for smart grids. Due to the complexity and distribution properties of the market in smart grid networks, multiagent systems are appropriate to solve its problems. In these approaches, we have autonomous agents exchanging information with other agents all 24 hours of a day. These agents encounter major challenges including diverse consumption patterns of consumers, price changing according to consumption patterns, and the amount of electricity consumed during the day. In this paper our goal is to increase profit in the electricity grid market while modeling the components of the electricity market with multiagent systems. In the proposed method, we first process the customer diversity using a sequential clustering method suitable for time series data. Then, for each cluster, we apply an active policy reinforcement learning algorithm named ActorCritic reinforcement learning. Finally, we evaluate the impact of the reward shaping on the profit earnings and we offer an hourly tariff for each cluster according to their respective consumption time