پیش‌بینی مصرف برق با استفاده از رویکرد ترکیبی مبتنی بر مدل انتقالی و شبکه عصبی با حافظه طولانی کوتاه‌مدت

در سال‌های اخیر پیش‌بینی مصرف برق، با تکیه بر فنّاوری‌های جدید و بهره‌گیری از روش‌های پردازش داده‌های بزرگ اهمیت زیادی پیداکرده است. روش‌های زیادی ازجمله روش‌های آماری و کلاسیک مختلف تحلیل سری زمانی، ماشین بردار پشتیبان، و شبکه‌های عصبی بازگشتی و حافظه طولانی کوتاه‌مدت در این حوزه موردبررسی قرارگرفته‌اند. روش‌های آماری به دلیل عدم در نظر گرفتن تغییرات ناگهانی، ممکن است برای پیش‌بینی و مدل‌سازی برخی پدیده‌های پیچیده چندان مناسب نباشند. از طرف دیگر، روش ماشین بردار پشتیبان بر مبنای افزایش ابعاد داده عمل می‌کند. بنابراین، در مواردی که داده‌ها دارای ابعاد بالایی باشند، این امر منجر به پیچیده‌تر شدن فضای مساله می‌گردد. انواع بسیاری از شبکه‌های عصبی نیز با محدودیت‌هایی مثل محوشدگی گرادیان و عدم توجه به روابط زمانی مواجه هستند. برای پیش‌بینی دقیق‌تر مصرف برق، این مقاله یک رویکرد ترکیبی با استفاده از مدل انتقالی و شبکه عصبی با حافظه طولانی کوتاه‌مدت را پیشنهاد می‌دهد. این رویکرد، با حل مشکل گرادیان و یادگیری الگوهای پیچیده، دقت بالاتری نسبت به روش‌های دیگر ارائه می‌دهد. همچنین مدل انتقالی با استفاده از مکانیزم توجه، توانایی تمرکز بر اجزای مهم داده را داراست و مدلی با تفسیرپذیری بیشتر و مقاومت بالا در مقابل نویز ایجاد می‌کند. روش پیشنهادی روی مجموعه داده استاندارد ارزیابی و با روش‌های موجود مقایسه شده است. نتایج نشان می‌دهد این روش دقت بالاتر و خطای کمتری در معیارهایی مانند میانگین مربعات خطا و میانگین درصد خطای مطلق دارد.

electricity consumption forecasting using a hybrid approach based on transformer model and lstm neural network

in recent years, electricity consumption forecasting has gained significant importance by relying on new technologies and utilizing big data processing methods. various methods including classical statistical time series analysis techniques, support vector machines, and recurrent neural networks with long short-term memory have been studied in this field. statistical methods may not be suitable for forecasting and modeling some complex phenomena due to their inability to account for sudden changes. on the other hand, the support vector machine method operates based on increasing the data dimensions. therefore, in cases where the data has high dimensions, this leads to increasing the complexity of the problem space. various types of neural networks also face limitations such as vanishing gradients and the inability to account for temporal relationships. to achieve more accurate electricity consumption forecasting, this paper proposes a hybrid approach using the transformer model and long short-term memory neural network. by addressing the gradient problem and learning complex patterns, this approach offers higher accuracy compared to other methods. additionally, the transformer model, with its attention mechanism, has the ability to focus on important components of the data, creating a more interpretable model with high resistance to noise. the proposed method has been evaluated on a standard dataset and compared with existing methods. the results show that this method achieves higher accuracy and lower error in metrics such as mean squared error and mean absolute percentage error.