مروری تحلیلی بر مدل های مبتنی بر ترنسفورمر در تحلیل احساسات: مقایسه bert، roberta، distilbert و xlnet

تحلیل احساسات یکی از حوزه‌های مهم پردازش زبان طبیعی است که به شناسایی و تفسیر احساسات موجود در متون انسانی می‌پردازد. روش‌های سنتی مانند الگوریتم‌های یادگیری ماشین کلاسیک و شبکه‌های عصبی اولیه به دلیل وابستگی به مهندسی ویژگی و ضعف در درک وابستگی‌های بلندمدت، دقت محدودی داشتند. با ظهور معماری ترنسفورمر و مدل‌هایی مانند bert، gpt، roberta و سایر مدل‌های زبانی بزرگ، امکان تحلیل دقیق‌تر روابط معنایی و نحوی در متون فراهم شد. در این مقاله، ضمن بررسی جامع مدل‌های مبتنی بر ترنسفورمر، عملکرد آن‌ها در زبان‌های مختلف و روی مجموعه‌داده‌های متنوع تحلیل شده است. همچنین، یک مطالعه موردی تجربی بر روی مجموعه‌ای متشکل از توییت‌های انگلیسی انجام شده که در آن، چهار مدل bert، roberta، distilbert و xlnet با تنظیمات یکسان ارزیابی شده‌اند. نتایج نشان می‌دهد که مدل bert با دقت 89٪ و f1-score برابر با 0٫89، بهترین عملکرد را در میان مدل‌های مورد بررسی داشته است. یافته‌ها حاکی از آن است که مدل‌های ترنسفورمر، با بهره‌گیری از مکانیزم خودتوجهی و پردازش موازی، نسبت به روش‌های سنتی دقت بالاتری در تشخیص احساسات پیچیده دارند.

an analytical review of transformer-based models for sentiment analysis: a comparative study of bert, roberta, distilbert, and xlnet

sentiment analysis is a key area of natural language processing (nlp) that focuses on identifying and interpreting emotions embedded in human text. traditional approaches, such as classical machine learning algorithms and early neural networks, suffered from limited accuracy due to dependence on manual feature engineering and poor handling of long-range dependencies. the emergence of transformer architectures and large-scale language models such as bert, gpt, and roberta has enabled more accurate analysis of semantic and syntactic relationships in text. this paper presents a comprehensive review of transformer-based models in sentiment analysis across multiple languages and datasets. additionally, a case study was conducted using a labeled twitter dataset to evaluate four widely-used models,bert, roberta, distilbert, and xlnet, under identical experimental conditions. the results demonstrate that bert outperforms the others, achieving 89% accuracy and an f1-score of 0.89. the findings confirm that transformer-based models, leveraging self-attention and parallel processing, significantly outperform traditional methods in detecting nuanced sentiments.