تجزیه و تحلیل احساسات چند وجهی با استفاده از تکنیک های یادگیری انتقال چندگانه ترکیبی با به کارگیری شبکه های کانولوشنی وزن دار ترکیبی

تحلیل نظرات کاربران شبکه‌های اجتماعی در رابطه با موضوعات مختلف می‌تواند منجر به درک صحیح موقعیت، نگرش و نظر آنها نسبت به این موضوعات گردد. تجزیه و تحلیل احساسات یکی از مسائل در حوزه پردازش زبان طبیعی است و در حوزه‌های مختلفی کاربرد دارد. دسته‌ای از نظرات کاربران شبکه‌های اجتماعی به صورت چندوجهی و با استفاده از ترکیبی از چند رسانه مانند متن، تصویر و صورتک به اشتراک گذاشته می‌شود که ساختار مفیدی برای استخراج و درک بهتر احساسات فراهم می‌کند. در این مقاله یک روش ترکیبی یادگیری انتقال با استفاده از 5 مدل از پیش آموزش دیده شده و شبکه‌های کانولوشنی ترکیبی برای تجزیه و تحلیل احساسات چند وجهی ارائه می‌شود. در این رویکرد برای استخراج ویژگی‌های تصاویر از دو مدل از پیش آموزش دیده مبتنی بر شبکه‌های کانولوشنی، و برای استخراج ویژگی‌های متون و تعبیه کلمات از سه مدل از پیش آموزش دیده دیگر استفاده می‌شود. از ویژگی‌های استخراج شده در شبکه‌های کانولوشنی ترکیبی استفاده شده و مکانیزم توجه بصری برای تمرکز بر روی مهمترین نواحی احساسی تصاویر و مکانیزم توجه چندراسی برای برجسته‌سازی کلمات دارای احساس به کار گرفته می‌شود. نتایج حاصل از طبقه‌بندی تصاویر و متون با استفاده از تکنیک رای‌گیری ترکیب شده و در نهایت برای تعیین قطبیت و برچسب نهایی از همجوشی دیرهنگام استفاده می‌شود. نتایج حاصل از آزمایشات تجربی مدل پیشنهادی بر روی مجموعه داده استاندارد، دقت مطلوب 96% را نشان می‌دهد.

multiple transfer learning-based multimodal sentiment analysis using weighted convolutional neural network ensemble

analyzing the opinions of social media users can lead to a correct understanding of their attitude on different topics. the emotions found in these comments, feedback, or criticisms provide useful indicators for many purposes and can be divided into negative, positive, and neutral categories. sentiment analysis is one of the natural language processing’s tasks used in various areas. some of social media users’ opinions is are multimodal and share a combination of multiple media, including text, image and imoji, which provide a useful structure for extracting and better understanding emotions. this paper presents a hybrid transfer learning method using 5 pre‌trained models and hybrid convolutional networks for multimodal sentiment analysis. in this method, 2 pre‌trained convolutional network‌based models are used to extract the properties of images, and 3 other pre‌trained models are used to extract the properties of texts and embed words. the extracted features are used in hybrid convolutional networks, and the visual attention mechanism is used to focus on the most important emotional areas of the images and the multi‌head attention mechanism is used to highlight the emotional words. the results of the classification of images and texts are combined using the voting technique, and finally the late fusion is used to determine the polarity and the final label. the results of empirical experiments of the proposed model on a standard data set show 96% accuracy.