تشخیص احساسات انسانی با معماری چندوجهی مبتنی بر cnn و bi-gru با مکانیزم توجه تطبیقی

این مقاله سامانه‌ای هوشمند چندوجهی برای تشخیص احساسات طراحی کرده است که با ترکیب داده‌های صوتی و تصویری و به‌کارگیری معماری یادگیری عمیق کار می‌کند. مدل پیشنهادی شامل دو مسیر موازی است: مسیر صوتی که سیگنال‌های گفتاری پایگاه داده iemocap را با ضرایب mfcc به نمایش طیفی تبدیل کرده و توسط شبکه cnn یک‌بعدی تحلیل می‌کند، سپس خروجی به ساختار bi-gru با مکانیزم توجه منتقل می‌شود تا بخش‌های احساسی مهم‌تر برجسته شوند. در مسیر تصویری، فریم‌های ویدیو پس از شناسایی چهره با الگوریتم mtcnn وارد مدل vgg16 شده و ویژگی‌های سطح‌بالا استخراج می‌شوند که به bi-gru و مکانیزم توجه ارسال می‌گردند. در نهایت خروجی دو مسیر ادغام و به لایه fully connected داده می‌شود. طبقه‌بندی نهایی توسط لایه softmax با هشت کلاس احساسی انجام می‌شود. ارزیابی مدل دقت 91.3٪ و بهبود در تشخیص احساسات هم‌پوشانی را نشان داد. این نتایج موید کارایی معماری ترکیبی cnn-bigru با مکانیزم توجه هستند.

human emotion recognition with multi-aspect architecture based on cnn and bi-gru with adaptive attention mechanism

understanding and analyzing human emotions is crucial for enhancing human-machine interactions. this study proposes a multi-modal intelligent system for emotion recognition combining audio and video data within a deep learning framework. the model has two parallel processing paths: audio and image. in the audio path, speech signals from the iemocap database are transformed into spectral representations using mfcc coefficients and processed by a one-dimensional cnn. the cnn output feeds into a bi-gru network with an attention mechanism to highlight key emotional segments. in the image path, video frames undergo face detection via mtcnn and pass through the vgg16 model to extract high-level visual features, which are also processed by bi-gru and attention layers. outputs from both paths are concatenated and fed into a fully connected layer, followed by a softmax classifier predicting eight emotion classes. evaluated with five-fold cross-validation, the model achieved 91.3% accuracy. class-wise f1-score analysis showed improved recognition of overlapping emotions like anxiety and frustration. these results demonstrate the effectiveness of the cnn-bigru hybrid with attention in multimodal emotion recognition.