ترکیب داده‌های چند وجهی برای تشخیص افسردگی در توییتر

افسردگی یکی از شایع‌ترین بیماری ‌های روانی دنیای امروز است که می توان آن را با استفاده از اطلاعات موجود در شبکه‌های اجتماعی به طور موثری شناسایی کرد. استفاده از شبکه‌های اجتماعی برای مقاصد مختلف در سال‌های گذشته افزایش داشته است، زیرا این شبکه‌ها بیانگر اطلاعات مهمی هم از افراد و هم از جامعه هستند. پژوهشگران تلاش کرده‌اند تا افسردگی را با استفاده از وجوه مختلف اطلاعات مثل عکس، متن و صوت شناسایی کنند؛ اما بیشتر پژوهش‌ها تمرکز بر این موضوع داشتند که فقط از یک نوع اطلاعات مثل متن یا عکس برای تشخیص استفاده کنند که به نتایج قابل‌توجهی دست یافته‌اند. در این پژوهش یک مدل هوش مصنوعی چندوجهی از نوع شبکه‌های عمیق معرفی می‌شود که اطلاعات متن و عکس را با هم تحلیل کرده و افسردگی را تشخیص می‌دهد. این پژوهش از کدگذار متنی bert و resnet برای استخراج ویژگی استفاده می‌کند. این مدل نسبت به مدل‌های مشابه با استفاده از مقدار بسیار کمتری از مجموعه‌داده‌ی اصلی، دقت را نزدیک به 5 درصد ارتقا داده است و به 89/87 درصد رسانده است.

multimodal data fusion for depression detection on twitter

depression is one of the most significant and prevalent mental health disorders in today’s world. early detection of depression is critical, and this study aims to identify depression in individuals using information derived from social media. the use of social media for various purposes has grown in recent years, as these platforms provide valuable insights into both individuals and society. social media can be effectively utilized to detect depression. researchers have attempted to identify depression using various types of data, such as images, text, and audio. most studies have focused on using only one type of data, such as text or images, for detection. while these methods have achieved notable results, they have limitations in accuracy that can be addressed by incorporating new methods and integrating multiple data modalities into the model. in this study, we propose a multimodal model that analyzes text and images together to detect depression. compared to similar models, our approach achieves an approximate 5% improvement in accuracy, reaching 89.87%, while utilizing significantly less of the original dataset.