بهبود کارایی یک سیستم تشخیص احساس از گفتار به کمک شبکه مولد متخاصمی جهت کاربرد در روانشناسی بالینی

مقدمه: فناوری تشخیص احساس از گفتار، می‌تواند به محققان کمک کند تا دریابند چه عواملی باعث می‌شود برخی از روان ‌درمانگران درمان موثرتری نسبت به دیگران ارائه دهند، اطلاعاتی که می‌تواند برای بهبود تشخیص روش درمان استفاده شود. اگر بدانیم چه کسی می‌خواهد اقدام به خودکشی کند یا حداقل ریسک بالایی برای این کار دارد می‌توانیم پیشگیری کنیم و این دقیقاً همان چیزی است که علم روانشناسی سال‌هاست به آن نیاز دارد تا هزینه‌های درمان را کاهش دهد. ازاین‌رو، نیاز به تشخیص احساس از گفتار و پایگاه‌داده احساسی به‌شدت احساس می‌شود؛ ولی جمع‌آوری پایگاه‌داده با نمونه‌های زیاد نیازمند صرف چندین دهه است. افزایش داده و انتخاب ویژگی، از مفاهیم کلیدی در یادگیری ماشین هستند.روش: هنگامی که داده‌های آموزشی در پایگاه‌داده متنوع نیستند و تعداد و تنوع آن‌ها در هر کلاس آموزشی محدود است، آموزش یک شبکه عصبی عمیق بدون آنکه پدیده اور فیتینگ اتفاق بیفتد، بیش از حد چالش‌برانگیز است. برای غلبه بر این چالش، این مقاله یک شبکه افزایش داده جدید، یعنی شبکه افزایش داده متخاصمانه و مبتنی بر شبکه‌های مولد متخاصمی را پیشنهاد می کند. این شبکه افزایش داده پیشنهادی، از یک شبکه مولد متخاصمی، یک رمزگذار خودکار و یک طبقه‌بند تشکیل شده است. این شبکه‌ها به طور خصمانه آموزش داده می‌شوند تا بردارهای ویژگی وابسته به هر کلاس را در فضای ویژگی‌ها ترکیب کنند، و سپس آن ها را به داده‌های موجود در پایگاه‌داده بیفزایند. برای داده های هر کلاس به‌صورت جداگانه یک شبکه مولد متخاصمی پیشنهاد شده است که از یک سو شباهت بین نمونه‌‌های واقعی و تولید شده را تضمین کند و از طرف دیگر باعث ایجاد تمایز عاطفی در بین نمونه‌‌های تولید شده بین کلاس‌‌های مختلف شود. برای رفع مشکل کوچک‌شدن بیش از حد گرادیان در فرایند آموزش شبکه افزایش داده متخاصمی که منجر به عدم آموزش کافی شبکه های مولد و تشخیص‌دهنده و متوقف‌شدن فرایند آموزش پیش از یادگیری کامل توزیع داده ها در فضای ویژگی ها می شود، به‌جای استفاده از خطای متداول آنتروپی متقابل برای آموزش شبکه مولد متخاصمی، واگرایی و اسراستین برای تولید نمونه‌های مصنوعی باکیفیت بالا استفاده شده است. یافته‌ها: عملکرد این مدل با استفاده از پایگاه‌داده احساسی برلین به‌عنوان مجموعه‌داده‌های آموزش، تست و ارزیابی شبکه مورد آزمایش قرار گرفته و مشخص شد که با ترکیب نمودن بردارهای ویژگی مصنوعی و بردارهای ویژگی واقعی، می‌توان مشکل کوچک‌شدن بیش از حد گرادیان و متعاقباً متوقف‌شدن ادامه روند آموزش شبکه را تا حد زیادی کاهش داد. نتایج به‌دست‌آمده نشان می‌دهد که داده‌های تولید شده توسط شبکه پیشنهادی می‌توانند در یک شبکه تشخیص احساس از سیگنال گفتار استفاده شوند و به این شبکه کمک کنند تا کلاسه‌بندی احساسی بهتری را انجام دهد.

improving the efficiency of speech emotion recognition system by generative adversarial network in clinical psychology

introduction:  in the realm of psychotherapy, the utilization of speech emotion recognition technology holds promise in unraveling the factors that contribute to the varying effectiveness of psychotherapists. this valuable insight can significantly enhance the diagnosis and treatment methods employed. by identifying individuals at a heightened risk of suicide or displaying suicidal tendencies, we can take preventive measures, addressing a long-standing need within the field of psychology and ultimately reducing treatment expenses. consequently, there is a pressing demand for the recognition of emotions through speech and the development of an extensive emotional database. however, amassing a substantial database with an ample number of samples would traditionally require several decades. to address this challenge, machine learning techniques such as data augmentation and feature selection play a pivotal role.methods:  this paper introduces an innovative solution to address the challenge of training deep neural networks when the training data lacks diversity and is limited in each class. the proposed approach is an adversarial data augmentation network based on adversarial generative networks. this network consists of an adversarial generator network, an autoencoder, and a classifier. through adversarial training, these networks combine feature vectors from each class in the feature space and integrate them into the database. additionally, separate adversarial generative networks are proposed for each class, ensuring similarity between real and generated samples while creating emotional differentiation among different classes. to overcome the problem of excessive gradient reduction, which hinders proper training and halts the learning process before fully understanding the data distribution, the paper suggests using divergence and capture instead of mutual entropy error to generate high-quality synthetic samples.results:  the model’s performance was evaluated on the berlin emotional database, serving as training, testing and evaluation datasets. combining artificial and real feature vectors effectively addressed the issue of excessive gradient shrinkage, resulting in a significant reduction in the network training process. the results demonstrated that the generated data from the proposed network can enhance speech signal emotion recognition, leading to improved emotional classification capabilities.