مطالعه ای بر ارزیابی تاثیر رویکرد تشخیص فعالیت صدا (vad) بر تشخیص عواطف گفتاری کودکان اوتیستیک

زمینه و هدف: طیف اوتیسم، اختلالی نورولوژیک است که خودش را در سال‌های اولیه رشد کودک نمایان می‌کند. افراد مبتلا به اوتیسم با چالش هایی در زمینه تنظیم احساسات مواجه هستند و حالات عاطفی خود را به روش های مختلف بیان می کنند. پژوهش فعلی یک سیستم تشخیص فعالیت صوتی (vad) را ارائه می‌کند که با صداهای کودکان اوتیستیک سازگار شده است. روش پژوهش: سیستم vad ارائه شده یک شبکه عصبی بازگشتی (rnn) با سلول های حافظه کوتاه مدت (lstm) است. داده ها شامل 25 کودک اوتیستیک انگلیسی زبان است که یک فعالیت آموزشی ساختار یافته را انجام می دهند.یافته ها: آزمایش‌های ما نشان می‌دهد که سیستم vad کودک عملکرد کمتری نسبت به سیستم vad عمومی ما دارد که تحت شرایط یکسان آموزش داده شده است، زیرا منحنی مشخصه عملکرد سیستم (roc) را تحت معیارهای منحنی (roc-auc) به ترتیب 0.662 و 0.850 به دست می‌آوریم. نتایج ser عملکردهای متفاوتی را در بین ظرفیت و برانگیختگی، بسته به سیستم vad مورد استفاده با حداکثر ضریب همبستگی تطابق (ccc) 0.263 و حداقل ریشه میانگین مربعات خطا 0.107 نشان می‌دهد. نتیجه‌گیری: اگرچه عملکرد مدل‌های ser به طور کلی پایین است، سیستم vad کودک می‌تواند به نتایج کمی بهبود یافته در مقایسه با سایر سیستم‌های vad و به ویژه تراز مبنا بدون vad (vad-less baseline) منجر شود، که از اهمیت فرضی سیستم‌های vad کودک در زمینه مورد بحث حمایت می‌کند.

a study on evaluating the effect of voice activity detection (vad) approach on speech emotion recognition of autistic children

background and aim: autism spectrum is a neurological disorder that manifests itself in the early years of a child’s development. people with autism face challenges in regulating emotions and express their emotional states in different ways. the current research presents a vocal activity detection (vad) system adapted to the voices of autistic children. methods: the proposed vad system is a recurrent neural network (rnn) with short-term memory (lstm) cells. the data includes 25 english-speaking autistic children performing a structured learning activity and was collected as part of the de-enigma project.results: our experiments show that the pediatric vad system performs less well than our generic vad system trained under the same conditions, as we obtain system performance characteristic curve under the curve (roc-auc) criteria of 0.662 and 0.850, respectively. the ser results show different performances between capacity and excitation, depending on the vad system used, with a maximum match correlation coefficient (ccc) of 0.263 and a minimum root mean square error (rmse) of 0.107.conclusion: although the performance of ser models is generally low, the pediatric vad system can lead to slightly improved results compared to other vad systems and especially the vad-less baseline, which supports the hypothesized importance of pediatric vad systems in the context under discussion.