بازشناسی احساس از روی گفتار با استفاده از ترکیب رویکرد هرمی جدید شبکه های عصبی پیچشی سه بعدی و شبکه کپسول زمانی

گفتار غالب ترین منبع ارتباطی بین انسان هاست و راهی کارآمد برای تعامل انسان و ماشین است. هدف از سیستم-های بازشناسی احساس از روی گفتار ایجاد ارتباط عاطفی بین انسان و ماشین است. چراکه بازشناسی احساس از روی گفتار و اهداف انسان از گفتار مکالمه شده به بهبود تعاملات بین انسان و ماشین کمک می کند. در این پژوهش از روش-های یادگیری عمیق و ترکیب مناسب آن ها در جهت بهتر کردن کارایی این سیستم ها استفاده کردیم. پژوهش انجام شده در قسمت دسته بند، از دو بخش اساسی تشکیل شده است. در بخش اول، ویژگی های استخراج شده ی طیفی زمانی لگاریتم مل از ساختار هرمی جدید شبکه های عصبی پیچشی سه بعدی عبور داده می شود. در بخش دوم نقشه ویژگی بدست آمده از بخش اول را وارد شبکه کپسول زمانی می کنیم. در نهایت مدل پیشنهادی، که یک مدل قدرتمند برای سیستم های بازشناسی احساس از روی گفتار است را (npc3dcnn+tc) نامیدیم.پژوهش انجام شده و مدل نهایی روی ترکیب دو پایگاه داده معمولی و آوازی از پایگاه داده راودیس انجام شده است. ما در این پژوهش برای شش کلاسی احساسی به تفکیک جنسیت به دقت 81.77 درصد رسیدیم