رده‌ بندی تصور گفتار مبتنی بر سیگنال ‌های مغزی با افزودن داده‌ها و شبکه تطبیق دامنه هماوردانه با استفاده از یادگیری عمیق در کاربرد رابط مغز رایانه

رابط مغز -رایانه مبتنی بر گفتار راهبُردهای ارتباط صوتی موثری را برای کنترل دستگاه‌ها از طریق دستورات گفتاری که از سیگنال‌های مغزی تفسیر می‌شوند، ارائه می‌کنند. یکی از چالش‌های مهم در مسئله رابط مغز-رایانه رده‌بندی سیگنال‌های مغزی مبتنی بر الکتروانسفالوگرافی است. الکتروانسفالوگرافی یک سیگنال مغزی غیرتهاجمی است که از سطح پوست سر از طریق الکترودها ضبط می‌شود. سیگنال‌های به‌دست‌آمده با استفاده از تجهیزات آسان و ارزان دارای وضوح مکانی نسبتاً پایین و وضوح زمانی بالا هستند که برای دستیابی به نتایج بهینه مناسب‌ترین روش استخراج و رده‌بندی ویژگی‌ها باید استفاده شود. همچنین جمع‌آوری داده‌های کافی برای آزمودنی جدید زمان و تلاش زیادی می‌طلبد که در این مقاله افزودن داده‌ها با استفاده از مدل مولد هماوردانه به‌منظور بهبود عملکرد رده‌بندی سیگنال‌های مغزی پیشنهادشده است. همچنین مدلی برای رده‌بندی تصور گفتار مبتنی بر سیگنال‌های مغزی آزمودنی جدید با یادگیری انتقالی با استفاده از روش مولد هماوردانه مبتنی بر تطبیق دامنه متمایزکننده هماوردانه ارائه‌شده است. به‌منظور شناسایی تصور گفتار از پایگاه داده karaone استفاده‌شده است. روش پیشنهادی با سایر روش‌های جدید بر اساس معیارهای صحت و کاپا مورد ارزیابی قرار گرفتند. طبق نتایج به‌دست‌آمده روش پیشنهادی با صحت 86 ٪ و 60.21 ٪ به ترتیب تصور کلمات و واج‌ها را رده‌بندی می‌کند. مدل پیشنهادی، مستقل از سیگنال‌های مغزی هر فرد است که با آموزش مدل بر روی سیگنال‌های مغزی افزوده‌شده آزمودنی‌ها در دامنه منبع می‌توان به‌طور موثر سیگنال‌ها را در دامنه هدف بدون نیاز به داده‌های برچسب‌گذاری شده از آزمودنی جدید رده‌بندی کرد.

speech imagery classification based on brain signals with data augmentation and adversarial domain adaptation network using deep learning in brain-computer interface application

speech-based brain-computer interfaces provide effective voice communication strategies for controlling devices through spoken commands interpreted from brain signals. one of the major challenges in the brain-computer interface problem is the classification of brain signals based on electroencephalography. electroencephalography is a non-invasive brain signal that is recorded from the scalp surface through electrodes. the signals obtained using easy and cheap equipment have relatively low spatial resolution and high temporal resolution, which requires the most appropriate feature extraction and classification method to achieve optimal results. also, collecting sufficient data for a new subject requires a lot of time and effort, so in this paper, data augmentation using a generative adversarial model is proposed to improve the performance of brain signal classification. also, a model for classifying speech imagery based on brain signals of a new subject with transfer learning using a generative adversarial method based on adversarial domain adaptation method is presented. in order to identify speech imagery, the karaone database was used. the proposed method was evaluated with other new methods based on accuracy and kappa criteria. according to the results, the proposed method classifies word imagery and phonemes with 86% and 60.21% accuracy, respectively. the proposed model is independent of each individual’s brain signals, which can be effectively classified in the target domain by training the model on the augmented brain signals of the subjects in the source domain without the need for labeled data from the new subject.