طبقه‌بندی تصور حرکت دست راست و چپ با استفاده از روش‌های یادگیری عمیق از روی سیگنال‌های الکتروانسفالوگرافی و طیف‌سنجی مادون قرمز

مقدمه: در این مقاله یک واسط مغز و رایانه برای طبقه ‌بندی تصور حرکت دست راست و چپ با استفاده از روش یادگیری عمیق از روی سیگنال ‌های مغزی ارائه شده است. واسط مغز و رایانه به منظور دستیابی به یک راه ارتباطی بین مغز و یک دستگاه خارجی برای بیمارانی مانند اسکلروز جانبی آمیوتروفیک طراحی می ‌شود به گونه ‌ای که کاربر بدون هیچ گونه استفاده از اندام ‌های بدن و با استفاده از مغز خود دستگاه بیرونی از جمله یک ویلچر را کنترل کند.روش کار: سیگنال الکتروانسفالوگرافی و طیف‌ سنجی نور مادون قرمز از 29 فرد سالم ثبت شد و پیش پردازش سیگنال ‌ها به منظور حذف نویز انجام گرفت. سپس سیگنال ‌ها به صورت جداگانه و به صورت ترکیبی به تصاویر دو بعدی زمان فرکانس اسکیلوگرام با استفاده از تبدیل موجک پیوسته تبدیل شدند و تصاویر هر ناحیه از مغز به صورت جداگانه و ترکیبی به شبکه عصبی کانولوشنی از پیش آموزش دیده resnet 18 برای استخراج ویژگی و طبقه ‌بندی وارد شدند.یافته‌ ها: نتایج به دست آمده از شبکه عصبی کانولوشنی از پیش آموزش دیده resnet18 برای تصاویر اسکیلوگرام در نواحی frontal-central, central-parietal مغز برای سیگنال الکتروانسفالوگرافی 88 درصد، برای تصاویر اسکیلوگرام سیگنال طیف ‌سنجی نور مادون قرمز 85 درصد و برای مجموع تصاویر اسکیلوگرام، دقت 90 درصد به دست آمد.نتیجه ‌گیری: ترکیب تصاویر اسکیلوگرام سیگنال ‌های مغزی و روش یادگیری عمیق استفاده شده منجر به بهبود دقت طبقه ‌بندی تصور حرکت دست راست و چپ نسبت به مطالعات گذشته شد.

Classification of right and left-hand motor imagery using deep learning inelectroencephalography and near-infrared spectroscopy

Introduction: In this paper, a hybrid braincomputer interface for classification of right and left hand motor imagery using deep learning method is presented to increase accuracy and performance. A hybrid braincomputer interface is designed to achieve a way of communicating between the brain and an external device for patients such as amyotrophic lateral sclerosis. So, the user can control the external device such as a Wheelchair without using any organs of the body and only using brain.Methods: Two electroencephalographic and nearinfrared spectroscopy signals were recorded from 29 healthy men and women and preprocessing of the signals was done to eliminate noise. The wavelet transform was used to obtain the scalogram as twodimensional images for both of the signals, and images were inserted separately from each region of brain and merge region into the pretrained convolutional neural network to extract feature, classification, and prediction of left and right hand motor imagery.Results: The results for combination of scalogram images of FrontalCentral and CentralParietal regions in electroencephalographic signal reached 88%, for Near infrared light spectroscopy reached 85% and for merge of two scalogram images reached 90%.Conclusion: The combination of scalogram images and the deep learning method used in this study reached significant improvement in the prediction accuracy of right and left hand motor imagery for wheelchair motion control.