بهبود عملکرد رابط مغز-رایانه مبتنی بر پتانسیل برانگیخته بینایی حالت ماندگار با استفاده از شبکه عصبی کانولوشنی مکانی-طیفی-زمانی و گراف

رابط‌های مغز–رایانه مبتنی بر پتانسیل برانگیخته بینایی حالت ماندگار (ssvep) از جمله روش‌های کارآمد در برقراری ارتباط مستقیم بین مغز و رایانه هستند، اما عملکرد آن‌ها به دلیل نویزهای ذاتی سیگنال eeg، همپوشانی فرکانسی محرک‌ها و محدودیت در استخراج ویژگی‌های موثر، هنوز با چالش‌هایی روبه‌رو است. در این پژوهش، روشی نوین برای بهبود عملکرد سامانه‌های ssvep پیشنهاد شده است که بر پایه‌ی ترکیب ویژگی‌های مکانی، طیفی و زمانی و بهره‌گیری از ساختار گرافی بین کانال‌های eeg طراحی گردیده است. در گام نخست، سیگنال‌های eeg با استفاده از فیلتر میان‌گذر مناسب پیش‌پردازش شده و سپس با اعمال تبدیل s، نمایش چندوضوحی زمان–فرکانس استخراج می‌شود. در ادامه، به‌منظور مدل‌سازی ارتباطات عملکردی بین نواحی مغزی، ماتریس مجاورت بر اساس ضریب همبستگی پیرسون محاسبه و ویژگی‌های گرافی حاصل با ویژگی‌های طیفی و زمانی ادغام می‌شوند. برای استخراج الگوهای تفکیک‌پذیر، یک شبکه عصبی کانولوشنی مکانی–طیفی–زمانی طراحی شده است که قابلیت یادگیری همزمان روابط فضایی، فرکانسی و دینامیکی سیگنال را دارد. در مرحله‌ی بهینه‌سازی، از الگوریتم فراابتکاری کپلر جهت تنظیم خودکار ابرپارامترهای شبکه استفاده شده است. نتایج آزمایش‌ها بر روی مجموعه‌داده‌ی ssvep دانشگاه tsinghua با 40 کلاس محرک بینایی نشان می‌دهد که روش پیشنهادی به دقت ‎%95٫67‎، صحت ‎%95٫90‎، یادآوری %95٫16‎ و امتیاز f1 برابر با ‎%95٫53‎ دست یافته است. مقایسه با روش‌های پیشین نشان می‌دهد که رویکرد پیشنهادی، توانسته است بهبود معناداری در دقت و پایداری رابط‌های مغز–رایانه مبتنی بر ssvep ایجاد کند.