پردازش بهینه مرحله آموزش شبکه عصبی با استفاده از اشتراک داده

امروزه با بزرگ تر شدن و پیچیده تر شدن شبکه‌های عصبی، پردازش آن ها در مرحله استنتاج و آموزش به منابع پردازشی و حافظه بیشتری نیاز دارد. با افزایش هزینه انتقال داده و اهمیت حفظ امنیت داده ها، اجرای فاز آموزش شبکه‌های عصبی در دستگاه های لبه مورد توجه قرار گرفته است. مرحله آموزش، شامل عملیات انتشار به جلو، انتشار به عقب و به روز رسانی وزن است و نیاز به حافظه و پردازش بیشتری نسبت به استنتاج دارد، در نتیجه با توجه به محدودیت منابع و انرژی در دستگاه های لبه، اجرای آن با چالش های بیشتری رو به رو است. در این پژوهش ما یک رویکرد فشرده‌سازی آگاه از داده برای بهره برداری از پراکندگی و شباهت در بردارهای ورودی‌، وزن‌ و گرادیان در مرحله آموزش برای شتاب دهنده های شبکه‌های عصبی ژرف پیشنهاد می کنیم و یک معماری شتاب دهنده جدید جهت اجرای جریان داده، برای کاهش بی نظمی های ایجاد شده پیشنهاد می کنیم. بررسی عملکرد روش پیشنهادی بر روی سه شبکه عصبی ژرف نشان داده است که روش پیشنهادی در مقایسه با شتاب دهنده آگاه از تکرار و پراکندگی و یک روش آگاه از شباهت داده ورودی از لحاظ کارایی به ترتیب ×4.7 و ×6.8 و از لحاظ کاهش انرژی مصرفی به ترتیب ×3.5 و ×7.2 بهبود داشته است.