یادگیری با نظارت مبتنی بر زمان ضربه برای شبکه هایعصبی ضربه ای عمیق
|
|
|
DOR
|
20.1001.2.9920185099.1399.26.1.53.3
|
نویسنده
|
میرصادقی مریم السادات ,شالچیان مجید ,خردپیشه سعیدرضا
|
منبع
|
كنفرانس بين المللي انجمن كامپيوتر ايران - 1399 - دوره : 26 - بیست و ششمین کنفرانس بین المللی انجمن کامپیوتر ایران - کد همایش: ۹۹۲۰۱-۸۵۰۹۹
|
چکیده
|
لگوریتم پسانتشار خطا رایجترین الگوریتم برای آموزش بانظارت و مستقیم شبکههای عصبی ضربهای میباشد. هرچند به علت ماهیت گسسته این شبکهها، اعمال این الگوریتم با محدودیتها و چالشهایی همراه است. در این مقاله یک الگوریتم یادگیری جدید مبتنی بر کدگذاری زمانی تک ضربهای ارائه شده است که در آن گرادیانهای بازگشتی را حذف کرده و از یک تقریب خطی برای محاسبه مشتق تابع فعالیت نورونهای ضربهای استفاده میکنیم. به منظور حذف گرادیانهای بازگشتی، تابع خطای هر لایه به صورت جداگانه محاسبه شده و سپس با اعمال الگوریتم کاهش گرادیان، پارامترهای آن لایه بهروز رسانی میشوند. همچنین به منظور کاهش حجم محاسبات، مدل نورونی خطی تکهای را پیشنهاد دادهایم و از یک روش کدگذاری زمانی استفاده کردهایم به گونهای که هر نورون حداکثر یک بار اجازه آتش دارد. الگوریتم پیشنهادی برای آموزش یک شبکه عصبی ضربهای کانولوشنی استفاده شده است و با بررسی بر روی پایگاه داده mnist نشان داده شده که این الگوریتم قابلیت پیاده سازی در ساختارهای عمیق شبکه های عصبی ضربهای را دارد.
|
کلیدواژه
|
شبکه های عصبی ضربهای ,پس انتشار خطا ,گرادیانهای بازگشتی ,نورون خطی تکه ای ,زمان اولین ضربه.
|
آدرس
|
دانشگاه امیرکبیر, ایران, دانشگاه امیرکبیر, ایران, دانشکده علوم ریاضی، دانشگاه شهید بهشتی, ایران
|
|
|
|
|
|
|