تحلیل و مقایسه 21 قید محدودسازی در الگوریتم گرادیان نزولی اتفاقی به روش کرنل

مقیدسازی الگوریتم گرادیان نزولی باهدف آموزش شبکه عصبی با وزن هایی محدودشده در کاربردهایی نظیر شفاف‌سازی شبکه، کاهش حجم شبکه ازنظر ذخیره‌سازی و افزایش سطح عمومیت پذیری آن موثر است. همچنین می‌تواند در افزایش سرعت همگرایی، سرعت استنتاج و یافتن جوابی بهینه نیز مناسب باشد. در این نوشتار با استفاده از ترفند کرنل به‌عنوان روشی برای تحمیل انواع قیود بر الگوریتم آموزش، تعداد 21 قید مختلف با یکدیگر مقایسه شده است که تعداد 16 قید آن با الهام از عدم قطعیت موجود در شبکه‌های عصبی زیستی برای اولین بار در این مقاله ارائه‌شده است. مقایسه قید‌ها بدون هیچ‌گونه افزایش داده و منظم سازی، صورت گرفته است تا اثر قید‌ها بر فرآیند بهینه‌سازی واضح باشد. به‌منظور ارزیابی، برای هر قید در حل مسائل طبقه‌بندی mnist، cifar10 و cifar100 با شبکه‌های عصبی عمیق مختص آن، 63 آزمایش شبیه سازی شده است. نتایج نشان می‌دهد هر قید در هر مجموعه داده تاثیر متفاوتی بر فرآیند آموزش دارد و به‌طور مشخص قیدهای پیشنهادی که از عدم قطعیت حاضر در شبکه‌های عصبی زیستی الهام گرفته شده است، می تواند بهتر از قیدهای ارائه‌شده در تحقیقات پیشین باشد و باعث بهبود عملکرد شبکه عصبی عمیق ازنظر دقت طبقه‌بندی شود.

To Analysis and Compare 21 Weight Constraints in Stochastic Gradient Descent Algorithm Using Kernel Method

Imposing a constraint on the gradient descend algorithm for the purpose of neural network training with limited weights has several applications such as network transparency, reducing network volume in terms of storage, increasing the level of generalizability. In addition, it speeds up convergence and finds a more accurate answer. In this paper, using the kernel trick as a method for imposing various constraints on the training algorithm, 21 different constraints have been compared those 16 constraints of which are novel and inspired by the existing uncertainty in biological neural networks. There have been no data augmentation or regularization techniques are used to clearly show the effect of each constraint functions. To solve the classification problem of MNIST, CIFAR10 and CIFAR100 datasets for each constraint function, 63 experiments have been done. The results show constraint functions have different impact on solving each dataset and specially our biologically inspired constraints may lead to train a more accurate neural network than the other constraints.