هرس خودکار شبکه های کانوولوشنی بر مبنای جست‌وجوی پیوسته و افزودن اتصالات میانبر

در سال های اخیر شبکه های کانوولوشنی نتایج چشمگیری در زمینه بینایی ماشین داشته و دقت بالای آن‌ها باعث شده که از آن‌ها در زمینه‌های مختلفی از جمله امنیتی و نظامی استفاده کرد، اما به دلیل محاسبات زیاد این شبکه ها، استفاده از آن‌ها در سیستم‌های نهفته که از لحاظ منابع محاسباتی محدودیت دارند، با چالش‌هایی روبرو است. یکی از روش‌های حل این مسئله هرس می‌باشد. در این روش با حفظ ساختار اولیه، بخشی از شبکه با هدف کاهش محاسبات و حافظه، هرس می‌شود تا بتوان از آن در سیستم‌های نهفته استفاده کرد. روش‌های هرس سنتی به طور معمول نیاز به تعیین معیار و میزان هرس به صورت دستی دارند و معمولا هر معیار بر روی یک شبکه خاص پاسخ می‌دهد. برای حل مشکلات روش‌های دستی از روش‌های خودکار استفاده می‌شود. در بین روش‌های خودکار، روش‌های مبتنی بر جست‌وجوی پیوسته به دلیل سرعت و ایجاد تعادل بین دقت و مقدار هرس شبکه مورد توجه قرار گرفته‌اند. اما تحقیقات کافی در این زمینه انجام نشده و استفاده از روش‌های موجود در شبکه‌های با اتصالات میان‌بر با چالش روبرو است. در این مقاله روشی بر مبنای جست‌وجوی پیوسته به منظور هرس شبکه‌های کانوولوشنی معرفی شده که می‌توان به راحتی از آن‌ در شبکه‌هایی که اتصالات میان‌بر دارند، استفاده کرد. همچنین در روش پیشنهادی به منظور جبران دقت از دست رفته، از اتصالات میان‌بر استفاده شده است. آزمایشات انجام شده نشان دهنده آن است که روش ارائه شده نقطه تعادل بهتری نسبت به روش‌های پیشین بین دقت و مقدار هرس شبکه برقرار می‌کند.

automatic pruning of convolutional networks based on continuous search and add skip connections

in recent years, convolutional networks have achieved impressive results in the field of machine vision. their high accuracy has led to their use in security and military fields, such as crime prediction and prevention. however, due to the huge calculations required by these networks, they cannot be used in embedded systems with limited computing resources. one solution to this problem is network pruning. in this method, a portion of the network is pruned while maintaining the initial structure to reduce calculations and enable use in embedded systems. traditional pruning methods typically require manual determination of the criteria and amount of pruning, and they tend to perform well on specific networks. automatic methods, on the other hand, do not have these disadvantages. however, they must address issues such as relaxing the search space, eliminating overfit during the training process, and addressing differences resulting from relaxing the search space.this article introduces a method based on gradient decent for network pruning. the method automatically searches for the optimal pruned network and can be easily applied to networks with skip connections. to compensate for lost accuracy, dynamic skip connections are used without increasing computation. tests on valid datasets demonstrate that this method achieves a better balance between accuracy and network pruning than previous methods.