جست‌وجوی معماری شبکه‌های عصبی عمیق آگاه از منابع در سامانه‌های نهفته چند‌هسته‌ای

ایجاد شبکه‌های عصبی به ‌صورت دستی فرایندی کند و مبتنی بر آزمون‌وخطا است که با افزایش تعداد پارامترها یا لایه‌ها، به طور قابل‌توجهی هزینه‌بر و غیر‌بهینه می‌شود؛ برای حل این مشکل، الگوریتم‌های خودکار جست‌وجوی معماری شبکه (nas) معرفی شده‌اند که به‌تازگی توانسته‌اند در مجموعه‌داده‌های مختلفی مانند cifar-10، imagenet و penn tree bank به دقت‌های بالایی دست یابند. این الگوریتم‌ها قادرند فضای وسیعی از معماری‌ها با ویژگی‌های متنوع مانند عمق، عرض، نوع اتصالات و عملیات‌ها را جست‌وجو کرده و معماری‌های بهینه را کشف کنند؛ بااین‌حال، یکی از چالش‌های اصلی nas زمان جست‌وجوی طولانی آن‌هاست که ممکن است به ده‌ها هزار ساعت gpu برسد؛ هرچند با پژوهش‌های اخیر این زمان به ده‌ها ساعت کاهش یافته‌است؛ علاوه‌بر این، این روش‌ها بر حسب معمول تنها بر بهبود دقت شبکه تمرکز می‌کنند و به معیارهای مهمی مانند سرعت شبکه و منابع مصرفی توجهی ندارند. این مسئله استفاده مستقیم از آن‌ها را در سامانه‌های نهفته با محدودیت منابع مانند قدرت پردازشی، حافظه و انرژی مصرفی دشوار می‌سازد؛ بنابراین، نیاز به روش‌های جست‌وجوی آگاه از محدودیت‌های سامانه وجود دارد. در این مقاله، روشی بر اساس کاهش گرادیان ارائه می‌شود که به طور خودکار شبکه‌هایی مناسب برای اجرا بر روی پردازنده‌های چندهسته‌ای بدون gpu طراحی می‌کند. در این روش، یک اَبَرشبکه با مسیرهای موازی و بلوک‌های محاسباتی ایجاد می‌شود. برای انتخاب عملیات مناسب در هر بلوک از مسیر، از تعدادی متغیر تصمیم‌گیری استفاده می‌‌شود؛ همچنین، برای بهره‌مندی مسیرهای موازی از نتایج میانی یکدیگر و افزایش دقت شبکه، علاوه‌بر تصمیم‌گیری در مورد عملیات هر بلوک، درباره نقاط همگام‌سازی نیز تصمیم‌گیری می‌شود؛ سپس با آموزش متغیرهای تصمیم‌گیری (نوع بلوک و نقاط همگام‌سازی) هم‌زمان با وزن‌های اصلی شبکه، زیرشبکه مناسبی انتخاب می‌شود. در روش ارائه‌شده به‌دلیل استفاده از روش کاهش گرادیان، تنها دو بار فرایند آموزش انجام می‌شود. این امر زمان اجرا را نسبت به روش‌های مبتنی بر جست‌وجوی تکاملی و یادگیری تقویتی کاهش قابل‌توجهی می‌دهد؛ علاوه‌بر این، با درنظرگرفتن محدودیت‌های سامانه هدف مانند تعداد هسته‌ها و حافظه مصرفی، می‌توان به معماری مناسب‌تری نسبت به سایر روش‌ها دست یافت. آزمایش‌های انجام‌شده بر روی مجموعه‌داده cifar-10 نشان می‌دهد که روش پیشنهادی می‌تواند با زمان جست‌وجوی بسیار کم به دقت مناسبی دست یابد که کارایی آن را برای سامانه‌های نهفته با منابع محدود تایید می‌کند.

resource-aware neural architecture search for multicore embedded real-time systems

creating neural networks in a non-automatic way is a slow process based on trial and error. when the number of network parameters or the number of layers increases, the non-automatic method becomes very expensive and the final result may be suboptimal. automatic network architecture search algorithms are used to solve this problem. recently, these algorithms have been able to achieve high accuracies on various datasets such as cifar-10, imagenet, and penn tree bank. these algorithms have the ability to search a wide space of architectures with different characteristics such as network depth, width, connection method, and operations in order to discover architectures with appropriate accuracy. however, one of the traditional challenges of these algorithms is their high search time (approximately tens of thousands of gpu hours), which has been reduced to tens of hours with new research. another challenge that usually exists in these methods is their focus on improving network accuracy, while other criteria such as network speed and consumed resources are not taken into account. as a result, these methods cannot be used directly to find the optimal architecture in embedded systems that have limited resources such as processing power, memory, and energy consumption. therefore, search methods should be devised that are aware of these limitations. research has been done in this field in recent years, but these methods do not focus specifically on coarse-grained multi-core architectures that do not have a gpu. in this article, we present a method for the automatic design of networks that are suitable for running on multi-core processors. in this method, based on gradient descent, a supernet with parallel paths and computational blocks is created. the number of parallel paths is equal to or less than the number of cores. we use a series of decision variables to select appropriate operations in each block of the path. in addition to deciding on the operations performed in each block, deciding is also made regarding synchronization points to utilize the intermediate results of parallel paths and improve the network’s accuracy. then, by training the decision variables (block type and synchronization points) simultaneously with the main network weights, an appropriate subnetwork is selected. due to the use of the gradient descent method in this approach, the training process is performed only twice, resulting in the final structure of the network. as a result, it has a much lower execution time compared to other methods based on evolutionary search and reinforcement learning. additionally, considering the constraints of the target system, such as the number of cores and memory consumption, can lead to a more suitable architecture compared to other methods. experiments conducted on the cifar-10 dataset demonstrate that the proposed method can achieve satisfactory accuracy with very little search time.