کاربردِ محاسبات تقریبی در شبکه‌های عصبی کانولوشنی به منظور بهبود دقت و کارایی

شبکه‌های عصبی مصنوعی، یکی از تاثیرگذارترین و مهم‌ترین شاخه‌های علوم در دهه‌‌های گذشته هستند که در برنامه‌های کاربردیِ وسیعی مانند برنامه‌های خدمات درمانی و دارویی، تشخیص صدا و گفتار، بینایی کامپیوتر، پردازش زبان طبیعی، پردازش ویدئو و تصویر و ... به‌کار گرفته شده‌اند. برای اینکه شبکه‌های عصبی، بیشترین بازده را داشته باشند، الگوریتم‌های مورد استفاده در آن‌ها بایستی شبکه‌هایی عمیق با لایه‌های فراوان داشته باشند، که این امر نیاز به قدرت محاسباتیِ بسیار بالا چه در مرحله‌ی آموزش شبکه و چه در مرحله‌ی استنتاج دارد. در سال‌های اخیر محاسبات تقریبی، یکی از امیدبخش‌ترین رویکردها برای کاهش مصرف انرژی در برنامه‌هایی که قابلیت تحمل درجه‌ای از کاهش دقت را دارند، بوده است. در روش پیشنهادی، مختص لایه اول شبکه‌عصبی کانولوشن، به منظور فشرده‌سازی و کاهش محاسبات، با استفاده از الگوریتم خوشه‌بندیِ k-means بر روی تصاویر ورودی، به هر پیکسل برچسبی داده می‌شود و براساس آن عمل کانولوشن با استفاده از میانگین‌ پیکسل‌های هم‌خوشه انجام می‌‌گیرد که موجب کاهشِ دست کم 90 درصد در تعداد عملیات ضرب خواهد شد. سپس به منظور فشرده‌سازیِ بیشتر، با استفاده از یکی از روش‌های هرس شبکه‌های عصبی بر مبنای معیار l1-norm، مقدار مختلفی از هرس بر روی تمام لایه‌های آن شبکه اِعمال می‌شود. طبق نتایج این پژوهش، معیارهای دقت، کارایی و اندازه پارامترهای شبکه‌های عصبی کانولوشن با استفاده از روش پیشنهادی برروی 2 شبکه عصبی کانولوشنی مجزا و بر روی 4 مجموعه داده مختلف، بهبود یافته است.

application of approximate computing methods in convolutional neural networks to improve accuracy and performance

artificial neural networks are one of the most influential and important branches of science in the past decades, which have been used in a wide range of applications such as medical and pharmaceutical services, voice and speech recognition, computer vision, natural language processing, video and image processing, etc. . in order for neural networks to have the most efficiency, the algorithms used in them must have deep networks with many layers, which requires very high computing power both in the network training stage and in the inference stage. in recent years, approximate computing has been one of the most promising approaches to reduce energy consumption in applications that can tolerate accuracy reduction. in the proposed method, specific to the first layer of the convolution neural network, in order to compress and reduce the computations, each pixel is given a label using the k-means clustering algorithm on the input images, and based on that, the convolution process is performed using the average of the clustered pixels, which it will reduce the number of multiplication operations by at least 90%. then, in order to further compression, using one of the neural network pruning methods based on the l1-norm criterion, different amounts of pruning are applied to all the layers of that network. according to the results of this research, the criteria of accuracy, efficiency, and parameter size of convolutional neural networks have been improved using the proposed method on 2 separate convolutional neural networks and on 4 different datasets.