مروری بر آسیب‌پذیری شبکه‌های عصبی عمیق نسبت به نمونه‌های خصمانه و رویکرد‌های مقابله با آن‌ها

امروزه شبکه های عصبی به عنوان بارزترین ابزار مطرح در هوش مصنوعی و یادگیری ماشین شناخته شده و در حوزه های مالی و بانکداری کسب و کار ،تجارت سلامت ،پزشکی ،بیمه ،رباتیک هواپیمایی خودرو نظامی و سایر حوزهها استفاده میشوند در سال های اخیر موارد بیشماری از آسیب پذیری شبکههای عصبی عمیق نسبت به حملاتی مطرح شده که به طور غالب با افزودن اختلالات جمع شونده و غیر جمع شونده بر داده ورودی ایجاد میشوند این اختلالات با وجود نامحسوس بودن در ورودی از دیدگاه عامل ،انسانی خروجی شبکه آموزش دیده را تغییر میدهند به اقداماتی که شبکههای عصبی عمیق را نسبت به حملات مقاوم میک کنند، دفاع اطلاق میشود برخی از روشهای حمله مبتنی بر ابزارهایی نظیر گرادیان شبکه نسبت به ورودی در پی شناسایی اختلال هستند و برخی دیگر به تخمین آن ابزارها میپردازند و در تلاشند حتی بدون داشتن اطلاعاتی از آنها به اطلاعاتشان دست پیدا کنند. رویکردهای دفاع نیز برخی روی تعریف تابع هزینه بهینه و همچنین معماری شبکه مناسب و برخی دیگر بر جلوگیری یا اصلاح داده قبل از ورود به شبکه متمرکز میشوند ،همچنین برخی رویکردها به تحلیل میزان مقاوم بودن شبکه نسبت به این حملات و ارائه محدودهٔ اطمینان متمرکز شده.اند در این مقاله سعی شده است جدیدترین پژوهشها در زمینه آسیب پذیری شبکه های عصبی عمیق بررسی و نقد شوند و با انجام آزمایشهایی نسبت به بررسی کارایی هر یک اقدام و آنها را با هم مقایسه شده اند. در آزمایشهای انجام شده در بین حملات محصور شده به م و ، به ترتیب روش pgd و روش deepool کارایی بالاتری دارند زمان اجرا نیز از نگاتی است که تحلیل شده و نشان داده شده است که با توجه به برتری روشهای pgd و deepfool، این دو روش برای اجرا مدت زمان بیشتری نسبت به سایر روشهای هم ردیف خود نیاز دارند و این میزان در deepool از همه روشهای حمله بیشتر است. همچنین به مقایسۀ برخی از رویکردهای پرکاربرد دفاع نسبت به نمونههای خصمانه نیز پرداخته شد؛ که از بین روشهای مبتنی بر نواحی محصور شده به ما حول ،داده روش آموزش خصمانه مبتنی بر pgd با شاخصهای معین از سایر روشها بهتر و در مقابل اغلب روشهای حمله مقاوم بوده است. گفتنی است که روشهای مختلف حمله خصمانه و همچنین روشهای مختلف دفاع نسبت به آن حملات که در این مقاله بررسی شده است از طریق نشانی https://github.com/khalooei/ars در دسترس علاقه مندان قرار دارند.

a survey on vulnerability of deep neural networks to adversarial examples and defense approaches to deal with them

nowadays the most commonly used method in various tasks of machine learning and artificial intelligence are neural networks. in spite of their different uses, neural networks and deep neural networks (dnns) have some vulnerabilities. a little distortion or adversarial perturbation in the input data for both additive and non-additive cases can be led to change the output of the trained model, and this could be a kind of dnn vulnerability. despite the imperceptibility of the mentioned disturbance for human beings, dnn is vulnerable to these changes. creating and applying any malicious perturbation named “attack”, penetrates dnns and makes them incapable of doing the duty assigned to them. in this paper different attack approaches were categorized based on the signal applied in the attack procedure. some approaches use the gradient signal for detecting the vulnerability of dnn and try to create a powerful attack. the other ones create a perturbation in a blind situation and change a portion of the input to create a potential malicious perturbation. adversarial attacks include both black-box and white-box situations. white-box situation focuses on training loss function and the architecture of the model but black box situation focuses on the approximation of the main model and dealing with the restriction of the input-output model request. making a deep neural network resilient against attacks is named “defense”. defense approaches are divided into three categories. one of them tries to modify the input, the other one makes some changes in the developed model and also changes the loss function of the model. in the third defense approach some networks are first used for purification and refinement of the input before passing it to the main network. furthermore, an analytical approach was presented for the entanglement and disentanglement representation of inputs of the trained model. the gradient is a very powerful signal usually used in learning and an attacking approaches. besides, adversarial training is a well-known approach in changing a loss function method to defend against adversarial attacks. in this study the most recent research on the vulnerability of dnn through a critical literature review was presented. literature and our experiments indicate that the projected gradient descent (pgd) and autoattack methods are successful approaches in the l2 and l∞  bounded attacks, respectively. furthermore, our experiments indicate that autoattack is much more time-consuming than the other methods. in the defense concept, different experiments were conducted to compare different attacks in the adversarial training approaches. our experimental results indicate that the pgd is much more efficient in adversarial training than the fast gradient sign method (fgsm) and its deviations like mifgsm and covers a wider range of generalizations of the trained model on predefined datasets. furthermore, autoattack integration with adversarial training works well, but it is not efficient in low epoch numbers. aside from that, it has been proven that adversarial training is time-consuming. furthermore, we released our code for researchers or individuals interested in extending or evaluating predefined models for standard and adversarial machine learning projects. a more detailed description of the framework can be found at https://github.com/khalooei/robustness-framework .