بهینه سازی الگوریتم فرا ابتکاری بر روی ساختار mh

فرآیند یادگیری و بهینه‌سازی فراپارامتری شبکه‌های عصبی مصنوعی (ann) و معماری‌های یادگیری عمیق (dl) یکی از چالش‌برانگیزترین مشکلات یادگیری ماشین در نظر گرفته می‌شود. چندین مطالعه گذشته از روش‌های انتشار برگشتی مبتنی بر گرادیان برای آموزش معماری‌های dl استفاده کرده‌اند. با این حال، روش های مبتنی بر گرادیان دارای اشکالات عمده ای مانند چسبیدن به حداقل های محلی در توابع هزینه چندهدفه، زمان اجرای گران به دلیل محاسبه اطلاعات گرادیان با هزاران تکرار و نیاز به پیوسته بودن توابع هزینه هستند. از آنجایی که آموزشann ها وdl ها یک مسئله بهینه سازی سخت np است، بهینه سازی ساختار و پارامترهای آن ها با استفاده از الگوریتم های فراابتکاری (mh) بطور قابل توجهی مطرح شده است. الگوریتم‌های mh می‌توانند تخمین بهینه مولفه‌های dl (مانند فراپارامتر، وزن‌ها، تعداد لایه‌ها، تعداد نورون‌ها، نرخ یادگیری و غیره) را با دقت فرموله کنند. این مقاله مروری جامع از بهینه‌سازی ann و dl با استفاده از الگوریتم‌های mh ارائه می‌کند. در این مقاله، آخرین پیشرفت‌ها در استفاده از الگوریتم‌های mh در روش‌های dl و ann را بررسی کرده، معایب و مزایای آن‌ها را ارائه کرده‌ایم و به برخی جهت‌های تحقیقاتی برای پرکردن شکاف‌های بین روش‌های mh و dl اشاره کرده‌ایم. علاوه بر این، توضیح داده شده است که معماری ترکیبی تکاملی هنوز کاربرد محدودی در ادبیات دارد. همچنین، این مقاله آخرین الگوریتم‌های mh را در ادبیات طبقه‌بندی می‌کند تا اثربخشی آن ها را در آموزش dl و ann برای کاربردهای مختلف نشان دهد. بیشتر محققان تمایل دارند الگوریتم‌های ترکیبی جدید را با ترکیب mhs برای بهینه‌سازی فراپارامترهای dl و ann گسترش دهند. توسعه mh های ترکیبی به بهبود عملکرد الگوریتم ها کمک می کند و قادر به حل مسائل پیچیده بهینه سازی است. به طور کلی، عملکرد بهینه mhs باید بتواند به یک مبادله مناسب بین ویژگی‌های اکتشاف و بهره‌برداری دست یابد. از این رو، این مقاله سعی می کند الگوریتم های مختلف mh را از نظر روند همگرایی، اکتشاف، بهره برداری و توانایی اجتناب از حداقل های محلی خلاصه کند. انتظار می رود ادغام mh با dlها در چند سال آینده روند آموزش را تسریع کند. با این حال، انتشارات مرتبط با این روش هنوز نادر است.