بررسی جامع تاثیر الگوریتم های بهینه سازی بر سرعت همگرایی و تعمیم مدل های یادگیری عمیق

در سالهای اخیر رشد مدل های یادگیری عمیق و تقاضای محاسباتیِ بزرگ برای آموزش آنها، نیاز به الگوریتم های بهینه سازی سریع و قابل اعتماد را افزایش داده است. در این مقاله، نقش و تاثیر الگوریتم های بهینه سازی در آموزش مدل های یادگیری عمیق بر اساس دو معیار سرعت همگرایی و توان تعمیم بررسی شده است. مطالعه روش های گرادیانی sgd و مشتقات تطبیقی مانند adam و adamw و خانواده روشهای شبه نیوتنی مانند ، l-bfgs ، k-fac و نسخه های kronecker-factored و نیز الگوریتم sam، نتایج نشان می دهد که روش های تطبیقی با اینکه معمولاً سرعت همگرایی اولیهٔ بالاتری دارند، ولی در بسیاری از موارد، دقت تعمیم آنها نسبت به sgd کمتر است. در مقابل، روش های شبه نیوتنی ساختارآگاه با مدیریت بهینهٔ هزینهٔ محاسباتی و حافظه می توانند تعادلی مطلوب بین سرعت و دقت ارائه دهند. همچنین، روش هایی مانند sam به عنوان ابزارهایی برای بهبود تعمیم با کنترل هندسه فضای خطا مورد استفاده قرار می گیرند.