بهبود یادگیری شبکه‌های عصبی با استفاده از ضرایب بهینه در الگوریتم لونبرگ-مارکوارت

انعطاف‌پذیری، قابلیت و کارایی بالای شبکه‌های‌عصبی سبب شده که در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرند. استفاده از یادگیری مناسب برای شبکه‌عصبی اهمیت بسیار بالایی دارد و برای این منظور می‌توان از روش‌های بهینه‌سازی استفاده کرد که می‌توان آن‌ها را به دو دسته کلی: مبتنی بر هوش و مبتنی بر گرادیان، تقسیم کرد. در روش‌های مبتنی بر گرادیان معمولا از گرادیان مرتبه اول (روش متداول) و گرادیان مرتبه دوم (روش نیوتن) استفاده می‌شود. در روش‌های مبتنی بر گرادیان مرتبه دوم سعی شده که سرعت همگرایی نسبت به روش گرادیان متداول افزایش یابد، منتهی حجم محاسبات (ماتریس هسین) نیز افزایش می‌یابد. برای جبران مسئله محاسبات ماتریس هسین روش‌هایی ارائه شده است، از جمله روش لونبرگ-مارکوارت که در آن به جای محاسبه ماتریس هسین، فقط قسمتی از آن که دارای محاسبات کم است استفاده می‌شود که با این ایده حجم محاسبات کاهش یافته ولی همچنان سرعت همگرایی بسیار مناسب است. در این روش با افزودن پارامتری به نام ضریب همبستگی، ترکیبی از روش‌های گرادیان مرتبه اول و مرتبه دوم ارائه شده است. در این مقاله مسئله یادگیری شبکه عصبی با استفاده از روش لونبرگ-مارکوارت حل شده‌است و همچنین سعی شده که با ایده گرفتن از روش روزن‌بروک، روشی مناسب برای تعیین ضریب همبستگی ارائه شود. نهایتا روش پیشنهادی برای یادگیری شبکه‌عصبی به منظور شناسایی یا مدلسازی یک تابع غیرخطی استفاده شده است و نتایج بدست آمده با نتایج حاصل از روش ازدحام‌ذرات (مبتنی بر هوش جمعی) و روش گرادیان متداول مقایسه شده است که برتری روش پیشنهادی را نشان می‌دهد.