یادگیری شبکه عصبی با روش لونبرگ - مارکوارت بهبود یافته

دراین مقاله روشی جدید برای افزایش سرعت همگرایی و کارایی روش لونبرگ - مارکوارت ارائه می‌شود. روش لونبرگ - مارکوارت یک روش مبتنی بر نیوتن است که در بهینه‌سازی و تعیین ضرایب شبکه‌های عصبی دارای کارایی مناسبی در مقایسه با سایر روش‌ها ازجمله روش پس ‌انتشارخطا است. با این ‌حال، عملکرد این روش به‌طور قابل‌توجهی به انتخاب ضریب دمپینگ مناسب بستگی دارد. ازجمله روش‌های مختلف تعیین ضریب دمپینگ، روش جستجو خطی مارکوارت و روش‌های مبتنی بر نرم خطا و مبتنی بر نرم ژاکوبین می‌باشند که در این مقاله با بررسی نقاط ضعف و قوت این روش‌ها، یک روش ترکیبی جهت افزایش سرعت همگرایی ارائه می‌شود. درروش پیشنهادی بازه جستجوی ضریب دمپینگ و درنتیجه مقدار پارامتر نرخ تنظیم کاهش‌یافته است. با انجام این اصلاحات دقت جستجوی ضریب دمپینگ افزایش‌یافته و سرعت همگرایی روش پیشنهادی افزایش می‌یابد. به‌منظور ارزیابی روش پیشنهادی، یادگیری یک شبکه‌عصبی برای شناسایی یک تابع غیرخطی پیچیده، یک مساله رگرسیون و یک مساله طبقه‌بندی مورد شبیه‌سازی قرارگرفته و نتایج به‌دست‌آمده نشان می‌دهد که روش پیشنهادی در مقایسه با سایر روش‌های مورد بررسی، دارای کارایی مناسبی بوده و توانسته است خطای یادگیری را به حد قابل قبولی کاهش داده و سرعت همگرایی بالاتری داشته باشد.

neural network learning using an improved levenberg-marquardt algorithm

this paper presents a new method to improve the convergence speed and efficiency of the levenberg-marquardt algorithm. the levenberg-marquardt algorithm is a newton-based method that is efficient in optimization and determining the weights of neural networks compared to other methods, including the backpropagation method. however, the performance of this method depends significantly on the selection of an appropriate damping factor. among the various methods for determining the damping factor, the marquardt line search method and methods based on error norm and based on jacobian norm are mentioned, which in this paper, by examining the strengths and weaknesses of these methods, a combined method is presented to increase the convergence speed. in the proposed method, the search range of the damping factor and, as a result, the value of the adjustment rate parameter is reduced. by making these corrections, the accuracy of the damping factor search is increased and the convergence speed of the proposed method is increased. in order to evaluate the proposed method, learning a neural network to identify several problems including a nonlinear complex function, a regression and a classification task has been simulated and the results show that the proposed method has good efficiency compared to other methods studied and has been able to reduce the learning error to an acceptable level and has a higher convergence speed.