ارائه ی یک روش بهینه سازی شبه نیوتون با حافظه ی محدود و قابلیت اجرا به صورت موازی

روش نیوتن به‌دلیل دقت بالاتر نسبت به روش‌های مرتبه اول در تقریب تابع هدف، گزینه‌ای مطلوب محسوب می‌شود؛ با این حال، نیاز به محاسبه صریح ماتریس هسی دارد. در مقابل، روش‌های شبه‌نیوتن به‌دلیل بی‌نیازی از محاسبه صریح ماتریس هسی همواره مورد توجه پژوهشگران بوده‌اند.هدف ما در اینجا ارائه یک روش شبه نیوتن است به طوری که بتواند در عین تقریب هسی به صورت مناسب، سرعت بالایی هم داشته باشد. روش ما از دید عملگری به ماتریس هسی نگاه می‌کند. طبق دیدگاه عملگری، ماتریس مانند یک عملگر خطی است که یک بردار ورودی دریافت و یک بردار در خروجی به دست می‌دهد. هسی نیز طبق این دیدگاه یک بردار گرادیان را دریافت و یک بردار در خروجی به دست می‌دهد. در روش ما هسی نه به صورت صریح، بلکه به‌صورت تقریب رتبه پایین و به‌وسیله‌ی یک سری بردار و عدد نمایش داده می‌شود. روش ما قابلیت انجام محاسبات به صورت موازی را دارد و به همین دلیل سرعت اجرای بالایی دارد. علاوه بر این، روش ما توانایی کار با حافظه محدود را دارد. نتایج به دست آمده نیز نشان می‌دهد که روش ارائه شده، نسبت به روش شبه نیوتن l-bfgs سرعت بیشتری دارد. همچنین در مسائلی که تعداد زیادی متغیر دارند، روش ما نسبت به bfgs از کارایی محاسباتی بیشتری برخوردار است.

a limited-memory quasi-newton optimization method with parallel computing capability

newton's method is considered preferable due to its higher accuracy compared to first-order methods in approximating the target function، however، it requires the explicit computation of the hessian matrix. on the other hand، quasi-newton methods are popular among researchers because they don't require directly calculating the hessian matrix.here، we propose a quasi-newton method designed to achieve high computational speed while accurately approximating the hessian. our approach views the hessian matrix from an operational perspective.from the operational perspective، a matrix acts as an operator that transforms an input vector into an output vector. following this approach، the hessian matrix takes a gradient vector as input and generates an output vector accordingly. our method is designed to perform calculations in parallel، enabling high execution speed. moreover، our method is specifically designed to operate efficiently with limited memory، making it well-suited for large-scale problems. our experimental results indicate that the proposed method is faster than the quasi-newton l-bfgs method. for instance، in applications such as quadratic optimization problems، our method demonstrates a significant performance improvement، executing approximately ten times faster than l-bfgs. furthermore، in problems involving a large number of variables، our method is more computationally efficient than bfgs.