چکیده

روش‌های گرادیان یک خانواده مهم از الگوریتم‌ها برای حل مسائل بهینه سازی نامقید هستند که به دلیل رفتار مناسب دور از جواب، استفاده نکردن از مشتقات مرتبه دوم و هزینه محاسباتی کم همواره مورد توجه محققان بوده اند. خواص مناسب این روش‌ها از یک سو و سرعت همگرایی پایین آنها از سوی دیگر باعث شد که محققان زیادی تلاش خود را صرف پیدا کردن روش‌هایی مرتبط با حفظ خواص مناسب و سرعت همگرایی بالاتر کنند.

یکی از روش‌های این رده، روش گرادیان نستروف است که اولین بار توسط نستروف ارائه شد. او نشان داد این روش برای توابع محدب دارای همگرایی مجذوری است. در این پایان نامه ضمن بررسی روش گرادیان نستروف یک توسیع از این الگوریتم با افزودن یک رابطه به‌هنگام همراه با یک رابطه ریستارت جدید ارائه می شود. نتایج عددی ارائه شده در این پایان نامه نشان دهنده کارایی بهتر الگوریتم جدید نسبت به الگوریتم گرادیان نستروف است.

بهینه سازی غیرخطی نامقید

Gradient methods are an important family for solving unconstrained optimization problems which have the proper properties such as proper behavior far from the answer, not using second-order derivatives and low computing costs

The appropriate properties of these methods along with their slow convergence rate caused many researchers to devote their efforts to find methods to maintain the proper properties and to increase the rapid of convergence. Nesterov gradient method is one of the efficient methods which was first presented by Nesterov, he showed the quadratic convergence for this method on convex functions

In this thesis along with studying the Nesterov gradient method, a new extention of it is presented. The new updating rule and a new restart scheme are embedded to the basic algorithm. Numerical results show better performance of the proposed algorithm than the Nesterov gradient method