בשנים האחרונות, הולך ומתרחב השימוש באלגוריתמי אופטימיזציה אדפטיביים עבור בעיות למידה. אלגוריתמים אלו משנים את גודל הצעד תוך כדי תהליך האימון (on-the-fly) בהתאם לנתונים הנצפים (observed data). היעילות והאפקטיביות של אלגוריתמים אלו הביאו לכך שהם מהווים כיום את ברירת המחדל באימון רשתות עמוקות, כאשר Adam הוא הנפוץ שבהם.
בפרויקט זה נתעניין באלגוריתם אדפטיבי אחר שהוצע לאחרונה – Stochastic Polyak Step-size. האלגוריתם נהנה מהבטחות תיאורטיות על קצב ההתכנסות והוא בעל ביצועים אמפיריים מרשימים.
נרצה לחקור לעומק את הביצועים של האלגוריתם, כאשר קיימים מספר כיוונים אפשריים לפי העדפה של הסטודנטים.
קישור למאמר – https://arxiv.org/pdf/2002.10542.pdf