Cette présentation, destinée à un large spectre de chercheurs, met en évidence les dernières avancées dans l'accélération des algorithmes d'optimisation de premier ordre, un domaine qui suscite actuellement l'attention de nombreuses équipes de recherche dans le monde entier. Les méthodes de premier ordre, telles que la descente de gradient ou le gradient stochastique, ont gagné en popularité significative. Le développement phare dans ce domaine peut être attribué au mathématicien Yurii Nesterov, qui a proposé en 1983 une classe de méthodes de gradient accélérées qui ont démontré des taux de convergence globale plus rapides que la descente de gradient. Une autre mention notable est l'algorithme FISTA, introduit par Beck et Teboulle en 2009, qui a connu une acceptation généralisée dans les communautés d'apprentissage machine et de traitement du signal et de l'image.

D'un autre angle, les algorithmes d'optimisation basés sur le gradient peuvent être analysés à travers le prisme des équations différentielles ordinaires (EDO). Cette perspective nous permet de proposer de nouveaux algorithmes en discrétisant ces EDO et améliore leur performance grâce à des techniques d'accélération, tout en maintenant la faible complexité computationnelle nécessaire pour l'analyse de données massives.

Nous nous plongerons également dans la méthode Ravine, introduite par Gelfand et Tsetlin en 1961. De manière intéressante, la méthode de gradient accéléré de Nesterov et la méthode Ravine ont une relation étroite ; on peut dériver l'une ou l'autre méthode en inversant simplement l'ordre des opérations d'extrapolation et de gradient dans leurs définitions. Plus surprenant encore, les deux méthodes sont basées sur les mêmes équations. Par conséquent, les praticiens utilisent souvent la méthode Ravine, la confondant parfois avec le Gradient Accéléré de Nesterov.

Tout au long de la présentation, nous intercalerons également des faits historiques et poserons des questions ouvertes pour encourager une exploration plus approfondie dans le domaine.