De Cauchy aux réseaux de neurones, la descente de gradient et ses variantes

par S. Masnou

Le calcul des variations moderne prend son essor entre le 17e et le début du 19e siècle avec, entre autres, les travaux fondateurs de Newton, Euler et Lagrange.
C’est dans ce contexte que Louis Augustin Cauchy introduit formellement en 1847, dans une note brève à l’Académie des Sciences, la méthode de descente de gradient.
Presque anodine lorsque Cauchy l’invente, cette méthode a pourtant pris au fil des ans une importance colossale en optimisation numérique, au point d’être aujourd’hui un outil clé en intelligence artificielle.
L’exposé reviendra sur les grands principes du calcul des variations et de l’optimisation, sur les aspects théoriques et numériques de la méthode de gradient, de Cauchy à aujourd’hui, et enfin sur ses applications et ses développements modernes : descente de gradient stochastique, optimisation par lots, méthodes inertielles, entraînement de réseaux de neurones...