Retour

G-2024-43

Complexity of trust-region methods in the presence of unbounded Hessian approximations

, et

référence BibTeX

Nous étendons les analyses de complexité traditionnelles des méthodes de régions de confiance pour l'optimisation sans contrainte, possiblement non convexe. Alors que la plupart des analyses de complexité supposent que les hessiennes du modèle sont uniformément bornées, nous travaillons avec des hessiennes de modèle potentiellement non bornées. La bornitude n'est pas garantie dans les implémentations pratiques, en particulier celles basées sur des mises à jour quasi-Newton telles que PSB, BFGS et SR1. Notre analyse est menée pour une famille de méthodes de régions de confiance qui inclut la plupart des méthodes connues comme cas particuliers. Nous examinons deux régimes de croissance de la Hessienne : l'un borné par une puissance du nombre d'itérations réussies, et l'autre borné par une puissance du nombre d'itérations total. Cela nous permet de formaliser et de confirmer la profonde intuition de Powell (2010), qui a étudié la convergence sous un cas spécial de nos hypothèses, mais dont la preuve contenait des arguments de complexité. Plus précisément, pour \(0 \leq p < 1\), nous établissons une complexité d'évaluation en \(O(\epsilon^{-2/(1-p)})\) pour trouver un point \(\epsilon\)-stationnaire lorsque les hessiennes du modèle sont en \(O(k^p)\), où \(k\) est le compteur d'itération. Pour \(p = 1\), qui est le cas étudié par Powell, nous établissons une complexité d'évaluation en \(O(\exp(c\epsilon^{-2}))\) pour une certaine constante \(c > 0\). Comme Powell le soupçonnait, cette borne est bien pire que d'autres bornes spéculées ailleurs dans la littérature. Nous établissons des bornes similaires lorsque les hessiennes du modèle sont en \(O(|\mathcal{S}_k|^p)\), où \(|\mathcal{S}_k|\) est le nombre d'itérations réussies jusqu'à l'itération \(k\). À notre connaissance, ce travail est le premier à fournir des bornes de complexité lorsque les hessiennes du modèle croissent linéairement avec \(|\mathcal{S}_k|\) ou au plus linéairement avec \(k\), ce qui couvre plusieurs approximations quasi-Newton.

, 18 pages

Axe de recherche

Document

G2443.pdf (740 Ko)