Université Lyon 1
Arqus
Accueil  >>  Optimisation convexe : alg et applications en apprentissage
  • Unité d'enseignement : Optimisation convexe : alg et applications en apprentissage
Nombre de crédits de l'UE : 3
Code APOGEE : MAT2567M
    Responsabilité de l'UE :
SANTAMBROGIO FILIPPO
 filippo.santambrogiouniv-lyon1.fr
    Type d'enseignement
Nb heures *
Cours Magistraux (CM)
12 h
Travaux Dirigés (TD)
6 h
Travaux Pratiques (TP)
12 h

* Ces horaires sont donnés à titre indicatif.

    Compétences attestées (transversales, spécifiques) :
Non rédigé
    Programme de l'UE / Thématiques abordées :

Rappels sur la notion de convexité : fonctions strictement et fortement convexes, régularité, sous-différentiel.

Algorithmes de descente de gradient et de gradient projeté.

Taux de convergence selon la régularité et la forte convexité de la fonction.

Quelques mots sur l’algorithme de sous-gradient.

Opérateur proximal, algorithmes proximaux et optimisation de fonctions non-lisses (pénalisation L1, Lasso…).

Quelques mots sur les algorithmes de gradient accéléré et l’algorithme FISTA.

Optimisation stochastique et algorithme de gradient stochastique, critères de choix (échantillonnage uniforme vs importance sampling).

Dualité convexe : transformation de Legendre-Fenchel et dérivation formelle d’un problème dual par interversion inf-sup. Dualité faible et forte.

Algorithmes utilisant la dualité : Uzawa, Lagrangien Augmenté…

Exemples de problèmes d’optimisation dans le domaine de l’apprentissage. Discussion sur le rôle de la convexité (et digression sur l’optimisation non-convexe) dans l’optimisation en grande dimension et dans les applications à l’apprentissage, lien avec la notion de sparsité et les pénalisation L1.

 

La plupart des résultats de convergence seront vus en CM, les TD seront dédiés aux compléments sur les fonctions convexes, aux exemples d’application, et aux exercices, et les TP porteront sur la programmation de certains algorithmes et l’observation expérimentale de leur convergence.
    Parcours / Spécialité / Filière / Option utilisant cette UE :
SELECT MEN_ID, `MEN_DIP_ABREVIATION`, `MEN_TITLE`, `PAR_TITLE`, `PAR_ID` FROM parcours INNER JOIN ue_parcours ON PAR_ID_FK=PAR_ID INNER JOIN mention ON MEN_ID = PAR_MENTION_FK WHERE PAR_ACTIVATE = 0 AND UE_ID_FK='25328' ORDER BY `MEN_DIP_ABREVIATION`, `MEN_TITLE`, `PAR_TITLE`