Université Lyon 1
Arqus
Accueil  >>  Langages, concepts et architectures pour les données
  • Unité d'enseignement : Langages, concepts et architectures pour les données
Nombre de crédits de l'UE : 6
Code APOGEE : ACT2312M
    Responsabilité de l'UE :
CARON EDDY
 eddy.caronuniv-lyon1.fr
    Type d'enseignement
Nb heures *
Cours Magistraux (CM)
40 h
Travaux Dirigés (TD)
20 h
Durée de projet en autonomie (PRJ)
10 h

* Ces horaires sont donnés à titre indicatif.

    Pré-requis :
Connaissance du Python/R, éventuellement du Bash et de Perl
    Compétences attestées (transversales, spécifiques) :
Non rédigé
    Programme de l'UE / Thématiques abordées :

Le but de cet enseignement est de développer des compétences sur l’accès, l’extraction et la transformation des données stockées sous les formes les plus courantes : fichiers plats et bases de données. Dans une première partie, un tour d’horizon des langages/logiciels fréquemment rencontrés dans le contexte de la gestion des données sera entrepris. Pour chacun, un focus sur les packages/bibliothèques adaptés à la manipulation des données et en particulier dans un contexte de grand volume sera proposé. Les expressions régulières et leurs déclinaisons seront présentées. Des applications de contrôle de qualité et de transformation seront réalisées sur des jeux de données réels et très volumineux. Dans une seconde partie, ce sont les architectures logicielles pour la gestion des données qui seront abordées : Hadoop, Apache spark. Le lien sera fait avec la parallélisation de traintement avec des applications en apprentissage automatique.

    Parcours / Spécialité / Filière / Option utilisant cette UE :
SELECT MEN_ID, `MEN_DIP_ABREVIATION`, `MEN_TITLE`, `PAR_TITLE`, `PAR_ID` FROM parcours INNER JOIN ue_parcours ON PAR_ID_FK=PAR_ID INNER JOIN mention ON MEN_ID = PAR_MENTION_FK WHERE PAR_ACTIVATE = 0 AND UE_ID_FK='24951' ORDER BY `MEN_DIP_ABREVIATION`, `MEN_TITLE`, `PAR_TITLE`