Ects : 3

Enseignant responsable :

• PIERRE WOLINSKI

Volume horaire : 39

Description du contenu de l'enseignement :

Révision des fondamentaux du deep learning : algorithme de rétropropagation du gradient, lois d'initialisation des paramètres, pré-traitements et couches de neurones classiques, utilisation de la SGD et d'Adam.

Maîtrise de PyTorch: datasets, data loaders, graphe de calcul et différentiation automatique, sauvegarder et charger des modèles, classes Module, Tensor et Parameter.

Inférence bayésienne, inférence variationnelle, Variational Auto-Encoders (VAE), modèles de diffusion.

Neural Language Processing (NLP): Recurrent Neural Networks (RNN), LSTM, couches d'attention, réseaux transformers.

Pré-requis recommandés :

Python + programmation orientée objet.

Pré-requis obligatoires :

Python, calcul différentiel et intégral, statistiques (espérance et espérance conditionnelle).

Compétence à acquérir :

Connaître les fondations mathématiques et informatiques du deep learning.

Comprendre le fonctionnement des modèles de diffusion et des Large Language Models (LLM).

Mode de contrôle des connaissances :

TP noté + projet.