Le programme de la formation
Cours introductifs
- Introduction to R
Introduction to R
Enseignant responsable :
ROBIN RYDERVolume horaire : 3
Description du contenu de l'enseignement :
Introduction to the R programming language: loading data, writing simple functions, producing standard plots.
Compétences à acquérir :
Programming in R
Mode de contrôle des connaissances :
No evaluation
- Introduction to Bayesian Statistics
Introduction to Bayesian Statistics
Enseignant responsable :
CHRISTIAN ROBERTVolume horaire : 3
- A review of probability theory foundations
A review of probability theory foundations
Enseignant responsable :
PAUL GASSIATVolume horaire : 15
Description du contenu de l'enseignement :
Outline :
1. Basics of measure theory and integration
2. Probability : random variables, independence
3. Convergence of random variables
4. Law of Large Numbers and Central Limit Theorem
5. Conditional expectations
6. Martingales in discrete time
7. Gaussian vectors
8. Brownian motion : definition, existence, first properties
Compétences à acquérir :
The aim of this class is to provide a quick review of the probability theory that is required to follow the 1st semester classes in MATH, MASEF and MASH.
Most of the content should already be familiar to students with a M1 in Mathematics.
- Introduction à Python
Introduction à Python
Enseignant responsable :
DAVID GONTIERVolume horaire : 3
Description du contenu de l'enseignement :
Dans ce cours de 3h, nous voyons (ou re-voyons) la base de Python, et l'utilisation des notebooks. Il est illustré par 3 notebooks. Le premier rappelle les bases générales de Python. Le second porte sur l'utilisation du module pandas, et le dernier sur un problème simple d'optimisation de portfolio.
Compétences à acquérir :
- Installer Python sur sa machine
- Utiliser un notebook
- Savoir lire la documentation de Python, et écrire des codes simples
Cours fondamentaux
- Optimization for Machine Learning
Optimization for Machine Learning
Ects : 6
Enseignant responsable :
GABRIEL PEYREVolume horaire : 48
Description du contenu de l'enseignement :
This course will review the mathematical foundations for Machine Learning, as well as the underlying algorithmic methods and showcases some modern applications of a broad range of optimization techniques.
Optimization is at the heart of most recent advances in machine learning. This includes of course most basic methods (linear regression, SVM and kernel methods). It is also the key for the recent explosion of deep learning which are state of the art approaches to solve supervised and unsupervised problems in imaging, vision and natural language processing. This course will review the mathematical foundations, the underlying algorithmic methods and showcases some modern applications of a broad range of optimization techniques.
The course will be composed of both classical lectures and numerical sessions in Python. The first part covers the basic methods of smooth optimization (gradient descent) and convex optimization (optimality condition, constrained optimization, duality). The second part will features more advanced methods (non-smooth optimization, SDP programming,interior points and proximal methods). The last part will cover large scale methods (stochastic gradient descent), automatic differentiation (using modern python framework) and their application to neural network (shallow and deep nets).
Bibliographie-lectures recommandées
Theory and algorithms: Convex Optimization, Boyd and Vandenberghe Introduction to matrix numerical analysis and optimization, Philippe Ciarlet Proximal algorithms, N. Parikh and S. Boyd Introduction to Nonlinear Optimization - Theory, Algorithms and Applications, Amir Beck Numerics: Pyrthon and Jupyter installation: use only Python 3 with Anaconda distribution. The Numerical Tours of Signal Processing, Gabriel Peyré Scikitlearn tutorial #1 and Scikitlearn tutorial #2, Fabian Pedregosa, Jake VanderPlas Reverse-mode automatic differentiation: a tutorial Convolutional Neural Networks for Visual Recognition Christopher Olah, Blog
- High-dimensional statistics
High-dimensional statistics
Ects : 5
Enseignant responsable :
VINCENT RIVOIRARDVolume horaire : 24
Description du contenu de l'enseignement :
Fléau de la dimension et hypothèse de parcimonie pour la régression gaussienne, les modèles linéaires généralisés et les données de comptage.
Ondelettes et estimation par seuillage.
Choix de modèles et sélection de variables.
Estimation par pénalisation convexe : procédure Ridge, lasso, group-lasso… Liens avec l’approche bayésienne.
Tests multiples : procédures FDR, FWER.
Données fonctionnelles
Pré-requis recommandés :
Bon niveau de statistique mathématique de niveau M1
Pré-requis obligatoire :
M1 de mathématiques appliquées
Compétences à acquérir :
L’objectif de ce cours de statistique est de présenter les outils mathématiques et les méthodologies dans la situation où le nombre de paramètres à inférer est très élevé, typiquement beaucoup plus important que le nombre d’observations.
Mode de contrôle des connaissances :
Examen sur table
En savoir plus sur le cours :
www.ceremade.dauphine.fr/~rivoirar/Poly-Mash.pdf
Bibliographie-lectures recommandées
Wasserman, L. (2005) All of statistics. A concise course in statistical inference. Springer
- Advanced learning
Advanced learning
Ects : 5
Volume horaire : 24
Description du contenu de l'enseignement :
Typologie des problèmes d ’ apprentissage (supervisé vs. non-supervisé). Modèle statistique pour la classification binaire : Approches génératives vs. discriminantes. Algorithmes classiques : méthodes paramétriques, perceptron, méthodes de partitionnement. Critères de performances : erreur de classification, courbe ROC, AUC. Convexification du risque : Algorithmes de type boosting et SVM. Mesures de complexité combinatoires, métriques géométriques. Sélection de modèle et régularisation. Théorèmes de consistance et vitesses de convergence.
Compétences à acquérir :
Bases mathématiques pour la modélisation des problèmes d’apprentissage supervisé et l’analyse des algorithmes de classification en grande dimension. Il s’agit de présenter les bases mathématiques pour la modélisation des problèmes d’apprentissage supervisé et l’analyse des algorithmes de classification en grande dimension.
- Graphical models
Graphical models
Ects : 4
Enseignant responsable :
FABRICE ROSSIVolume horaire : 18
Compétences à acquérir :
Modélisation probabiliste, apprentissage et inférence sur les modèles graphiques. Les principaux thèmes abordés sont :Maximum de vraisemblance.Régression linéaire.Régression logistique.Modèle de mélange, partitionnement.Modèles graphiques.Familles exponentielles.Algorithme produit-somme.Hidden Markov models.Inférence approximéeMéthodes bayésiennes.
Cours optionnels - 5 cours à choisir parmi :
- Optimal transport
Optimal transport
Ects : 4
Enseignant responsable :
GABRIEL PEYREVolume horaire : 18
Description du contenu de l'enseignement :
Optimal transport (OT) is a fundamental mathematical theory at the interface between optimization, partial differential equations and probability. It has recently emerged as an important tool to tackle a surprisingly large range of problems in data sciences, such as shape registration in medical imaging, structured prediction problems in supervised learning and training deep generative networks. This course will interleave the description of the mathematical theory with the recent developments of scalable numerical solvers. This will highlight the importance of recent advances in regularized approaches for OT which allow one to tackle high dimensional learning problems.
The course will feature numerical sessions using Python.
- Motivations, basics of probabilistic modeling and matching problems.
- Monge problem, 1D case, Gaussian distributions.
- Kantorovitch formulation, linear programming, metric properties.
- Shrödinger problem, Sinkhorn algorithm.
- Duality and c-transforms, Brenier’s theory, W1, generative modeling.
- Semi-discrete OT, quantization, Sinkhorn dual and divergences
- Computational methods and MCMC
Computational methods and MCMC
Ects : 6
Enseignant responsable :
CHRISTIAN ROBERTVolume horaire : 21
Description du contenu de l'enseignement :
Motivations Monte-Carlo Methods Markov Chain Reminders The Metropolis-Hastings method The Gibbs Sampler Perfect sampling Sequential Monte-Carlo methods
Compétences à acquérir :
This course aims at presenting the basics and recent developments of simulation methods used in statistics and especially in Bayesian statistics. Methods of computation, maximization and high-dimensional integration have indeed become necessary to deal with the complex models envisaged in the user disciplines of statistics, such as econometrics, finance, genetics, ecology or epidemiology (among others!). The main innovation of the last ten years is the introduction of Markovian techniques for the approximation of probability laws (and the corresponding integrals). It thus forms the central part of the course, but we will also deal with particle systems and stochastic optimization methods such as simulated annealing.
- Applied Bayesian statistics
Applied Bayesian statistics
Ects : 4
Enseignant responsable :
ROBIN RYDERVolume horaire : 18
Description du contenu de l'enseignement :
We shall put in practice classical models for statistical inference in a Bayesian setting, and implement computational methods. Using real data, we shall study various models such as linear regression, capture-recapture, and a hierarchical model. We shall discuss issues of model building and validation, the impact of the choice of prior, and model choice via Bayes Factors. The implementation shall use several algorithms: Markov Chain Monte Carlo, importance sampling, Approximate Bayesian Computation. The course is based on the free software R. Practical information: Large portions of the course are devoting to students coding. Students should bring their own laptop, which must have R installed before the first session; I strongly suggest installing RStudio (free) as well.
Pré-requis obligatoire :
Pre-requisite: Knowledge of the programming language R is essential, as well as an introduction to Bayesian inference.
Compétences à acquérir :
Modelling and inference in a Bayesian setting
- Bayesian non parametric and Bayesian Machine Learning
Bayesian non parametric and Bayesian Machine Learning
Ects : 4
Volume horaire : 18
- Mixing times of Markov chains
Mixing times of Markov chains
Ects : 4
Enseignant responsable :
JUSTIN SALEZVolume horaire : 24
Description du contenu de l'enseignement :
How many times must one shuffle a deck of 52 cards? This course is a self-contained introduction to the modern theory of mixing times of Markov chains. It consists of a guided tour through the various methods for estimating mixing times, including couplings, spectral analysis, discrete geometry, and functional inequalities. Each of those tools is illustrated on a variety of examples from different contexts: interacting particle systems, card shuffling, random walks on groups, graphs and networks, etc. Finally, a particular attention is devoted to the celebrated cutoff phenomenon, a remarkable but still mysterious phase transition in the convergence to equilibrium of certain Markov chains.
Compétences à acquérir :
See the webpage of the course.
Mode de contrôle des connaissances :
Final written exam, in class.
En savoir plus sur le cours :
www.ceremade.dauphine.fr/~salez/mix.html
Bibliographie-lectures recommandées
See the webpage of the course.
- Large Language Models
Large Language Models
Ects : 4
Enseignant responsable :
ALEXANDRE ALLAUZENVolume horaire : 24
Description du contenu de l'enseignement :
The course focuses on modern and statistical approaches to NLP.
Natural language processing (NLP) is today present in some many applications because people communicate most everything in language : post on social media, web search, advertisement, emails and SMS, customer service exchange, language translation, etc. While NLP heavily relies on machine learning approaches and the use of large corpora, the peculiarities and diversity of language data imply dedicated models to efficiently process linguistic information and the underlying computational properties of natural languages.
Moreover, NLP is a fast evolving domain, in which cutting-edge research can nowadays be introduced in large scale applications in a couple of years.
The course focuses on modern and statistical approaches to NLP: using large corpora, statistical models for acquisition, disambiguation, parsing, understanding and translation. An important part will be dedicated to deep-learning models for NLP.
- Introduction to NLP, the main tasks, issues and peculiarities - Sequence tagging: models and applications - Computational Semantics - Syntax and Parsing - Deep Learning for NLP: introduction and basics - Deep Learning for NLP: advanced architectures - Deep Learning for NLP: Machine translation, a case study
Pré-requis recommandés :
pytorch
Compétences à acquérir :
- Skills in Natural Language Processing using deep-learning
- Understand new architectures
- Renforcement Learning
Renforcement Learning
Ects : 6
Volume horaire : 24
- Kernel methods
Kernel methods
Ects : 4
Enseignant responsable :
MICHAEL ARBELVolume horaire : 18
Description du contenu de l'enseignement :
Reproducing kernel Hilbert spaces et le “kernel trick”Théorème de représentationKernel PCAKernel ridge regressionSupport vector machinesNoyaux sur les semigroupesNoyaux pour le texte, les graphes, etc.
Compétences à acquérir :
Présenter les bases théoriques et des applications des méthodes à noyaux en apprentissage.
- Non-convex inverse problems
Non-convex inverse problems
Ects : 4
Enseignant responsable :
IRENE WALDSPURGERVolume horaire : 18
Description du contenu de l'enseignement :
An inverse problem is a problem where the goal is to recover an unknown object (typically a vector with real coordinates, or a matrix), given a few ``measurements'' of this object, and possibly some information on its structure. In this course, we will discuss examples of such problems, motivated by applications as diverse as medical imaging, optics and machine learning. We will especially focus on the questions: which algorithms can we use to numerically solve these problems? When and how can we prove that the solutions returned by the algorithms are correct? These questions are relatively well understood for convex inverse problems, but the course will be on non-convex inverse problems, whose study is much more recent, and a very active research topic.
The course will be at the interface between real analysis, statistics and optimization. It will include theoretical and programming exercises.
Compétences à acquérir :
Understand what is a non-convex inverse problems; get some familiarity with the most classical algorithms to solve them.
- Mathematics of deep learning
Mathematics of deep learning
Ects : 4
Enseignant responsable :
KEVIN SCAMANVolume horaire : 24
- Journalisme et données
Journalisme et données
Ects : 4
Enseignant responsable :
ROBIN RYDERVolume horaire : 18
Description du contenu de l'enseignement :
L’objectif de ce cours est de mettre en place une interaction entre des étudiants mathématiciens et journalistes, en collaboration avec l’Institut Pratique du Journalisme. Après des interventions de deux professionnels, les étudiants formeront des groupes de 2 à 4 personnes (en mélangeant M2 MASH et M2 IPJ) pour analyser en autonomie des jeux de données de grande taille. Ils auront à débroussailler les données, trouver une problématique, proposer et valider des modèles pertinents, effectuer des analyses mathématiques, choisir un angle, élaborer des visualisations de données, et rédiger un rapport accessible au grand public sous forme d’article de presse.
- Bayesian asymptotics
Bayesian asymptotics
Ects : 4
Enseignant responsable :
JUDITH ROUSSEAUVolume horaire : 18
- Topological Data Analysis
Topological Data Analysis
Ects : 4
Enseignant responsable :
VINCENT DIVOLVolume horaire : 18
Mémoire de recherche
Modalités pédagogiques
La formation démarre en septembre, avec une présence en cours obligatoire.
Stages et projets tutorés
L'étudiant choisit librement un stage proposé par l'un des enseignants, un stage en entreprise proposé dans le cadre de la "bourse des stages", ou un stage d'origine différente ayant reçu l'agrément du responsable du Master. Le stage doit être effectué après inscription du Master. Il doit présenter un enjeu scientifique réel et le développement applicatif d'un des thèmes développés dans le master.
La durée est de quatre mois minimum, entre avril et septembre de l'année universitaire en cours. Sauf dérogation exceptionnelles, le stage doit se terminer au plus tard fin septembre.
Des programmes nourris par la recherche
Les formations sont construites au contact des programmes de recherche de niveau international de Dauphine, qui leur assure exigence et innovation.
La recherche est organisée autour de 6 disciplines toutes centrées sur les sciences des organisations et de la décision.
En savoir plus sur la recherche à Dauphine