Stabilité des réseaux de neurones artificiels en apprentissage profond
20/06/2025 à 9h30
M. Blaise DELATTRE présente ses travaux en soutenance le 20/06/2025 à 9h30
À l'adresse suivante : PSL amphithéâtre Amyot, 3 rue Amyot, 75005 Paris Salle : Amphithéâtre
En vue de l'obtention du diplôme : Doctorat en Informatique
La soutenance est publique
Titre des travaux
Stabilité des réseaux de neurones artificiels en apprentissage profond
École doctorale
École doctorale Dauphine SDOSE
Équipe de recherche
UMR 7243 - Laboratoire d’Analyse et de Modélisation de Systèmes d’Aide à la Décision
Section CNU
27 - Informatique
Directeur(s)
M. Alexandre ALLAUZEN
Membres du jury
| Nom | Qualité | Établissement | Rôle |
|---|---|---|---|
| M. Alexandre ALLAUZEN | Professeur des universités | UNIVERSITE PARIS DAUPHINE - PSL | Directeur de thèse |
| M. Rémi GRIBONVAL | Directeur de recherche | Inria & ENS de Lyon | Rapporteur |
| Mme Audrey REPETTI | Associate professor | Heriot-Watt university, Edinburgh | Rapporteure |
| M. Francis BACH | Directeur de recherche | INRIA - Ecole Normale Superieure PSL Research University | Examinateur |
| M. Franck MAMALET | Senior Expert in Artificial Intelligence | IRT Antoine de Saint Exupéry | Examinateur |
| Mme Claire BOYER | Professeur des universités | Université Paris-Saclay | Examinateur |
| M. Quentin BARTHÉLEMY | Chercheur en machine learning | Foxstream | Co-encadrant de thèse |
Résumé
Ce travail examine comment de petites perturbations—qu'elles proviennent d'attaques adversariales, de bruit d'entrée, de fluctuations d'entraînement ou de variations des paramètres—peuvent entraîner des changements significatifs dans les sorties du réseau, impactant ainsi à la fois la généralisation et la robustesse adversariale. Au cœur de cette étude se trouve l'utilisation de la continuité de Lipschitz comme cadre mathématique pour quantifier et contrôler la sensibilité du réseau. En dérivant de nouvelles méthodes d'estimation de la norme spectrale, telles que la technique d'itération de Gram, on arrive à borner efficacement la constante de Lipschitz des couches denses et convolutionnelles. Cela permet de concevoir des architectures de réseaux Lipschitz par construction robustes, offrant des garanties déterministes contre les attaques adversariales tout en favorisant des flux de gradient plus stables durant l'entraînement. Ce travail s'intéresse également au lissage aléatoire, une technique stochastique qui introduit du bruit contrôlé dans les entrées afin de certifier la robustesse. De plus, il explore le lien entre le lissage aléatoire et la continuité de Lipschitz, mettant en évidence comment les techniques de lissage imposent naturellement des contraintes de Lipschitz, contribuant ainsi à la fois à la stabilité et aux garanties de certification. En outre, ce travail introduit un nouveau design d'intervalle de confiance et une atténuation de la variance afin de renforcer l'évaluation de la robustesse dans le cadre du lissage aléatoire. Par ailleurs, la thèse explore différentes stratégies de régularisation, notamment le lissage de la perte basé sur la Hessienne, qui permet d'obtenir des minima plus plats dans le paysage de la fonction de perte—une caractéristique étroitement liée à une meilleure généralisation.