Le rôle de la randomisation pour la robustesse aux attaques adversariaux
21/05/2025 à 14h00
M. Lucas GNECCO HEREDIA présente ses travaux en soutenance le 21/05/2025 à 14h00
À l'adresse suivante : Université Paris Dauphine - PSL- Place du Maréchal de Lattre de Tassigny 75016 Paris - Salle des thèses - D 520
En vue de l'obtention du diplôme : Doctorat en Informatique
La soutenance est publique
Titre des travaux
Le rôle de la randomisation pour la robustesse aux attaques adversariaux
École doctorale
École doctorale Dauphine SDOSE
Équipe de recherche
UMR 7243 - Laboratoire d’Analyse et de Modélisation de Systèmes d’Aide à la Décision
Section CNU
27 - Informatique
Directeur(s)
M. Yann CHEVALEYRE
Membres du jury
| Nom | Qualité | Établissement | Rôle |
|---|---|---|---|
| M. Yann CHEVALEYRE | Professeur des universités | UNIVERSITE PARIS DAUPHINE - PSL | Directeur de thèse |
| M. Teddy FURON | Directeur de recherche | INRIA Rennes | Rapporteur |
| M. Varun JOG | Professeur | University of Cambridge | Rapporteur |
| Mme Isabelle BLOCH | Professeur des universités | Sorbonne Université | Examinatrice |
| M. Amaury HABRARD | Professeur des universités | Université Jean Monnet Saint-Étienne | Examinateur |
| M. Rafael PINOT | Chaire de professeur junior (CPJ) | Sorbonne Université | Examinateur |
| M. Benjamin NEGREVERGNE | Maître de conférences | UNIVERSITE PARIS DAUPHINE - PSL | Co-directeur de thèse |
Résumé
Cette thèse aborde le défi de la classification robuste en présence de perturbations adverses au moment de l'inférence, communément appelées attaques adverses. Les attaques adverses sont des modifications imperceptibles des données d'entrée conçues pour induire en erreur les classifieurs entraînés. L'existence de telles attaques a été démontrée dans un large éventail de modèles d'apprentissage automatique, y compris les réseaux de neurones profonds, ce qui a suscité des inquiétudes quant à la sécurité de ces modèles dans des applications critiques. Au-delà des implications immédiates en matière de sécurité, il existe encore une compréhension limitée des mécanismes fondamentaux qui rendent les réseaux de neurones profonds vulnérables aux attaques adverses et de la manière de concevoir des modèles intrinsèquement robustes à ces menaces. Parmi les solutions proposées, la randomisation est apparue comme une approche prometteuse. Les techniques basées sur la randomisation visent à introduire une stochasticité lors de l'inférence pour atténuer l'efficacité des attaques adverses. Bien que conceptuellement attrayante, l'efficacité pratique de la randomisation en tant que mécanisme de défense reste mal comprise, et son application n'a jusqu'à présent offert qu'une protection limitée contre les attaques adverses. Dans cette thèse, nous explorons l'efficacité de la randomisation en tant que mécanisme de défense contre les attaques adverses. Notre investigation est structurée autour de trois perspectives clés : celle de l'attaquant, celle du défenseur, et les implications théoriques de la randomisation dans les contextes de classification binaire et multiclasse. Tout d'abord, nous adoptons la perspective de l'attaquant et analysons les limites des algorithmes d'attaque existants contre une classe spécifique de classifieurs randomisés connus sous le nom de mixtures finies. Nous reformulons le problème d'attaquer ces modèles en un problème d'optimisation combinatoire et proposons un nouvel algorithme d'attaque conçu pour surmonter ces limitations. Ensuite, nous adoptons la perspective du défenseur et examinons les avantages potentiels de la randomisation dans le contexte de la classification binaire. Nous démontrons que, bien que la randomisation puisse offrir certains avantages dans des scénarios spécifiques, il est toujours théoriquement possible de construire un classifieur déterministe qui égalera ou surpassera la robustesse de tout classifieur randomisé donné. Nous discutons des implications pratiques de ce résultat pour les classifieurs randomisés couramment utilisés, tels que les mixtures finies et les classifieurs à injection de bruit. Enfin, nous étendons notre analyse au cadre de la classification multiclasse, où nous découvrons un contraste frappant par rapport au cas binaire. Contrairement à la classification binaire, où un classifieur déterministe peut toujours atteindre une robustesse comparable ou supérieure, indépendamment de la distribution des données ou du classifieur randomisé, nous montrons que dans le cas multiclasse, il existe des distributions de données pour lesquelles aucun classifieur déterministe ne peut égaler la robustesse du meilleur classifieur randomisé. Nous caractérisons partiellement les distributions de données discrètes à support fini pour lesquelles ce phénomène se produit, et nous construisons une famille de distributions pour lesquelles l'écart de performance entre le meilleur classifieur déterministe et le meilleur classifieur randomisé peut être rendu arbitrairement proche de $frac{1}{2}$. Cette thèse se conclura par des questions ouvertes et des perspectives pour les recherches futures dans le domaine de la robustesse adverses et de la randomisation.