Attaques adverses: un point de vue théorique. Éléments de théorie des jeux, transport optimal et systèmes dynamiques
08/09/2022 à 15h00
M. Laurent MEUNIER présente ses travaux en soutenance le 08/09/2022 à 15h00
À l'adresse suivante : Université Paris Dauphine-PSL, Pl. du Maréchal de Lattre de Tassigny, 75016 Paris Salle des thèses - D520
En vue de l'obtention du diplôme : Doctorat en Informatique
La soutenance est publique
Titre des travaux
Attaques adverses: un point de vue théorique. Éléments de théorie des jeux, transport optimal et systèmes dynamiques
École doctorale
École doctorale Dauphine SDOSE
Équipe de recherche
UMR 7243 - Laboratoire d’Analyse et de Modélisation de Systèmes d’Aide à la Décision
Section CNU
27 - Informatique
Directeur(s)
M. Jamal ATIF
Membres du jury
| Nom | Qualité | Établissement | Rôle |
|---|---|---|---|
| M. Jamal ATIF | Professeur des universités | UNIVERSITE PARIS DAUPHINE - PSL | Directeur de thèse |
| M. Julien MAIRAL | Chargé de recherche | INRIA de Grenoble | Rapporteur |
| M. Panayotis MERTIKOPOULOUS | Chargé de recherche | CNRS Inria/LIG research team POLARIS | Rapporteur |
| M. Olivier TEYTAUD | Ingénieur de recherche | Facebook France | Co-encadrant de thèse |
| M. Gabriel PEYRÉ | Directeur de recherche | CNRS | Examinateur |
| Mme Isabelle GUYON | Professeur des universités | Université Paris-Saclay | Examinatrice |
Résumé
Cette thèse étudie le problème de classification en présence d’attaques adverses. Une attaque adverse est une petite perturbation humainement imperceptible de l’entrée d’un algorithme, construite pour tromper les meilleurs classifieurs d’apprentissage automatique. En particulier, les réseaux de neurones profonds (« deep learning »), utilisés dans des systèmes critiques d’intelligence artificielle comme les voitures autonomes, présentent des risques considérables avec l’éventualité de telles attaques. Il est d’autant plus surprenant qu’il est très facile de créer des attaques adverses et qu’il est difficile de se défendre contre celles-ci en gardant un haut niveau de précision. La robustesse aux perturbations adverses est encore mal comprise par la communauté scientifique. Dans cette thèse, notre but est des comprendre mieux la nature de ce problème en adoptant un point de vue théorique. Pouvons-nous trouver un moyen pour nous défendre contre les exemples adverses ? Dans une première partie, nous abordons le problème des exemples adverses du point de vue de la théorie des jeux. Nous étudions la question ouverte de l'existence d'équilibres de Nash mixtes dans le jeu à somme nulle formé par l'attaquant et le classificateur. Pour cela, nous considérons un classifieur aléatoire et nous introduisons un attaquant plus général qui peut déplacer chaque point de façon aléatoire à proximité des points originaux. Alors que les approches précédentes reposant sur la théorie des jeux permettent généralement à un seul joueur d'utiliser des stratégies aléatoires, nous montrons la nécessité de considérer l'aléatoire à la fois pour le classifieur et l'attaquant. Nous démontrons que ce jeu n'a pas de saut de dualité, ce qui signifie qu'il admet toujours des équilibres de Nash approximatifs. Nous fournissons également les premiers algorithmes d'optimisation pour apprendre un mélange d'un nombre fini de classificateurs qui réalise approximativement la valeur de ce jeu, c'est-à-dire des procédures pour construire un classificateur aléatoire optimalement robuste. Dans une deuxième partie, nous étudions le problème du choix des fonctions objectives dans le cas de la classification en présence d'exemples adverses. En classification, le but est de maximiser la précision, mais en pratique, la précision n'est pas optimisable efficacement. Au lieu de cela, il est habituel de minimiser une fonction objective convexe et continue qui satisfait une propriété appelée « consistance ». Dans le cas de la classification en présence d'exemples adverses, nous abordons ce problème et montrons qu'un large éventail de pertes habituellement cohérentes ne le sont pas. En particulier, les fonctions objectives convexes ne sont des bonnes fonctions objectives pour le problème des attaques adverses. Enfin, nous traçons un chemin vers la construction de fonctions objectives consistantes, mais cette question est traitée partiellement et laissée en suspens. Dans la dernière section, nous étudions la robustesse des réseaux neuronaux du point de vue des systèmes dynamiques. Les réseaux de neurones résiduels (ResNets) peuvent en effet être interprétés comme une discrétisation d'une équation différentielle paramétrique du premier ordre. En étudiant ce système, nous fournissons une méthode générique pour construire des réseaux neuronaux 1-Lipschitz et montrons que certaines approches précédentes sont des cas particuliers de ce cadre. Nous étendons ce raisonnement et montrons que les flux ResNet dérivés de potentiels convexes définissent des transformations 1-Lipschitz, ce qui nous conduit à définir le Convex Potential Layer (CPL, couche à potentiel convexe).