Représentations séparables de formes 3D pour le traitement de formes
29/06/2021 à 16h30
M.Raphaël GROSCOT présente ses travaux en soutenance le 29/06/2021 à 16h30
À l'adresse suivante : En visioconférence
En vue de l'obtention du diplôme : Doctorat en Sciences
La soutenance est publique
Titre des travaux
Représentations séparables de formes 3D pour le traitement de formes
École doctorale
École doctorale Dauphine SDOSE
Équipe de recherche
UMR 7534 - Centre de Recherche en Mathématiques de la Décision
Section CNU
26 - Mathématiques appliquées et applications des mathématiques
Directeur(s)
M. Laurent COHEN
Membres du jury
| Nom | Qualité | Établissement | Rôle |
|---|---|---|---|
| M. Laurent COHEN | Directeur de recherche | UNIVERSITE PARIS DAUPHINE - PSL | Directeur de thèse |
| M. Pierre ALLIEZ | Directeur de recherche | INRIA SOPHIA-ANTIPOLIS | Rapporteur |
| M. Justin SOLOMON | Associate professor | Massachusetts Institute of Technology | Rapporteur |
| Mme Marie-Odile BERGER | Directeur de recherche | INRIA NANCY GRAND EST | Examinatrice |
| M. Mathieu AUBRY | Chargé de recherche | ÉCOLE DES PONTS PARISTECH | Examinateur |
| M. Simon MASNOU | Directeur de recherche | UNIVERSITÉ CLAUDE BERNARD LYON 1 | Examinateur |
| M. Gabriel PEYRÉ | Directeur de recherche | ECOLE NORMALE SUPERIEURE | Examinateur |
Résumé
L'analyse et la synthèse de formes 3D deviennent un enjeu majeur dans de plus en plus d'industries. Du divertissement à l'imagerie médicale, en passant par les véhicules autonomes, de nombreuses innovations exigent de traiter des formes en quantités de plus en plus importantes. Cependant, elles posent deux défis majeurs. Le premier est leur manque de représentation canonique. Voxels, nuages de points ou maillages ont chacun leurs avantages et inconvénients.
Le second est la relation entre forme et sens. Les formes naturelles peuvent généralement être décomposées en parties, mais la fonction est difficile à démêler de la géométrie. Cette thèse explore plusieurs représentations de formes séparant la sémantique de la géométrie, à des fins de génération. Le premier mouvement s'appuie sur l'apprentissage automatique et les réseaux de neurones. Ces derniers ont démontré leur capacité à séparer le sens de l'apparence dans les images, et nous montrons comment ces idées s'appliquent aux formes 3D. Nous nous sommes concentrés sur le problème des recombinaisons de formes, i.e. la génération de formes dont les éléments constitutifs proviennent de modèles différents. Ce problème présente une ambiguïté inhérente, une tension entre la fidélité d'une pièce donnée à sa forme originale et la cohérence de l'objet nouvellement assemblé. Nous abordons cette ambiguïté au moyen de modèles génératifs, dont les espaces latents servent d'intermédiaire de plausibilité. Nous concevons ici deux réseaux de neurones spécifiquement qui reproduisent la segmentation des formes au sein de leurs espaces latents. Le premier fonctionne avec des nuages de points, naturellement séparables en sous-nuages. Il dédie des coordonnées spécifiques du code latent à chaque partie sémantique, en utilisant des encodeurs dédiés. Nous démontrons comment ceci permet de réaliser des échanges de parties et des interpolations. Le second étend la technique aux voxels, en intégrant la recombinaison via transformations affines au réseau lui-même. On l'entraîne de bout en bout au démontage et au remontage de formes, sans supervision. Les recombinaisons s'opèrent en intervenant entre ces deux étapes. Le second mouvement, plus poussé, s'appuie sur une nouvelle représentation de formes, baptisée Deformable Voxel Grid. Il s'agit d'un volume actif qui, fondé sur une minimisation d'énergie, adapte l'espace ambiant à la forme. Il facilite traitement et analyse ultérieurs, en séparant la géométrie en contenant et contenu topologique. Ceci repose sur une étape inversible, le recalage, qui permet d'interpréter notre modèle comme un générateur de forme à espace latent explicite et discret. Nous proposons d'abord plusieurs approximations qui permettent d'appliquer des DVG à n'importe quel jeu de données, automatiquement. Notre méthode d'optimisation ne requiert que des informations de surface éparses, et s'exécute en parallèle sur GPU, en l'implémentant comme un réseau de neurones. Après avoir calculé des DVG sur des formes variées, telles que des chaises ou des avions, nous réalisons une analyse approfondie de solutions naïves qui, exploitant la séparation contenant/contenu, marchent étonnamment bien sur un éventail d'applications : exploration de données, recherche par similarité, synthèse de forme par déformation, approximation avec des quadrilatères et correspondances de formes. Enfin, nous élaborons un cadre plus large pour le morphing de formes, s'appuyant sur une métrique entre formes recalées dans leurs DVG respectifs. La recherche d'un chemin minimal entre deux points de l'espace latent discret des DVG fournit les images clés d'un morphing, et les étapes intermédiaires s'interpolent facilement. Nous menons des expériences qui montrent que nos morphings sont qualitativement comparables à l'état de l'art en deep learning, tout en nécessitant des ensembles de données beaucoup plus maigres et en étant non seulement explicables, mais aussi modifiables en cas d'erreur.