Contributions à la mise à l'échelle d'algorithmes d'apprentissage séquentiel pour la recommandation de musique en contexte industriel.
12/12/2024 à 14h00
M. Walid BENDADA présente ses travaux en soutenance le 12/12/2024 à 14h00
À l'adresse suivante : Université Paris-Dauphine,PSL Place du Maréchal de Lattre de Tassigny 75016 Paris - Salle A701 -
En vue de l'obtention du diplôme : Doctorat en Informatique
La soutenance est publique
Titre des travaux
Contributions à la mise à l'échelle d'algorithmes d'apprentissage séquentiel pour la recommandation de musique en contexte industriel.
École doctorale
École doctorale Dauphine SDOSE
Équipe de recherche
UMR 7243 - Laboratoire d’Analyse et de Modélisation de Systèmes d’Aide à la Décision
Section CNU
27 - Informatique
Directeur(s)
M. Tristan CAZENAVE
Membres du jury
| Nom | Qualité | Établissement | Rôle |
|---|---|---|---|
| M. Tristan CAZENAVE | Professeur des universités | UNIVERSITE PARIS DAUPHINE - PSL | Directeur de thèse |
| M. Thomas BOUABCA | Directeur of Datascience | DEEZER | Co-encadrant de thèse |
| M. Craig MACDONALD | Professor | UNIVERSITY OF GLASGOW | Rapporteur |
| M. Ludovic DENOYER | Core Team Researcher | H Company | Rapporteur |
| M. Yann CHEVALEYRE | Professeur des universités | UNIVERSITE PARIS DAUPHINE - PSL | Examinateur |
| Mme Marie AL GHOSSEIN | RESEARCH SCIENTIST | Crossing Minds | Examinatrice |
| Mme Anna PAPPA | Maître de conférences | UNIVERSITE PARIS 8 | Examinatrice |
Résumé
Les systèmes de recommandation (SR) aident les utilisateurs de services en ligne à découvrir du contenu intéressant dans des catalogues trop vastes pour être explorés manuellement. Sur les plateformes de streaming musical, les SR sélectionnent, parmi des millions de chansons, albums et artistes, ceux qui ont le plus de chances d’intéresser les utilisateurs, contribuant ainsi à l'initiation ou au renouvellement d'un abonnement. Historiquement, la recherche en SR s'est focalisée sur la tâche qui consiste à prédire les notes que les utilisateurs attribueront à des articles qu'ils ne connaissent pas, en se basant sur les notes données à d'autres articles par le passé. Les modèles performants dans cette tâche peuvent être utilisés par les SR pour ordonner les articles de leurs catalogues et proposer de nouvelles recommandations. Cette ligne de recherche a mis en avant l'importance de construire des représentations latentes pour les utilisateurs et les articles à l'aide d'espaces vectoriels où la proximité géométrique correspond à une probabilité plus élevée d’interaction. Cependant, ces modèles ne prennent pas en compte certains aspects clés du streaming musical, comme le fait que les chansons sont souvent écoutées de manière séquentielle, avec des retours réguliers des utilisateurs. De plus, les catalogues musicaux, souvent composés de dizaines de millions de chansons, sont en grande partie inexplorés. Pour ces raisons, la recherche récente en SR s'est tournée vers la modélisation de séquences et l'apprentissage par renforcement. Toutefois, au début de ce projet de recherche, ces approches étaient limitées par des défis de mise à l’échelle qui limitaient leur adoption dans des applications commerciales. Dans cette thèse, nous présentons plusieurs contributions visant à rendre ces approches utilisables sur des plateformes de streaming avec des millions d’utilisateurs et de chansons. Notre travail est motivé par l’adoption généralisée de deux composants clés des SR modernes : la représentation vectorielle et la recherche efficace de plus proches voisins. Tout d'abord, nous proposons une méthode général pour construire des modèles d’extension automatique de playlists compatibles avec une application à grande échelle. Basée sur une stratégie de "représenter puis agréger", cette méthode garantit l'efficience par conception tout en restant suffisamment flexible pour intégrer une large gamme de techniques de modélisation séquentielle, y compris celles basées sur les Transformers. Suite aux résultats des expériences d'A/B tests grande échelle rapportés dans cette thèse, notre méthode a été adoptée par l'entreprise de streaming musical Deezer pour proposer des chansons à ajouter dans les playlists de leurs utilisateurs. Nous introduisons également un nouveau schéma d'exploration appelé exploration von Mises-Fisher (vMF-exp), qui permet d'explorer de grands ensembles d'actions lorsque celles-ci sont représentées par des vecteurs de norme unitaire. vMF-exp consiste à échantillonner initialement un vecteur selon une distribution de von Mises-Fisher, suivie de l'exploration des plus proches voisins de ce vecteur. Cette approche permet de sélectionner un nombre pratiquement illimité d'actions candidates. Nous démontrons que, sous certaines hypothèses théoriques, vMF-exp maintient asymptotiquement la même probabilité d'explorer chaque action que l'exploration Boltzmann, une alternative populaire qui souffre de problèmes de mise à l'échelle en raison de la nécessité de calculer les valeurs de softmax de chaque action. Depuis janvier 2024, vMF-exp est utilisé par Deezer pour recommander des mix inspirés par des chansons initiales à des millions d’utilisateurs, en puisant dans des millions de chansons candidates. Le cadre de représentation efficace et le schéma d'exploration introduits dans cette thèse devraient encourager de futures initiatives d'apprentissage par renforcement pour la recommandation musicale sur les plateformes de streaming.