Discovering Complex Structures in Images using Large-Scale Self-Supervised Learning

Apprentissage autosupervisé pour la découverte de structures complexes dans des images Cette thèse explore les progrès des méthodes d'apprentissage autohysupervisé pour l'apprentissage de représentations visuelles denses.Bien que les progrès récents en vision par ordinateur aient été remarquables, la plupart des approches reposent fortement sur l'apprentissage supervisé avec des ensembles de données annotées par l'homme, ce qui est coûteux et limite le passage à l'échelle. Nous présentons trois contributions complémentaires qui font progresser l'état de l'art en matière d'apprentissage de caractéristiques visuelles denses de haute qualité sans supervision.Tout d'abord, nous présentons DINOv2, qui démontre qu'une mise à l'échelle prudente des méthodes auto-supervisées existantes pour des modèles et des ensembles de données plus importants peut produire des capacités émergentes dans les représentations denses. En entraînant un "Vision Transformer" d'un milliard de paramètres sur un ensemble de données de 142 millions d'images, nous obtenons un modèle dont les représentations figées excellent dans les tâches de prédiction globales et denses, égalant ou dépassant les performances des alternatives supervisées dans une large gamme d'évaluations.Un protocole spécifique d'adaptation à la haute résolution permet au modèle de gérer différentes résolutions sans problème, ce qui permet de l'utiliser dans des applications exigeant une grande précision.Une distillation vers des modèles plus petits permet en outre d'obtenir de bons modèles pour différents budgets de calcul. Deuxièmement, nous identifions et caractérisons les artefacts dans les cartes d'attention des grands modèles de vision, y compris DINOv2, où les modèles réutilisent les jetons de patch des régions à faible information d'une manière qui peut dégrader la performance de la prédiction dense.Nous montrons que ces artefacts apparaissent dans les modèles de grande taille et suffisamment entraînés, qu'ils apparaissent dans les zones redondantes des images et qu'ils contiennent des informations globales au lieu d'informations locales.Nous proposons une solution simple mais efficace grâce à de nouveaux jetons de « registre » qui isolent ce comportement, ce qui permet d'obtenir des cartes d'attention plus propres et d'améliorer les performances dans les tâches denses.Enfin, nous développons CAPI, une approche plus simple et plus efficace de l'apprentissage dense auto-supervisé basée uniquement sur la modélisation d'images masquées.Nous étudions les différents composants impliqués dans la modélisation d'images masquées et comparons les choix possibles avec des études empiriques approfondies. Nous montrons que la prédiction des affectations en groupements de jetons masqués, en utilisant une architecture encodeur-prédicteur clairement séparée, permet d'améliorer les performances des méthodes de modélisation d'images masquées.CAPI atteint même des performances proches des meilleures méthodes auto-supervisées, tout en réduisant la complexité algorithmique par rapport aux méthodes qui nécessitaient la combinaison de plusieurs objectifs d'apprentissage. Ensemble, ces contributions nous permettent de mieux comprendre comment apprendre des représentations visuelles denses de haute qualité sans supervision, ce qui nous rapproche de l'objectif de modèles de vision par ordinateur polyvalents qui peuvent s'adapter à diverses tâches et domaines sans annotation spécifique à la tâche.