Enseigner l'intelligence artificielle pour créer des éléments visuels plus sensés

Les smartphones d'aujourd'hui utilisent souvent l'intelligence artificielle pour rendre les photos plus nettes et plus claires. Mais que se passe-t-il si ces outils d'IA peuvent être utilisés pour créer des scènes entières à partir de rien?

Une équipe du MIT et d’IBM a fait exactement cela avec «GANpaint Studio», un système capable de générer automatiquement des images photographiques réalistes et d’éditer des objets qu’elles contiennent. En plus d'aider les artistes et les concepteurs à ajuster rapidement les éléments visuels, les chercheurs estiment que ces travaux pourraient aider les informaticiens à identifier de "fausses" images.

David Bau, un doctorat Un étudiant du laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) décrit ce projet comme l'une des toutes premières fois qu'un informaticien a pu réellement "peindre avec les neurones" d'un réseau de neurones, en particulier un type de réseau populaire appelé générateur. réseau accusatoire (GAN).

Disponible en ligne sous forme de démonstration interactive, GANpaint Studio permet à l’utilisateur de télécharger une image de son choix et de modifier de nombreux aspects de son apparence, du changement de taille aux objets en passant par l’ajout de nouveaux éléments tels que des arbres et des bâtiments.

Boon pour les designers

Dirigé par Antonio Torralba, professeur au MIT, dans le cadre du laboratoire d'IA du MIT-IBM Watson qu'il dirige, le projet a de vastes applications potentielles. Les concepteurs et les artistes pourraient l'utiliser pour apporter des modifications plus rapides à leurs visuels. L'adaptation du système aux clips vidéo permettrait aux éditeurs de graphiques informatiques de composer rapidement des arrangements spécifiques d'objets nécessaires à une prise de vue donnée. (Imaginons, par exemple, si un réalisateur a filmé une scène complète avec des acteurs mais a oublié d'inclure un objet important pour l'intrigue à l'arrière-plan.)

GANpaint Studio pourrait également être utilisé pour améliorer et déboguer les autres GAN en cours de développement, en les analysant pour rechercher les unités "artefacts" à supprimer. Dans un monde où les outils opaques d'IA ont rendu la manipulation d'images plus facile que jamais, les chercheurs pourraient ainsi mieux comprendre les réseaux de neurones et leurs structures sous-jacentes.

"À l'heure actuelle, les systèmes d'apprentissage automatique sont ces boîtes noires que nous ne savons pas toujours comment améliorer, un peu comme ces vieux téléviseurs que vous devez réparer en les frappant sur le côté", déclare Bau, auteur principal d'un article connexe. papier sur le système avec une équipe supervisée par Torralba. "Cette recherche suggère que, même s'il peut être effrayant d'ouvrir la télévision et de regarder tous les câbles, il y aura beaucoup d'informations significatives là-dedans."

Une découverte inattendue est que le système semble en réalité avoir appris quelques règles simples sur les relations entre les objets. Il sait en quelque sorte qu'il ne faut pas placer quelque chose auquel il n'appartient pas, comme une fenêtre dans le ciel, et il crée également différents visuels dans différents contextes. Par exemple, s'il existe deux bâtiments différents dans une image et que le système est invité à ajouter des portes aux deux, il ne suffit pas d'ajouter des portes identiques, elles peuvent en fin de compte être assez différentes les unes des autres.

"Toutes les applications de dessin suivront les instructions de l'utilisateur, mais la nôtre pourrait décider de ne rien dessiner si l'utilisateur commande de placer un objet dans un emplacement impossible", explique Torralba. "C’est un outil de dessin à forte personnalité qui ouvre une fenêtre nous permettant de comprendre comment les GAN apprennent à représenter le monde visuel."

Les GAN sont des ensembles de réseaux de neurones développés pour se faire concurrence. Dans ce cas, l'un des réseaux est un générateur de création d'images réalistes et le second est un discriminateur dont le but est de ne pas se laisser berner par le générateur. Chaque fois que le discriminateur "attrape" le générateur, il doit exposer le raisonnement interne à la décision, ce qui permet au générateur de s'améliorer continuellement.

"C'est vraiment hallucinant de voir comment ce travail nous permet de voir directement que les GAN apprennent réellement quelque chose qui commence à ressembler un peu au sens commun", déclare Jaakko Lehtinen, professeur associé à l'Université Aalto de Finlande, qui n'était pas impliqué dans le projet. . "Je considère cette capacité comme une étape cruciale pour disposer de systèmes autonomes capables de fonctionner dans le monde humain, qui est infini, complexe et en constante évolution."

Éliminer les "fausses" images non désirées

L'objectif de l'équipe était de donner aux gens plus de contrôle sur les réseaux GAN. Mais ils reconnaissent que l'augmentation du pouvoir entraîne un potentiel d'abus, comme l'utilisation de telles technologies pour les photos de médecin. Son co-auteur, Jun-Yan Zhu, a déclaré qu'il pensait qu'une meilleure compréhension des GAN et des erreurs qu'ils commettent aiderait les chercheurs à mieux éradiquer la falsification.

"Vous devez connaître votre adversaire avant de pouvoir vous défendre contre lui", explique Zhu, postdoctorant au CSAIL. "Cette compréhension peut potentiellement nous aider à détecter plus facilement les fausses images."

Pour développer le système, l'équipe a d'abord identifié des unités à l'intérieur du GAN qui sont en corrélation avec des types d'objets particuliers, tels que des arbres. Il a ensuite testé ces unités individuellement pour voir si leur suppression entraînerait la disparition ou l'apparition de certains objets. Fait important, ils ont également identifié les unités qui causent des erreurs visuelles (artefacts) et ont travaillé à les supprimer pour augmenter la qualité globale de l'image.

"Chaque fois que les GAN généraient des images extrêmement irréalistes, la cause de ces erreurs était jusqu'ici un mystère", déclare le co-auteur, Hendrik Strobelt, chercheur chez IBM. "Nous avons constaté que ces erreurs sont déclenchées par des ensembles spécifiques de neurones que nous pouvons réduire au silence pour améliorer la qualité de l'image."

Bau, Strobelt, Torralba et Zhu ont coécrit le document avec l'ancien doctorat du CSAIL. l'étudiant Bolei Zhou, l'associé postdoctoral Jonas Wulff et l'étudiant de premier cycle William Peebles. Ils le présenteront le mois prochain à la conférence SIGGRAPH à Los Angeles. "Ce système ouvre la porte à une meilleure compréhension des modèles GAN, ce qui va nous aider à faire le type de recherche que nous devons faire avec les GAN", a déclaré Lehtinen.

Cette histoire est republiée avec la permission de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche, de l'innovation et de l'enseignement du MIT.