Les fournisseurs de services cloud commerciaux stimulent l'informatique artificielle

Les réseaux de neurones ont fourni aux chercheurs un outil puissant pour regarder l’avenir et faire des prévisions. Mais un inconvénient est leur besoin insatiable de données et de puissance de calcul ("calcul") pour traiter toute cette information. Au MIT, on estime que la demande de calcul est cinq fois supérieure à ce que l’Institut peut offrir. L'industrie est intervenue. Un supercalculateur de 11,6 millions de dollars, récemment offert par IBM, est en ligne cet automne. Au cours de l'année écoulée, IBM et Google ont fourni des crédits cloud à MIT Quest for Intelligence pour leur distribution sur le campus. Quatre projets rendus possibles par les dons IBM et Google dans le cloud sont décrits ci-dessous.

Des réseaux neuronaux plus petits, plus rapides et plus intelligents

Pour reconnaître un chat sur une image, un modèle d'apprentissage en profondeur peut avoir besoin de voir des millions de photos avant que ses neurones artificiels "apprennent" à identifier un chat. Le processus nécessite beaucoup de calcul et a un coût environnemental élevé, comme le montrent de nouvelles recherches tentant de mesurer l'empreinte carbone de l'intelligence artificielle (IA).

Mais il peut y avoir un moyen plus efficace. Une nouvelle étude du MIT montre que les modèles ne nécessitent qu'une fraction de la taille. "Lorsque vous formez un grand réseau, vous en trouverez un petit qui aurait pu tout faire", explique Jonathan Frankle, un étudiant diplômé du Département de génie électrique et informatique (EECS) du MIT.

Avec le co-auteur de l'étude et professeur Michael Carbin, Frank Frank estime qu'un réseau de neurones pourrait se passer d'un dixième du nombre de connexions si le sous-réseau approprié était trouvé au départ. Normalement, les réseaux de neurones sont ajustés après le processus d’entraînement, les connexions non pertinentes étant alors supprimées. Pourquoi ne pas former le petit modèle pour commencer, se demanda Frankle?

Expérimentant avec son ordinateur portable un réseau à deux neurones, Frankle obtint des résultats encourageants et passa à de plus grands ensembles de données d'images, tels que MNIST et CIFAR-10, empruntant des GPU là où il le pouvait. Enfin, via IBM Cloud, il a obtenu suffisamment de puissance de calcul pour former un véritable modèle ResNet. "Tout ce que j'avais fait auparavant était des expériences de jouets", dit-il. "J'ai finalement réussi à exécuter des dizaines de paramètres différents pour pouvoir faire les déclarations dans notre journal."

Frankle a parlé depuis les bureaux de Facebook, où il a travaillé pendant l'été pour explorer les idées soulevées par son article sur l'hypothèse des billets de loterie, l'un des deux sélectionnés pour le prix du meilleur article lors de la Conférence internationale sur les représentations d'apprentissage. Selon Frankle, les applications potentielles du travail vont au-delà de la classification d'images, et incluent des modèles d'apprentissage par renforcement et de traitement du langage naturel. Des chercheurs de Facebook AI Research, de l'Université de Princeton et d'Uber ont déjà publié des études complémentaires.

"Ce que j'aime des réseaux de neurones, c'est que nous n'avons même pas encore jeté les bases", déclare Frankle, qui a récemment abandonné l'étude de la cryptographie et de la politique technologique au profit de l'IA. "Nous ne comprenons vraiment pas comment il apprend, où c'est bon et où ça échoue. C'est la physique mille ans avant Newton."

Fait distinctif de la fausse nouvelle

Les plates-formes de réseautage telles que Facebook et Twitter facilitent plus que jamais la recherche d'informations de qualité. Mais trop souvent, de vraies informations sont noyées par des informations trompeuses ou carrément fausses publiées en ligne. La confusion entourant une récente vidéo de la présidente de la Chambre des États-Unis, Nancy Pelosi, falsifiée pour rendre sa sonorité ivre n'est que le dernier exemple de la menace que représentent les informations erronées et les fausses informations pour la démocratie.

"Vous pouvez à peu près tout mettre sur Internet maintenant, et certaines personnes le croiront", a déclaré Moin Nadeem, haut responsable du MIT chez EECS.

Si la technologie a contribué à créer le problème, elle peut également aider à le résoudre. C’est la raison pour laquelle Nadeem a choisi un projet superUROP axé sur la création d’un système automatisé de lutte contre les informations fausses et trompeuses. Travaillant dans le laboratoire de James Glass, chercheur au laboratoire d'informatique et d'intelligence artificielle du MIT et supervisé par Mitra Mohtarami, Nadeem a contribué à la formation d'un modèle linguistique permettant de vérifier les faits en recherchant dans Wikipedia et dans trois types de sources d'informations classées par les journalistes comme de haute qualité, de qualité mixte ou de faible qualité.

Pour vérifier une allégation, le modèle mesure dans quelle mesure les sources concordent, les scores d'accord les plus élevés indiquant que l'allégation est vraisemblablement vraie. Un score élevé de désaccord pour une affirmation telle que «ISIS infiltre les États-Unis» est un indicateur fort de fausses nouvelles. Un des inconvénients de cette méthode, dit-il, est que le modèle n'identifie pas la vérité indépendante, mais qu'il décrit ce que la plupart des gens pensent être la vérité.

Avec l'aide de Google Cloud Platform, Nadeem a mené des expériences et créé un site Web interactif permettant aux utilisateurs d'évaluer instantanément la précision d'une demande. Ses coauteurs et lui-même ont présenté leurs résultats à la conférence de l'Association nord-américaine de linguistique computationnelle (NAACL) en juin et continuent à développer leurs travaux.

"Avant, on disait que voir, c'est croire", explique Nadeem dans cette vidéo sur son travail. "Mais nous entrons dans un monde où ce n'est pas vrai. Si les gens ne peuvent pas faire confiance à leurs yeux et à leurs oreilles, cela devient une question de confiance."

Visualiser le réchauffement climatique

De la montée des mers à la multiplication des sécheresses, les effets du changement climatique se font déjà sentir. Dans quelques décennies, le monde deviendra un endroit plus chaud, plus sec et plus imprévisible. Brandon Leshchinskiy, étudiant diplômé du département Aéronautique et Astronautique du MIT (AeroAstro), expérimente des réseaux contradictoires génératifs, ou GAN, pour imaginer à quoi ressemblera la Terre à l'époque.

Les GAN produisent des images hyper-réalistes en opposant un réseau de neurones à un autre. Le premier réseau apprend la structure sous-jacente d'un ensemble d'images et tente de les reproduire, tandis que le second décide quelles images semblent invraisemblables et demande au premier réseau d'essayer à nouveau.

Inspirés par les chercheurs qui ont utilisé les GAN pour visualiser les projections d’élévation du niveau de la mer à partir d’images en vue de la rue, Leshchinskiy a voulu voir si les images satellitaires pouvaient également personnaliser les projections climatiques. Avec son conseiller, le professeur AeroAstro Dava Newman, Leshchinskiy utilise actuellement des crédits IBM Cloud gratuits pour former deux GAN sur des images de la côte est des États-Unis avec leurs points d'altitude correspondants. L’objectif est de visualiser comment les projections d’élévation du niveau de la mer pour 2050 redessineront le littoral. Si le projet fonctionne, Leshinskiy espère utiliser d'autres jeux de données de la NASA pour imaginer une future acidification des océans et des modifications de l'abondance du phytoplancton.

"Nous avons dépassé le point d'atténuation", dit-il. "Visualiser à quoi ressemblera le monde dans trois décennies peut nous aider à nous adapter au changement climatique."

Identifier les athlètes à partir de quelques gestes

Quelques mouvements sur le terrain ou sur le court suffisent à un modèle de vision par ordinateur pour identifier des athlètes individuels. C'est ce qui ressort d'une étude préliminaire menée par une équipe dirigée par Katherine Gallagher, chercheuse au MIT Quest for Intelligence.

L'équipe a formé des modèles de vision par ordinateur sur des enregistrements vidéo de matchs de tennis et de football et de basket-ball et a constaté que les modèles pouvaient reconnaître des joueurs individuels dans quelques images à partir de points clés de leur corps, fournissant ainsi un aperçu approximatif de leur squelette.

L'équipe a utilisé une API Google Cloud pour traiter les données vidéo et a comparé les performances de leurs modèles à celles de modèles formés sur la plate-forme d'IA de Google Cloud. "Cette information sur la pose est si distinctive que nos modèles peuvent identifier les joueurs avec une précision presque aussi bonne que des modèles dotés de beaucoup plus d'informations, comme la couleur des cheveux et les vêtements," dit-elle.

Leurs résultats sont pertinents pour l’identification automatisée des joueurs dans les systèmes d’analyse sportive, et ils pourraient constituer une base pour des recherches ultérieures sur la déduction de la fatigue des joueurs afin d’anticiper le moment où les joueurs doivent être remplacés. La détection automatisée de la pose pourrait également aider les athlètes à perfectionner leur technique en leur permettant d’isoler les mouvements précis associés à la conduite experte du golfeur ou au swing gagnant du joueur de tennis.

Cette histoire est republiée avec la permission de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche, de l'innovation et de l'enseignement du MIT.