Instagram apprend à l’IA à reconnaître les chambres

Il n’est pas difficile pour les humains de reconnaître un environnement intérieur, mais apprendre à un système d’intelligence artificielle (IA) à distinguer un bureau d’une bibliothèque l’est. Les systèmes d’intelligence artificielle sont généralement formés à l’utilisation d’images uniquement, et la reconnaissance d’un espace par la simple observation d’objets peut facilement échouer. C’est pourquoi l’informaticienne Estefanía Talavera Martínez a ajouté une nouvelle modalité de données, l’audio/le son, au matériel pédagogique que le système d’IA examine. Elle a ainsi obtenu un taux de réussite élevé dans la reconnaissance des espaces intérieurs et un nouvel ensemble de données de vidéos du monde réel à utiliser pour la recherche. Ses travaux ont été publiés dans la revue Informatique neuronale et applications le 22 janvier.

Estefanía Talavera Martínez s’intéresse au développement d’algorithmes pour l’analyse automatique du comportement humain. Dans ses travaux précédents, elle s’est appuyée sur les flux de photos recueillies par des caméras portables pour comprendre le comportement quotidien des gens. Ces images ont d’abord été analysées à l’aide de systèmes d’IA. Faire de même avec les vidéos est une prochaine étape, qui offre davantage d’applications. « Cela pourrait également être utilisé pour aider les robots à trouver où ils se trouvent, ou pour surveiller les personnes âgées, par exemple », explique Talavera Martínez. Toutefois, cela nécessite un système automatisé capable d’identifier les espaces intérieurs.

Discours

Les précédentes tentatives pour apprendre à l’IA à reconnaître les espaces intérieurs n’ont pas été très fructueuses. « L’une des raisons en est que la plupart des systèmes sont entraînés en utilisant une seule modalité, généralement la reconnaissance d’objets dans une pièce. » Par conséquent, Talavera Martínez a décidé d’entraîner son système à l’aide d’une deuxième modalité : les textes transcrits de la parole enregistrée dans les vidéos.

Elle a utilisé des vidéos du monde réel provenant d’Instagram pour entraîner son système d’IA. Pour ce faire, elle a utilisé les images et la parole. Les textes parlés ont été transcrits à l’aide du logiciel standard de reconnaissance vocale de Google. Talavera Martínez et son étudiante en master de l’époque, Andreea Glavan, ont essayé différentes approches pour combiner les informations provenant des images et du son, afin de trouver celle qui produirait le meilleur résultat. Ils ont ainsi mis au point un système capable de reconnaître les vidéos de neuf types différents d’espaces intérieurs avec une précision de 70 %, ce qui est supérieur à ce que les systèmes publiés précédemment ont réussi à faire. « Les tests que nous avons effectués ont confirmé que l’utilisation de cette combinaison permettait d’obtenir de meilleures performances que l’entraînement du système à l’aide d’images ou de textes uniquement », explique M. Talavera Martínez.

Comportement

En outre, le projet de recherche a produit un ensemble de données de 3 788 vidéos Instagram décrivant neuf scènes d’intérieur. De même, une sélection de 900 vidéos YouTube a été utilisée pour confirmer les résultats du programme d’entraînement. « Nous avons mis ces deux ensembles de données à la disposition du public, ce qui constitue une première. »

Talavera Martínez aimerait utiliser le nouveau système d’IA pour analyser davantage le comportement humain à partir de vidéos : « Elles contiennent beaucoup d’informations, à la fois en tant qu’images individuelles et en tant que séquences. Fait important, notre nouveau système serait capable de reconnaître le type d’environnement dans lequel les images ont été réalisées. »

Outre l’étude du comportement, le système pourrait être utilisé, par exemple, pour surveiller les patients en mettant l’accent sur le vieillissement sain. Il pourrait également être utilisé pour identifier les expériences positives à revivre par les gens. « Nous savons que les gens ont souvent une vision très subjective de leur propre vie. Notre système pourrait leur fournir un enregistrement et une analyse objectifs. »