Une méthode pour introduire la reconnaissance des émotions dans les jeux

La réalité virtuelle ouvre de nouvelles frontières passionnantes dans le développement des jeux vidéo, ouvrant la voie à des expériences de jeu de plus en plus réalistes, interactives et immersives. En fait, les consoles de réalité virtuelle permettent aux joueurs de se sentir presque dans le jeu, en surmontant les limitations associées à la résolution d'affichage et aux problèmes de latence.

Une autre intégration intéressante pour la réalité virtuelle serait la reconnaissance des émotions, car cela pourrait permettre de développer des jeux qui répondent aux émotions d'un utilisateur en temps réel. Dans cet esprit, une équipe de chercheurs de l'Université Yonsei et de Motion Device Inc. ont récemment proposé une technique d'apprentissage en profondeur qui pourrait permettre la reconnaissance des émotions lors d'expériences de jeu en réalité virtuelle. Leur document a été présenté à la Conférence IEEE 2019 sur la réalité virtuelle et les interfaces utilisateur 3D.

Pour que la réalité virtuelle fonctionne, les utilisateurs portent des écrans montés sur la tête (HMD), de sorte que le contenu d'un jeu puisse être présenté directement sous leurs yeux. La fusion des outils de reconnaissance des émotions et des expériences de jeu en réalité virtuelle s’est révélée être un défi, car la plupart des modèles d’apprentissage automatique pour la prédiction des émotions fonctionnent en analysant le visage des personnes; en VR, le visage d'un utilisateur est partiellement bouché par le HMD.

L'équipe de chercheurs de l'Université Yonsei et de Motion Device a formé trois réseaux de neurones à convolution (CNN), à savoir DenseNet, ResNet et Inception-ResNet-V2, afin de prédire les émotions des personnes à partir d'images partielles de visages. Ils ont pris des images du jeu de données Radbound Faces (RaFD), qui comprend 8 040 images de visage de 67 sujets, puis les ont modifiées en couvrant la partie du visage qui serait bouchée par le HMD lors de l'utilisation de la réalité virtuelle.

Les images utilisées pour former les algorithmes représentent des visages humains, mais la section contenant les yeux, les oreilles et les sourcils est recouverte d'un rectangle noir. Lorsque les chercheurs ont évalué leurs CNN, ils ont découvert qu'ils étaient capables de classer les émotions même sans analyser ces caractéristiques particulières du visage d'une personne, considérées comme étant d'une importance capitale pour la reconnaissance des émotions.

Dans l’ensemble, le réseau CNN appelé DenseNet s’est mieux comporté que les autres, avec une précision moyenne de plus de 90%. Fait intéressant, cependant, l’algorithme ResNet a surperformé les deux autres en classant les expressions faciales exprimant la peur et le dégoût.

"Nous avons formé avec succès trois architectures de CNN qui estiment les émotions à partir d'images de visage humain partiellement recouvertes", ont écrit les chercheurs. "Notre étude a montré la possibilité d'estimer les émotions à partir d'images d'images d'êtres humains portant des HMD utilisant la vision artificielle."

L'étude suggère que, à l'avenir, les outils de reconnaissance des émotions pourraient être intégrés à la technologie de réalité virtuelle, même si les HMD bouchent certaines parties du visage d'un joueur. De plus, les CNN développés par les chercheurs pourraient inspirer d'autres équipes de recherche du monde entier à développer de nouvelles techniques de reconnaissance des émotions pouvant être appliquées au jeu en réalité virtuelle.

Les chercheurs envisagent maintenant de remplacer les rectangles noirs qu’ils ont utilisés dans leur étude par de vraies images de personnes portant des HDM. Cela devrait leur permettre à terme de former les CNN de manière plus fiable et efficace, en les préparant à des applications réelles.

© 2019 Science X Network