Le collier intelligent pourrait suivre vos expressions faciales détaillées

Les mouvements du visage humain transmettent des émotions et nous aident à communiquer de manière non verbale et à effectuer des activités physiques, telles que manger et boire.

Le suivi des mouvements du visage – et peut-être de leur cause – est l’une des applications proposées pour NeckFace, l’une des premières technologies de détection portable de type collier. Une équipe dirigée par Cheng Zhang, professeur adjoint de sciences de l’information au Cornell Ann S. Bowers College of Computing and Information Science, a développé NeckFace, qui peut suivre en continu les expressions faciales complètes en utilisant des caméras infrarouges pour capturer des images du menton et du visage de sous le cou.

Leur travail est détaillé dans « NeckFace : Continuously Tracking Full Facial Expressions on Neck-mounted Wearables », qui a été publié le 24 juin dans Actes de l’ACM sur les technologies interactives, mobiles, portables et ubiquitaires.

Les coauteurs principaux sont Tuochao Chen (de l’Université de Pékin) et Yaxuan Li (de l’Université McGill), des étudiants invités du laboratoire Smart Computer Interfaces for Future Interactions (SciFi) et l’étudiant de Cornell MPS Songyun Tao. Les autres contributeurs sont HyunChul Lim, Mose Sakashita et Ruidong Zhang, Cornell Ph.D. étudiants dans le domaine des sciences de l’information, et François Guimbretière, professeur de sciences de l’information au Cornell Bowers College.

NeckFace est la prochaine génération du travail précédent de Zhang, qui a abouti à C-Face, un appareil similaire mais au format casque. Zhang a déclaré que NeckFace améliore considérablement les performances et la confidentialité, et donne au porteur la possibilité d’utiliser un appareil monté sur le cou moins intrusif.

En plus du suivi potentiel des émotions, Zhang voit de nombreuses applications pour cette technologie : conférence virtuelle lorsqu’une caméra frontale n’est pas une option ; détection d’expressions faciales dans des scénarios de réalité virtuelle ; et la reconnaissance vocale silencieuse.

« L’objectif ultime est de permettre à l’utilisateur de suivre ses propres comportements, grâce à un suivi continu des mouvements du visage », a déclaré Zhang, chercheur principal du SciFi Lab. « Et cela, espérons-le, peut nous donner beaucoup d’informations sur votre activité physique et vos activités mentales. »

Guimbretière a déclaré que NeckFace a également le potentiel de changer la vidéoconférence.

« L’utilisateur n’aurait pas besoin de faire attention à rester dans le champ de vision d’une caméra », a-t-il déclaré. « Au lieu de cela, NeckFace peut recréer le coup de tête parfait lorsque nous nous déplaçons dans une salle de classe, ou même marchons à l’extérieur pour partager une promenade avec un ami éloigné. »

Pour tester l’efficacité de NeckFace, Zhang et ses collaborateurs ont mené une étude d’utilisateurs auprès de 13 participants, dont chacun a été invité à effectuer huit expressions faciales en position assise et huit autres en marchant. Dans les scénarios assis, les participants ont également été invités à faire pivoter la tête tout en effectuant les expressions faciales, et à retirer et remonter l’appareil en une seule session.

NeckFace a été testé dans deux modèles : un tour de cou, drapé autour de la nuque avec deux caméras juste en dessous du niveau de la clavicule ; et un collier, avec une caméra infrarouge (IR) en forme de pendentif suspendue sous le cou.

Le groupe a collecté des données de base sur les mouvements du visage à l’aide de la caméra TrueDepth 3D sur un iPhone X, puis les a comparées aux données collectées avec NeckFace. Entre les expressions d’assise, de marche et de remontée, les participants à l’étude ont exprimé un total de 52 formes de visage.

À l’aide de calculs impliquant un apprentissage en profondeur, le groupe a déterminé que NeckFace détectait les mouvements du visage avec presque la même précision que les mesures directes à l’aide de la caméra du téléphone. Le tour de cou s’est avéré plus précis que le collier, ont déclaré les chercheurs, peut-être parce que deux caméras sur le tour de cou pouvaient capturer plus d’informations des deux côtés que la caméra du collier montée au centre.

Zhang a déclaré que l’appareil, une fois optimisé, pourrait être particulièrement utile dans le domaine de la santé mentale, pour suivre les émotions des gens au cours d’une journée. Bien que les gens ne portent pas toujours leurs émotions sur leur visage, a-t-il déclaré, la quantité de changement d’expression faciale au fil du temps pourrait indiquer des fluctuations émotionnelles.

« Pouvons-nous réellement voir comment votre émotion varie au cours d’une journée ? » il a dit. « Avec cette technologie, nous pourrions avoir une base de données sur votre état physique et mental tout au long de la journée, ce qui signifie que vous pourriez suivre vos propres comportements. Et aussi, un médecin pourrait utiliser les informations pour prendre une décision. »