Vos yeux peuvent contrôler votre smartphone grâce à un nouvel outil de suivi du regard

De plus en plus de personnes regardent des films, montent des vidéos, lisent les nouvelles et se tiennent au courant des médias sociaux sur leurs smartphones. Ces appareils se sont développés pour s’adapter à des écrans plus grands et à une puissance de traitement plus élevée, nécessaires à des activités plus exigeantes.

Le problème des téléphones peu maniables est qu’ils nécessitent souvent une seconde main ou des commandes vocales pour fonctionner, ce qui peut être encombrant et peu pratique.

En réponse, les chercheurs du Future Interfaces Group du Human-Computer Interaction Institute (HCII) de l’université Carnegie Mellon développent un outil appelé EyeMU, qui permet aux utilisateurs d’exécuter des opérations sur un smartphone en combinant le contrôle du regard et des gestes simples de la main.

« Nous avons posé la question suivante : « Existe-t-il un mécanisme plus naturel à utiliser pour interagir avec le téléphone ? ». Et le précurseur d’une grande partie de ce que nous faisons est de regarder quelque chose », a déclaré Karan Ahuja, doctorant en interaction homme-machine.

L’analyse et la prédiction du regard ne sont pas nouvelles, mais atteindre un niveau acceptable de fonctionnalité sur un smartphone serait une avancée notable.

« Les yeux ont ce que l’on pourrait appeler le problème du toucher de Midas », a déclaré Chris Harrison, professeur associé au HCII et directeur du Future Interfaces Group. « Vous ne pouvez pas avoir une situation dans laquelle quelque chose se passe sur le téléphone partout où vous regardez. Trop d’applications s’ouvriraient. »

Un logiciel qui suit les yeux avec précision peut résoudre ce problème. Andy Kong, étudiant en dernière année d’informatique, s’est intéressé aux technologies de suivi des yeux dès son arrivée à la CMU. Il a donc écrit un programme qui utilise la caméra intégrée d’un ordinateur portable pour suivre les yeux de l’utilisateur, qui à son tour déplace le curseur sur l’écran – une première étape importante vers EyeMU.

« Les téléphones actuels ne répondent que lorsque nous leur demandons des choses, que ce soit par la parole, des tapotements ou des clics de bouton », a déclaré Kong. « Si le téléphone est largement utilisé aujourd’hui, imaginez combien il serait plus utile si nous pouvions prédire ce que l’utilisateur veut en analysant le regard ou d’autres données biométriques. »

Il n’a pas été facile de rationaliser l’ensemble pour qu’il puisse fonctionner à la vitesse d’un smartphone.

« C’est une contrainte de ressources. Vous devez vous assurer que vos algorithmes sont suffisamment rapides », a déclaré Ahuja. « Si cela prend trop de temps, votre œil passera son chemin ».

Kong, l’auteur principal de l’article, a présenté les résultats de l’équipe avec Ahuja, Harrison et le professeur adjoint de HCII Mayank Goel lors de la conférence de l’année dernière. Conférence internationale sur l’interaction multimodale. L’acceptation d’un article évalué par des pairs dans le cadre d’une conférence majeure a été une grande réussite pour Kong, un chercheur de premier cycle.

Kong et Ahuja ont perfectionné ce premier prototype en utilisant l’outil Face Mesh de Google pour étudier les modèles de regard des utilisateurs regardant différentes zones de l’écran et rendre les données cartographiques. Ensuite, l’équipe a développé un prédicteur de regard qui utilise la caméra frontale du smartphone pour verrouiller ce que le spectateur regarde et l’enregistrer comme cible.

L’équipe a rendu l’outil plus productif en combinant le prédicteur de regard avec les capteurs de mouvement intégrés du smartphone pour activer des commandes. Par exemple, un utilisateur peut regarder une notification suffisamment longtemps pour l’enregistrer comme cible et faire glisser le téléphone vers la gauche pour la rejeter ou vers la droite pour répondre à la notification. De même, un utilisateur peut rapprocher le téléphone pour agrandir une image ou l’éloigner pour désactiver le contrôle du regard, tout en tenant un grand café au lait dans l’autre main.

« Les grandes entreprises technologiques comme Google et Apple se sont rapprochées de la prédiction du regard, mais il ne suffit pas de regarder fixement quelque chose pour y arriver », a déclaré Harrison. « La véritable innovation de ce projet est l’ajout d’une deuxième modalité, comme le fait de donner une pichenette au téléphone à gauche ou à droite, combinée à la prédiction du regard. C’est ce qui en fait la force. Cela semble si évident rétrospectivement, mais c’est une idée intelligente qui rend EyeMU beaucoup plus intuitif. »