Imaginez que vous êtes à votre bureau en train de taper sur un clavier fabriqué exactement pour vous, la longueur de vos doigts, l’envergure de votre paume, sentir le clic des touches … que ne sont même pas là. Imaginez que vous parcouriez un menu sur un écran sans fil ni support, flottant devant vous, avec votre souris dans la corbeille et les options présentées à votre avant même que vous les ayez demandées. C’est la réalité vers laquelle Facebook nous a montré qu’il travaille dans ses laboratoires futuristes.
En ce qui concerne les plates-formes informatiques avant-gardistes, Facebook veut être aux commandes de la même manière qu’il possède (toujours) l’espace de réseautage social. Son investissement continu dans Oculus VR témoigne de cette ambition, tout comme son dévoilement récent de Facebook Aria – ses lunettes portables de réalité augmentée en cours de développement.
Mais la réalité augmentée et la réalité virtuelle ne se résument pas à des casques confortables et à des résolutions et des taux de rafraîchissement en constante amélioration. Si un utilisateur ne peut pas interagir confortablement et intuitivement avec ces environnements logiciels globaux, il ne sera pas très amusant de travailler avec, et encore moins de vivre avec.
Et ainsi entre Facebook Reality Labs (FRL), la division tournée vers l’avenir de l’empire de Mark Zuckerberg, axée sur tout ce qui est augmenté et virtuel. Il s’agit de l’un des défis les plus ardus de tout l’informatique à l’heure actuelle: monter la souris sur le dessus et adapter l’interface et le système d’entrée à un futur en réalité augmentée.
Sa réponse? Des appareils portables au poignet contrôlés par l’esprit, capables d’intercepter la pensée et l’intention, et des interfaces contrôlées par les gestes qui ne nécessitent rien d’autre qu’un geste de la main. En fait, dans certains cas, et pour le plus grand plaisir des défenseurs de l’accessibilité du monde entier, les mains peuvent même ne pas être du tout nécessaires.
«C’est un moment incroyable, ouvrant la voie à l’innovation et à la découverte, car il s’agit d’un changement dans l’ancien monde», déclare Sean Keller, directeur scientifique de la recherche du FRL, à la suite d’une table ronde révélatrice à laquelle TechRadar était présent.
«C’est un changement des règles que nous avons suivies et sur lesquelles nous nous sommes appuyés pour faire avancer l’informatique. Et c’est l’une des opportunités les plus riches dont je puisse imaginer faire partie en ce moment. »
Sommaire
De la souris au poignet
Crayon, crayon, stylo, souris, clavier… poignet? C’est peut-être la trajectoire sur laquelle nous nous trouvons pour la prochaine vague de périphériques d’entrée, si la recherche et les prototypes de Facebook sont quelque chose à suivre. La quête apparemment impossible de remplacer la souris est quelque chose que Facebook pense pouvoir résoudre en utilisant ce qu’il a appris de la réalité virtuelle
Comme en témoigne l’augmentation de la prise en charge des applications de suivi des mains utilisées sur son matériel de réalité virtuelle Oculus Quest, il souhaite s’éloigner des appareils que nous tenons lors de l’informatique, permettant à nos mains et à nos doigts de tirer parti de leur gamme complète de fonctions et de leur potentiel. .
Les utilisateurs de VR peuvent déjà se familiariser avec le «pincement» de la réalité virtuelle – placer un curseur sur un élément et rapprocher le pouce et l’index pour faire une sélection. Mais c’est une interaction limitée, sujette à des inexactitudes et seulement capable de processus aussi compliqués que l’interface qu’elle «touche» le permet.
Facebook estime qu’un appareil porté au poignet, utilisant l’électromyographie (EMG, l’évaluation et l’enregistrement de l’activité électrique produite par les muscles squelettiques) est le premier pas vers des interactions plus complexes et intuitives avec les interfaces informatiques ambiantes sur lesquelles reposera la réalité augmentée. le vrai monde.
Le prototype de Facebook utilise des capteurs capables d’interpréter et de traduire les signaux nerveux moteurs qui voyagent du cerveau au bras jusqu’au poignet, capables de comprendre le mouvement des doigts jusqu’à un «millimètre» de mouvement.
En conjonction avec les systèmes de suivi de caméra existants (parfaitement placés sur le poignet pour voir la main), cela permettrait à un utilisateur de manipuler librement des objets virtuels et numériques, sans les empêcher d’interagir avec le monde réel.
Un pas plus loin sur la ligne, et le besoin d’une main pourrait être redondant, le système étant formé pour «sentir simplement l’intention de bouger un doigt».
«Ce que nous essayons de faire avec les interfaces neuronales, c’est de vous permettre de contrôler directement la machine, en utilisant la sortie du système nerveux périphérique – en particulier les nerfs extérieurs au cerveau qui animent les muscles de la main et des doigts», déclare le directeur des interfaces neuromotrices de FRL. Thomas Reardon.
En effet, Facebook a montré une démo où un homme, né sans main, pouvait en quelques minutes utiliser l’appareil au poignet pour manipuler une main virtuelle avec un degré incroyable de dextérité. Reardon a même suggéré que nous pourrions un jour contrôler ces appareils d’une manière qui imiterait le fait d’avoir «six ou sept doigts» sur chaque main.
Le but des interfaces neuronales est de bouleverser cette longue histoire d’interaction homme-machine et de commencer à faire en sorte que les humains aient maintenant plus de contrôle sur les machines qu’ils n’en ont sur nous.
Thomas Reardon
Bien sûr, des systèmes de saisie mains libres existent déjà – des assistants vocaux comme Alexa d’Amazon sont capables de comprendre les commandes et de déduire une signification contextuelle grâce à une base de connaissances croissante en IA, sans avoir besoin d’appuyer sur un bouton.
Mais l’équipe de FRL estime que la voix n’est «pas assez privée pour la sphère publique ou suffisamment fiable en raison du bruit de fond».
Avec la proximité des poignets avec les mains, notre principale partie du corps interactive, un portable là-bas a plus de sens – bien que la façon dont les données neuronales sont capturées, stockées et interprétées ouvrira de tout nouveaux problèmes de confidentialité avec lesquels même la voix ne fait pas actuellement face, et devrait être résolu bien avant qu’un lancement grand public ne soit même envisagé.
Le portable de Facebook est loin de voir les applications grand public, voire commerciales. Mais les choses «avancent vite» selon Reardon, ce qui suggère qu’un appareil similaire pourrait bientôt apparaître pour les tests.
Interfaces AR et VR
Facebook pense que les interfaces informatiques actuelles ne sont pas assez réactives. Ils réagissent, mais n’anticipent pas, apprennent mais contextualisent rarement. En conséquence, nous luttons constamment contre des logiciels et des systèmes qui nécessitent plusieurs étapes d’entrée pour accomplir une tâche que nous pouvons visualiser instantanément.
«Le but des interfaces neuronales est de bouleverser cette longue histoire d’interaction homme-machine et de commencer à faire en sorte que les humains aient maintenant plus de contrôle sur les machines qu’ils n’en ont sur nous», explique Reardon.
«Nous voulons des expériences informatiques où l’humain est le centre absolu de toute l’expérience.»
Mais un tel objectif ne sera pas possible sans une interface à la hauteur. Les lunettes AR comme Facebook Aria, offriront des informations à tout moment dans notre champ de vision, et collecteront des données de toutes sortes de sources afin de s’adapter à un besoin actuel.
En extrayant des données de localisation, des données de capteur ambiant telles que la température et la disposition de la pièce, et même quelque chose d’aussi simple que l’heure de la journée, le but est que l’interface AR comprenne le contexte pour ne présenter que ce qui est nécessaire, anticipant l’intention expresse d’un utilisateur. .
«L’IA sous-jacente a une certaine compréhension de ce que vous pourriez vouloir faire à l’avenir», explique Tanya Jonker, responsable scientifique de la recherche FRL.
«Peut-être que vous vous dirigez dehors pour faire du jogging et, sur la base de votre comportement passé, le système pense que vous êtes le plus susceptible de vouloir écouter votre liste de lecture en cours d’exécution. Il vous présente ensuite cette option à l’écran: «Lire la liste de lecture en cours?» C’est l’interface adaptative au travail.
«Ensuite, vous pouvez simplement confirmer ou modifier cette suggestion à l’aide d’une microgesture. Le ‘clic intelligent’ [the tap of the AR interface that’s presented you information relevant to your current needs without having first summoned it] vous donne la possibilité de prendre ces actions hautement contextuelles avec un très faible frottement, car l’interface fait apparaître quelque chose de pertinent en fonction de votre histoire et de vos choix personnels, et cela vous permet de le faire avec un minimum de gestes. »
La beauté de la réalité augmentée est qu’elle peut créer instantanément l’appareil parfait pour tu. Imaginez un clavier numérique, formé et dimensionné au millimètre près pour s’adapter à la taille de votre main et aux modèles de frappe, plutôt que la taille générique standard qu’exige la fabrication physique.
La sensation physique dans un environnement numérique est cependant cruciale, car même le clavier numérique de la meilleure taille ne sera pas satisfaisant à utiliser sans une certaine force sous une poussée.
L’équipe FRL a présenté deux appareils cherchant à répondre aux problèmes liés à l’haptique au poignet. Le premier est le «Bellowband», un bracelet contenant huit soufflets pneumatiques qui peuvent être contrôlés pour fournir des modèles de pression et de vibration.
Le deuxième appareil est le Tasbi (Tactile and Squeeze Bracelet Interface), qui utilise six «actionneurs vibrotactiles» qui pressent sur le poignet. En conjonction, les deux peuvent fournir une rétroaction qui donne la sensation d’appuyer sur des boutons virtuels ou de se frotter à des textures différentes.
À l’heure actuelle, aucun n’est prêt pour les heures de grande écoute, car il est lourd à porter et nécessite des alimentations externes. Mais ils pointent vers le type de sensations qui, selon Facebook, seront essentielles pour une interaction intuitive et crédible avec les éléments numériques.
Le but ultime n’est donc pas seulement de faire coexister le monde de l’informatique et de la réalité, mais de fusionner. Alors que le smartphone a peut-être abaissé la barrière à l’entrée pour l’informatique, AR vise à supprimer complètement les barrières.
Trouver une interface utilisateur naturelle et les moyens d’interagir sera la clé pour éliminer les frictions entre les mondes numérique et physique, et ce genre d’expériences que Facebook effectue sont certainement en train de graisser les roues.
