Facebook se concentre sur l’audio intelligent pour les lunettes AR

Le conférencier inspirant et auteur à succès d’Amazon, Sanjo Jendayi, a dit un jour: « Écouter ne signifie pas toujours entendre. Audition ne mène pas toujours à la compréhension, mais l’écoute active aide chaque personne à vraiment » voir « l’autre. »

Jendayi donnait un petit conseil philosophique lors d’un discours de motivation, et la technologie était probablement la dernière chose dans son esprit. Mais ses paroles pourraient en fait mieux décrire la notion derrière les avancées révolutionnaires des meilleurs scientifiques, programmeurs et concepteurs de l’équipe Facebook Reality Labs Research (FRLR).

Un article sur le site Web du FRLR la semaine dernière a donné un aperçu de la direction que prend le géant des médias sociaux dans le monde de la réalité augmentée et de la réalité virtuelle.

«Nous explorons de nouvelles technologies qui peuvent étendre, protéger et améliorer votre capacité auditive, vous donnant la possibilité d’augmenter la concentration et la concentration, tout en vous permettant d’interagir de manière transparente avec les personnes et les informations qui vous intéressent», a déclaré Tony Miller, membre de l’équipe de recherche.

Facebook, qui avait initialement prévu de démontrer les progrès de sa recherche sur les lunettes intelligentes AR lors d’une conférence ce mois-ci qui a été annulée en raison de la pandémie, a plutôt proposé des démonstrations à des journalistes et spécialistes des médias sélectionnés.

Les démonstrations se concentrent sur deux technologies, la présence audio et l’audition améliorée, qui fournissent ce que FRLR appelle des «superpuissances perceptives».

L’audition améliorée fonctionne comme ceci: si vous entrez dans un bar bondé où les sons des clients qui font la fête, des téléviseurs, d’un groupe en direct, d’une cuisine bruyante sont fusionnés en une masse cacophonique, imaginez pouvoir isoler les sons spécifiques que vous voulez entendre – un client en particulier , le programme télévisé ou simplement le groupe – simplement en les regardant. Grâce à l’intelligence artificielle et à la technologie de suppression du son, le simple fait de regarder un objet améliorera et clarifiera la voix ou le son tout en éliminant tous les autres sons en dehors de votre «vision», y compris les bruits parasites et autres bruits gênants tels que la climatisation.

Un tableau de microphones miniatures dans les lunettes écoute tous les sons, et d’autres composants intégrés détectent la position de la tête et le mouvement des yeux afin de se concentrer sur la cible qui vous intéresse.

Lorsque deux personnes conversent sur de longues distances, ou lorsque le casque vidéo place quelqu’un dans un endroit éloigné, la présence audio vise à leur faire sentir qu’ils sont là. Cette présence est déterminée en mesurant les différences de «temps interaural», les différences fractionnaires de temps qu’il faut à un son pour atteindre chaque oreille et les différences de volume pour chaque oreille, ainsi que l’acoustique de la pièce.

Même la forme de l’oreille est prise en compte. Comme une empreinte digitale, aucune oreille n’a la même forme. Toutes les personnes ont ce que les chercheurs appellent leur propre fonction de transfert liée à la tête, ou HRTF.

Aucun profil auditif de deux personnes ne sera identique. Afin d’optimiser l’environnement AR parfait, les chercheurs prennent de nombreuses mesures acoustiques d’une demi-heure. Cela comprend le test de l’interaction des sons avec la conception de la paire d’oreilles unique de chaque individu. Grâce à l’IA, une acoustique mesurée avec précision peut recréer un environnement si réaliste que les sujets ont du mal à faire la distinction entre les voix réelles des autres dans la même pièce et les voix entendues dans un environnement créé artificiellement.

Les lunettes intelligentes ne sont pas encore prêtes pour la production commerciale. Mais on dirait qu’ils sont juste au coin de la rue.

© 2020 Réseau Science X