Sony conçoit un contrôleur VR de suivi des doigts

Un rapport des ingénieurs logiciels de Sony révèle que la société développe un système de mouvement de réalité virtuelle hautement immersif susceptible d'être utilisé dans ses contrôleurs PlayStation de prochaine génération.

Les contrôleurs VR utiliseraient la technologie de suivi des doigts.

Dans un article intitulé "Évaluation des techniques d'apprentissage automatique pour l'estimation de la pose de la main sur un appareil portable avec capteur de proximité", une équipe de la division Interactive Entertainment de Sony a déclaré avoir développé un contrôleur qui reproduit avec précision les mouvements des mains et des doigts d'un joueur.

Les applications de suivi des doigts se sont généralement appuyées sur des caméras qui captent le mouvement des doigts, comme l'Oculus Quest. Plus récemment, des capteurs de proximité capacitifs offrant une reconnaissance de mouvement plus précise font leur entrée sur le marché. Mais, comme le notent les chercheurs de Sony Kazuyuki Arimatsu et Hideki Mori, la détection des caméras est entravée par la présence de contrôleurs physiques et la technologie des capteurs de proximité, encore à ses balbutiements, doit être améliorée et affinée. La capture précise du mouvement de la main est restée insaisissable.

Arimatsu et More ont relevé le défi de combler ces lacunes. Ils ont construit un prototype de contrôleur manuel avec 62 électrodes intégrées et enregistré des ensembles de données d'entraînement avec un système de surveillance optique. Ils ont capturé les mouvements des mains de 12 sujets, chacun avec différentes tailles de mains.

"Nous visons à repousser les limites de la fonctionnalité de suivi des doigts pour une interaction plus intuitive à l'aide des mains dans l'espace virtuel", ont déclaré Arimatsu et More. "Notre approche détecte non seulement le contact des doigts sur une électrode spécifique, mais prédit le mouvement complet des doigts dans l'espace 3D en utilisant les valeurs de tous les capteurs. Pour y parvenir, nous avons évalué deux types d'architectures de réseaux de neurones convolutifs étudiés dans le domaine de la vision par ordinateur pour l'estimation de la pose, et a illustré l'architecture appropriée pour les capteurs sur le contrôleur. "

Pour réaliser des expériences 3D réalistes et immersives, les chercheurs ont déclaré dans un rapport publié le mois dernier, qu'ils avaient appliqué une représentation multidimensionnelle "pour appliquer des méthodes de réseaux de neurones convolutionnels sur une image capacitive de la surface incurvée et deux types d'architectures de réseaux basées sur des réalisations récentes dans le domaine de la vision par ordinateur a été évalué avec notre ensemble de données. Nous avons également mis en œuvre des applications interactives en temps réel en utilisant le prototype et démontré la possibilité d'une interaction intuitive avec les doigts dans les applications VR. "

Le prototype de la vidéo montre la main d'un utilisateur et sa représentation numérique faisant divers gestes tels que l'ouverture et la fermeture, le comptage, la rotation du pouce, les doigts écartés, le signe de la paix et le pouce tendu et l'auriculaire (symbolisant un appel téléphonique). Il peut reconnaître une main saisissant le dispositif de commande et soulevant ou jetant un objet.

L'année dernière, Sony a autorisé des haptiques avancées pour les contrôleurs VR. Ils seront capables de simuler des sensations de poussée, de traction, de saisie et de pulsation. Le prochain contrôleur Sony pourrait bien permettre aux joueurs de voir non seulement leurs mains mais aussi de sentir divers objets avec lesquels ils interagissent.

L'équipe a déclaré que cette technologie pourrait être appliquée à des domaines autres que le jeu, tels que les applications de communication non verbale.

© 2020 Science X Network