Cette bataille virtuelle de Viking était la VR la plus immersive que j'ai jamais vue

Il n'y a jamais eu de meilleur moment pour être un passionné de VR. Avec la présence accrue de casques autonomes sans fil, ainsi que des fonctions avancées de suivi des mouvements et de résolution d'écran pour rendre les expériences de réalité virtuelle vaguement synchronisées avec les propres sens de notre corps, nous arrivons maintenant au point où les simulations de réalité virtuelle commencent à se faire sentir, si ce n'est réel, certainement plus réaliste qu'avant.

Nous sommes encore loin de la matrice, cependant. Les développeurs essaient encore de résoudre des problèmes physiques fondamentaux tels que le mal des transports et la fatigue oculaire, tandis que les types de modèles de personnages créés pour les moteurs de jeu VR – ou tout moteur de jeu – sont tout sauf réalistes.

Avec la capture volumétrique, cependant, cela pourrait commencer à changer.

J'ai visité Dimension, un studio de production de réalité virtuelle utilisant la nouvelle technologie de capture vidéo, pour découvrir comment une simulation d'un navire de combat viking pouvait signaler l'avenir des expériences de réalité virtuelle interactive.

Qu'est-ce que la capture volumétrique?

La capture volumétrique est une technologie de capture vidéo relativement nouvelle permettant de recréer des personnes et des objets en réalité virtuelle. Breveté par Microsoft, avec seulement deux studios licenciant actuellement la technologie dans le monde entier – Dimension étant l’un d’eux -, il a le potentiel de changer le niveau d’immersion et d’engagement émotionnel que nous obtenons de la réalité virtuelle.

Au lieu d'utiliser une caméra à 360 degrés qui capture des images réelles dans toutes les directions, ou de recréer une scène entière dans un moteur physique, la capture volumétrique utilise une vaste gamme de caméras dans un studio de capture dédié – l'enregistrement sous plusieurs angles pour capturer une quantité incroyable de détails, quand est ensuite numérisé dans un environnement CGI.

La phase de capture de Dimension comprend 106 caméras individuelles (53 RVB, 53 infrarouges) ainsi que huit microphones directionnels pour la capture audio en temps réel, au lieu de les ajouter séparément en post-production. La matrice complète est capable de capturer plus de 10 Go de détails par seconde, à 30 images par seconde – ou 20 Go / s à 60 images par seconde.

Steve Jelly, directeur général de Hammerhead (qui possède et exploite Dimension), m'a expliqué le fonctionnement du processus:

"Moitié de [the cameras] sont en train de filmer de la lumière visible, et l’autre moitié, de la lumière infrarouge, qui est éclairée par ces lasers ici… et qui aide nos algorithmes à comprendre la forme aussi bien que la couleur.

«Nous prenons ces images, puis nous les passons dans une immense batterie d’ordinateurs qui calcule chaque position de chaque pixel dans l’espace, crée un maillage et enroule la séquence vidéo par-dessus.»

La précision de la méthode de mappage, qui utilise «des milliers de petits points» pour capturer des objets 3D, signifie que les caméras peuvent même recréer des détails aussi petits que les plis de vos vêtements – bien plus de détails que ceux obtenus avec les méthodes de capture de mouvement traditionnelles , qui reposent sur la recréation du geste et du mouvement dans une "marionnette" générée par ordinateur.

"C'est le problème [with motion capture]", A déclaré Jelley. "Vous pouvez obtenir un résultat fantastique si vous avez beaucoup d’argent et que vous produisez un cadre 2D, mais que vous perdez toujours quelque chose en traduction."

Qu'est-ce que les vikings ont à voir avec quoi que ce soit?

Nous sommes arrivés au studio de Dimension pour essayer un aperçu de Virtual Viking: The Ambush. Une collaboration entre le studio de production de Ridley Scott, RSA Films et le centre de divertissement interactif The Viking Planet à Olso, c’est l’un des tout derniers exemples de l’immersion totale des expériences VR de demain.

L’embuscade est une reconstitution historique d’un navire de combat viking en VR, qui utilise l’expertise de nombreux musées de l’époque – «partout où il y a des bateaux vikings», nous a-t-on dit – et des textes de recherche tels que Vikings at War de Kim Hjardar. Produite pour le centre Viking Planet à Olso, en Norvège, la démo fera partie d’une exposition plus vaste sur la vie des gens de mer nordiques, utilisant plusieurs casques de réalité virtuelle pour amener les historiens en herbe sur un navire viking au cœur de la bataille.

Compte tenu de la participation de Microsoft, il n’est pas surprenant que The Ambush s’exécute sur un casque Windows en réalité mixte: le HP Reverb.

La Reverb possède toutefois l’un des écrans les plus nets du marché, avec une résolution de 2 160 x 2 160 écrans par œil, offrant une résolution deux fois supérieure à celle du HTC Vive Pro et du Samsung Odyssey +. Sans parler de six degrés de liberté pour un mouvement fluide à 360 degrés.

On nous dit que l'expérience finale aura un retour tactile complet pour les sièges dans lesquels vous vous trouverez, recréant le doux rocher du bateau afin de minimiser le mal des transports – un autre obstacle récurrent pour la VR transparente.

Rendre le virtuel réel

Nous avons assisté à de nombreuses démonstrations de réalité virtuelle – des casques 8K batman au parapente provoquant des nausées -, mais The Ambush était incroyablement frais.

Commençant devant un feu de camp somptueux et se retrouvant assiégé par des flèches enflammées sur un ancien bateau viking, Dimension a construit un récit simple le long de la côte ouest de la Norvège, avec des reconstitutions historiques de bateaux, d'armes et de Vikings pour donner du poids à la scène. .

La comparaison la plus proche à laquelle je puisse penser est assise sur une scène de théâtre, avec les acteurs à quelques mètres de vous. Je pouvais voir les Vikings devant moi soulever leurs poitrines alors qu’ils descendaient la rivière le soir, plissant les yeux pour mieux voir dans le noir, leurs articulations se tendant autour de leurs rames CGI et tressaillant tandis que des projectiles commençaient à pleuvoir sur eux. alliés.

De nombreux objets – et le navire lui-même – ont été générés dans le moteur Unreal, mais ce sont les acteurs qui ont véritablement fait se sentir l’espace virtuel et rendu encore plus destructive la destruction de l’équipage du navire.

Ce sont ces petits détails, dans un regard, une adhérence plus serrée sur une rame, ou la contraction d'un muscle facial, qui donnent à une personne une impression de vraie réalité – sans l'effet de "vallée mystérieuse" avec des caractères numériques qui ne sont tout simplement pas aussi expressifs. visage humain.

Le défi avec la capture de performances humaines, cependant, est que vous ne pouvez pas reprocher à la technologie d’agir mal. Lisa Joseph, productrice chez RSA Films, a débuté sa carrière dans le théâtre et ne sait que trop à quel point cet aspect est important.

"Vous prenez de vraies personnes et les mettez dans un monde généré par ordinateur", déclare Joseph. "Donc, ils ont vraiment besoin de pouvoir agir."

Dimension a dû exécuter un «casting rigoureux» sur plusieurs jours pour s'assurer que le résultat valait la peine de la nouvelle méthode de capture. Le processus a été rendu plus facile par l’ajout de NPC (personnages non joueurs) à l’arrière-plan, en n’utilisant que des personnes réelles pour les personnes proches du spectateur, où la différence de détail compterait vraiment.

Il existe certainement de grandes applications dans les jeux de réalité virtuelle: imaginer un Fallout ou un Skyrim en monde ouvert avec des expressions humaines complexes, au lieu d'animations faciales par cœur, pourrait complètement transformer la façon dont nos interactions dans les jeux peuvent être.

Ceux de Dimension ne seront pas mordus sur le sujet, mais leur utilisation de Unreal Engine – qui propulse des titres allant de Fortnite à Gears of War en passant par le remake de Final Fantasy VII – nous donne l’espoir que les captures volumétriques ne tarderont pas à prendre dans l'industrie au sens large. Nous avons beaucoup plus de démos de VR devant nous, et nous voulons qu'ils se sentent beaucoup plus comme cela.