Sony avait déjà promis que la PS5 révolutionnerait le son des jeux avec son unité de traitement audio 3D intégrée. Maintenant, il semble que la prochaine étape de Sony soit de développer des bandes sonores de jeux basées sur l'IA qui réagissent à la façon dont vous jouez ou à vos émotions et changent la musique en conséquence.
Le brevet « Dynamic Music Creation in Gaming '' a été découvert pour la première fois par Game Rant, et bien qu'il ne mentionne pas spécifiquement la PlayStation 5, il possède toutes les caractéristiques d'une fonctionnalité que Sony envisage pour la prochaine console.
Dans le brevet, les ingénieurs de Sony décrivent comment ils envisagent d'utiliser l'apprentissage automatique pour analyser comment différents « composants musicaux '' comme le rythme, la mélodie et l'harmonie correspondent à des émotions spécifiques, puis créent différentes variantes émotionnelles des partitions musicales qui déclencheront des sentiments spécifiques chez les joueurs comme ils jouent.
Tout d'abord, Sony demandera à ses compositeurs de créer des «motifs» musicaux qui correspondent à un personnage spécifique, une activité dans le jeu, des lieux ou même la «personnalité» du joueur. Ensuite, ces motifs seront codés pour jouer en fonction des données de Sony sur ce que le joueur ressent ou devrait ressentir à un moment donné.
Par exemple, sur la PS5, Sony pourrait prendre la musique overworld de Assassin's Creed Valhalla et réduisez le tempo et les percussions pour une ambiance plus calme si le joueur a cessé de bouger pendant un certain temps, augmentez la tension s'il s'est verrouillé sur une cible, ou ajoutez un violon émouvant si un personnage bien-aimé apparaît.
Les émotions spécifiques que ce système dynamique tenterait d'évoquer incluent la tension, le pouvoir, la joie, l'émerveillement, la tendresse, la transcendance, la tranquillité, la nostalgie, la tristesse, la sensualité et la peur.
Les ingénieurs prévoient d'analyser des tonnes de musique populaire afin de transformer la musique qui provoque des émotions en science. Leur système d'apprentissage automatique convertira la musique en partitions électroniques, fera correspondre les partitions avec les critiques des critiques et des fans, puis horodatera des morceaux de musique spécifiques qui correspondent à des émotions spécifiques.
Sony prévoit ensuite d'expérimenter la «mise en correspondance des émotions et des scénarios». Pendant un moment stressant, plutôt que de jouer de la musique tendue de manière prévisible, ils ont affirmé qu'un courant de sensualité sous-jacent pourrait avoir un «effet meilleur et plus intéressant» sur votre expérience.
Bien que nous ne sachions pas quand le «moteur de composition» sera considéré comme viable, il est certain qu'il pourrait fonctionner sur la PS5 à la fin de 2020 afin de différencier la console de la Xbox Series X. De nombreux jeux vidéo d'aujourd'hui ajustent déjà leur musique basée sur les actions ou les événements des joueurs dans le jeu, mais pas avec ce niveau de subtilité et de personnalisation.
Sommaire
L'avenir biométrique de Sony pour PS5?
Sony souhaite ajuster la bande sonore en fonction de qui vous êtes, en répertoriant des catégories telles que "jeunes, vieux, hommes, femmes, introvertis, [and] extraverti. "Mais le brevet explore comment leur système musical pourrait aller bien au-delà de ces descripteurs de base.
Les joueurs pourraient « choisir '' de fournir leurs données de médias sociaux à Sony pour une analyse de la personnalité et du comportement. Les joueurs peuvent également utiliser des «dispositifs biométriques» pour fournir des données telles que «l'activité électrodermique, le pouls et la respiration, la température corporelle, la pression artérielle, l'activité des ondes cérébrales, [and] prédispositions génétiques ".
Pour suivre ces informations, les ingénieurs ont répertorié certains dispositifs biométriques potentiels qui pourraient suivre les données des utilisateurs: une « caméra thermique ou infrarouge '', un « tracker d'activité portable '' ou une « smartwatch avec bio-détection ''.
À partir de là, le système prendrait vos données corporelles et ajusterait la bande sonore en fonction. Imaginez si vous êtes mort plusieurs fois devant un boss coriace, et la PS5 pourrait détecter votre rythme cardiaque élevé, interpréter cela comme de la frustration et ajuster la bande sonore pour jouer quelque chose de plus apaisant.
De nombreux propriétaires de PS5 ne se sentiront pas à l'aise avec Sony en sachant autant sur leur santé et leur personnalité. Mais si l'apprentissage automatique de Sony peut créer des profils d'un sous-ensemble de joueurs, ils peuvent probablement prédire les réponses émotionnelles moyennes à certains segments de jeu. Ensuite, ils peuvent extrapoler la façon dont tout joueur pourrait réagir à une scène donnée et ajuster la musique en conséquence.
Indépendamment des problèmes de confidentialité, ce brevet laisse entendre que Sony pourrait être intéressé par le suivi de la santé des joueurs dans d'autres contextes. Nintendo a exploré la technologie de suivi du sommeil pendant des années et son jeu d'exercice Ring Fit Adventure a été un succès majeur.
Il est possible que Sony ait des aspirations similaires pour la PlayStation 5, soit pour créer sa propre technologie de suivi, soit pour connecter les smartwatches et les trackers de fitness existants des joueurs à la PS5 pour fournir des données en temps réel.
