Le copier-coller entre dans l'ère de la réalité augmentée

C'est en 1901 qu'un auteur de livres pour enfants a imaginé une image électronique qui pourrait flotter sur les gens et fournir des informations à leur sujet. L. Frank Baum, qui avait écrit un an plus tôt "The Wonderful Wizard of Oz", a qualifié cette image de marqueur de personnage. En fait, c'est la première référence connue à ce que 120 ans plus tard serait communément appelé réalité augmentée.

Des filtres faciaux fantaisistes de SnapChat aux cartes météo quotidiennes du soir à la télévision, les superpositions numériques sur des scènes du monde réel sont devenues omniprésentes.

Le rythme des progrès de la réalité augmentée ne fera qu'augmenter dans les mois et les années à venir.

Certaines de ces avancées seront relativement simples. Un tel exemple a été dévoilé le mois dernier. Cyril Diagne, concepteur et programmeur actuellement en résidence au Google Arts and Culture Lab à Paris, a montré qu'une opération aussi banale que le couper-coller peut être suralimentée à l'ère de la réalité augmentée.

Il a publié des vidéos de démonstration de son processus d'appareil photo pour smartphone qui distingue un objet, l'isole de l'arrière-plan et, lorsqu'il est dirigé vers un ordinateur de bureau, insère l'image dans un document. Tout cela se fait en moins de 10 secondes.

Diagne a expliqué qu'il utilise BASNet pour tracer le contour d'une image et effacer en douceur l'arrière-plan. Il utilise une autre technologie de suivi d'image pour déterminer précisément où la caméra du téléphone pointe.

4/10 – Coupez et collez votre environnement dans Photoshop

Code: https://t.co/cVddH3u3ik

Livre: @HOLOmagazine
Vêtement: SS17 par @thekarentopacio
Type: Sainte Colombe par @MinetYoann @ProductionType
Aperçus techniques: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF

– Cyril Diagne (@cyrildiagne) 3 mai 2020

"Il s'agit d'un prototype qui utilise l'appareil photo du téléphone pour capturer, extraire et coller des objets de votre environnement directement dans Photoshop", a expliqué Diagne. "Grâce à OpenCV SIFT, une technologie de suivi d'image, l'application est capable de détecter où le téléphone pointe vers l'écran, ce qui en fait une expérience transparente. Cela fait partie d'une série d'expériences que je fais chaque week-end pour explorer comment la machine l'apprentissage et l'IA peuvent aider à créer des interactions numériques plus naturelles. "

Sa vidéo de démonstration le montre braqué son appareil photo sur trois éléments successifs – une plante, un livre et un chemisier – et dans chaque cas pointant l'appareil photo vers un ordinateur de bureau, où chaque image vole dans le document.

Les images nécessitent 2,5 secondes pour être capturées et 4 secondes pour les coller.

D'autres exemples vidéo le montrent en train de capturer des images fixes accrochées à un mur transféré sur un ordinateur où ils lancent des clips vidéo et de capturer le logo du groupe de hard rock Iron Maiden sur le T-shirt de sa femme qui, une fois transféré sur l'ordinateur, joue instantanément "Drifter" de leur album "Killers".

Diagne dit qu'il y a place à amélioration, y compris une réduction des temps nécessaires pour le transfert. Mais pour l'instant, il propose AR Cut and Paste uniquement en tant que prototype et a téléchargé tous les détails et le code sur GitHub. Un serveur local doit être établi pour relier le smartphone à Photoshop sur l'ordinateur de bureau.

La réalité augmentée alimente certaines des applications les plus intrigantes disponibles aujourd'hui. Outre son application évidente à d'innombrables jeux, il offre de nombreuses utilisations pratiques pour des besoins personnels, éducatifs et commerciaux.

Froggipedia projette une grenouille 3D réaliste sur toute surface vers laquelle vous pointez votre appareil photo, offrant une dissection étape par étape très détaillée et sans douleur, effectuée avec vos mouvements du bout des doigts. HairStyle Pro capture votre image et vous présente des centaines de coiffures et de couleurs différentes positionnées avec précision sur votre visage (y compris les barbes et les favoris pour les hommes). YouCam Makeup-Magic fait de même pour les femmes qui recherchent la teinte parfaite des cosmétiques.

Pour les artisans ou artisanes à la maison, le kit de mesure AR vous permet de diriger votre appareil photo vers deux cibles quelconques et renvoie une mesure précise. Si vous préférez acheter des meubles prêts à l'emploi, IKEA vous permet de projeter des images de son inventaire de meubles et autres accessoires pour la maison directement dans votre salon ou votre cuisine.

Et peut-être mieux encore, avec un visualiseur AR, vous pouvez vérifier que Porsche 911 Carrera 4S que vous avez toujours voulu, à seulement 120600 $ aujourd'hui, et placer son image sur votre propre allée devant votre maison lorsque vous sélectionnez les couleurs, intérieurs et le style de la jante, puis regardez la voiture rouler sur la route.

L. Frank Baum serait impressionné.

© 2020 Science X Network