Les spécifications de la caméra de l'iPhone 12 sont peut-être encore en suspens, mais il y a une chose dont nous sommes presque sûrs – les deux versions « Pro '' du téléphone sont susceptibles de venir avec un scanner LiDAR. C'est vrai, le même point mystérieux qui est apparu pour la première fois sur l'iPad Pro 2020.
Mais qu'est-ce qu'un scanner LiDAR? Un détecteur de mensonge intégré? Une version plus détendue du radar peut-être? Comme nous allons le découvrir, le LiDAR (ou « Détection et télémétrie de la lumière '') fonctionne de manière similaire au radar, seulement il utilise des lasers pour juger les distances et la profondeur. C'est une grande nouvelle pour la réalité augmentée (RA) et, dans une moindre mesure, pour la photographie aussi.
La question la plus intéressante, cependant, est de savoir ce que le LiDAR nous permettra de faire sur l'iPhone 12. En utilisant notre expérience de voir la technologie sur l'iPad Pro 2020, nous explorerons le type d'expériences que le LiDAR pourrait ouvrir sur les nouveaux iPhones – et, finalement, Verres Apple.
Mais d'abord, un retour rapide aux origines de la technologie, afin que vous puissiez sonner intelligemment lors de votre prochaine réunion Zoom en famille …
Sommaire
Qu'est-ce que le LiDAR?
Le concept derrière LiDAR existe depuis les années 1960. En bref, la technologie vous permet de numériser et de cartographier votre environnement en tirant des faisceaux laser, puis en chronométrant à quelle vitesse ils reviennent. Un peu comme la façon dont les chauves-souris «voient» avec les ondes sonores, uniquement avec des lasers – ce qui le rend encore plus frais que le Batarang de Batman.
Comme la plupart des technologies futuristes, il a commencé sa vie comme un outil militaire sur les avions, avant de devenir plus connu sous le nom de système qui a permis à la mission Apollo 15 de cartographier la surface de la lune.
Plus récemment, le LiDAR (également connu sous le nom de lidar) a été vu sur des voitures autonomes, où il aide à détecter des objets comme les cyclistes et les piétons. Vous avez peut-être aussi rencontré involontairement la technologie dans votre robot aspirateur.
Mais c'est au cours des deux dernières années que les possibilités de LiDAR se sont vraiment ouvertes. Avec les systèmes de plus en plus petits, moins chers et plus précis, ils sont devenus des ajouts viables aux appareils mobiles qui ont déjà des choses comme de puissants processeurs et GPS – tablettes et téléphones.
Bien sûr, tous les systèmes LiDAR ne sont pas créés égaux. Jusqu'à assez récemment, les types les plus courants construisaient des cartes 3D de leurs environnements en balayant physiquement de la même manière qu'une antenne radar.
Évidemment, cela ne le coupera pas sur les appareils mobiles, donc les nouveaux systèmes LiDAR – y compris les capteurs 3D de temps de vol (ToF) vus sur de nombreux smartphones – sont des affaires à semi-conducteurs sans pièces mobiles. Mais quelle est la différence entre un capteur de temps de vol et le « scanner '' LiDAR que nous verrons probablement sur l'iPhone 12?
En quoi le scanner LiDAR d'Apple est-il différent?
Vous connaissez peut-être déjà les capteurs de temps de vol (ToF) vus sur de nombreux téléphones Android – ils les aident à détecter la profondeur de la scène et à imiter les effets de bokeh de plus grandes caméras.
Mais le système LiDAR utilisé dans l'iPad Pro 2020 – et, très probablement, les deux versions «Pro» de l'iPhone 12 – promet d'aller au-delà. C'est parce que c'est un scanner LiDAR, plutôt que les systèmes «sans scanner» vus jusqu'à présent sur les smartphones.
Ces derniers utilisent une seule impulsion de lumière infrarouge pour créer leurs cartes 3D, mais un système LiDAR à balayage déclenche un train d'impulsions laser sur différentes parties d'une scène sur une courte période de temps. Cela apporte deux avantages principaux – une portée améliorée jusqu'à cinq mètres et une meilleure «occlusion» des objets, qui est l'apparition d'objets virtuels disparaissant derrière de vrais comme des arbres.
Impressionnant, c'est aussi un processus rapide, mais cette vitesse n'est vraiment possible qu'avec les derniers processeurs mobiles. Comme Apple l'a déclaré lors du lancement de l'iPad Pro 2020, les données du scanner LiDAR sont regroupées avec les données des caméras et d'un capteur de mouvement, puis "améliorées par des algorithmes de vision par ordinateur sur l'A12Z Bionic pour une compréhension plus détaillée de la scène". En d'autres termes, il se passe beaucoup de choses pour le rendre transparent.
Mais alors que le rumeur selon lequel le processeur A14 Bionic de l'iPhone 12 offrirait un bon support pour le scanner LiDAR d'Apple, il y a beaucoup de place pour l'amélioration du scanner lui-même.
Comme le souligne un article de blog du développeur de l'application Appareil photo Halide, les données de profondeur de l'iPad Pro n'offrent tout simplement pas la résolution requise pour certaines applications, comme la numérisation 3D détaillée ou même le mode Portrait.
Cela signifie que le scanner LiDAR de l'iPad Pro est davantage conçu pour des applications à l'échelle de la pièce, comme des jeux ou pour déplacer des meubles AR dans l'application IKEA's Place. Il ne vous permet pas actuellement de numériser des objets en 3D avec une plus grande précision que d'autres techniques comme la photogrammétrie, qui combine à la place des photos RVB haute résolution prises à partir de différents points de vue.
Ne serait-il pas formidable que ces maillages de scanner LiDAR puissent être combinés avec le type de résolution et de textures vus par les caméras RVB ou Face ID? C'est l'idéal, mais nous n'en sommes pas encore là – et il est peu probable que l'iPhone 12 fasse immédiatement ce saut non plus.
Alors, que pourriez-vous faire exactement avec un scanner LiDAR sur l'iPhone 12?
Qu'est-ce qu'un scanner LiDAR pourrait vous permettre de faire sur l'iPhone 12?
Alors maintenant, nous savons que le scanner LiDAR de l'iPad Pro fonctionne mieux à l'échelle de la pièce, quel genre de choses pourrait-il faire sur l'iPhone 12? Pour la personne moyenne, les deux principaux sont les jeux AR et les achats AR.
Apple a prévisualisé quelques applications spécifiques au LiDAR qui arrivent commodément "plus tard cette année" (très probablement liées à l'annonce de l'iPhone 12) et l'une des plus intéressantes est le jeu Hot Lava.
Un jeu d'aventure à la première personne pour iOS et PC, Hot Lava aura un nouveau « mode AR '' fin 2020 qui s'appuie sur le capteur LiDAR d'Apple pour amener ses rivières en fusion dans votre salon.
Jusqu'à présent, la démo n'est pas aussi impressionnante que nous l'espérions – la plupart des objets que votre personnage saute sont des rendus dans le jeu plutôt que vos meubles réels, mais il est encore temps de le développer.
Naturellement, toute mention du jeu AR fait penser à Pokemon Go, le seul véritable succès pour la réalité augmentée à ce jour. Fait intéressant, le fabricant du jeu Niantic semble forger sa propre voie AR, plutôt que de s'appuyer sur la technologie d'Apple. Il a récemment annoncé une nouvelle fonctionnalité de « mélange de réalité '' pour Pokemon Go – qui permet aux personnages de se cacher de manière réaliste derrière des objets du monde réel comme des arbres – et a révélé l'acquisition d'une société de cartographie spatiale 3D appelée 6D.ai.
Cela montre que les jeux AR de nouvelle génération ne seront pas nécessairement liés à la technologie basée sur LiDAR d'Apple ou à la plate-forme ARKit, mais l'iPhone 12 devrait au moins vous donner un siège au bord du ring pour regarder la bataille AR se dérouler.
Mais qu'en est-il des expériences hors jeu pour le capteur LiDAR? Jusqu'à présent, les plus raffinés semblent s'articuler autour du design d'intérieur. Par exemple, l'application IKEA Place vous permet de déplacer des meubles virtuels dans votre salon, comme si vous étiez dans une version réelle des Sims.
Mais bien que le placement et l'occlusion AR améliorés de l'iPad Pro 2020 (ou la possibilité de cacher des objets virtuels derrière de vrais) soient utiles, ce n'est toujours pas une nouvelle utilisation scintillante pour le scanner LiDAR.
Pourtant, bien que la technologie soit actuellement plus utile pour les concepteurs CAO et les professionnels de la santé (si vous avez un iPad Pro, consultez l'impressionnante application Complete Anatomy), il y a encore beaucoup de place pour la créativité et les surprises qui apparaîtront l'année prochaine.
Comme le montre Esper, la preuve de concept de Halide, le capteur LiDAR pourrait aider les développeurs d'applications à inventer de nouvelles formes créatives qui vont bien au-delà de la photographie et de la vidéo traditionnelles.
En attendant, il est juste de dire que le scanner LiDAR sur l'iPad Pro et peut-être l'iPhone 12 sera d'abord là pour épater les développeurs plutôt que les fans de technologie.
Vous aurez la chance de tester l'avenir sur des appareils équipés de LiDAR – mais le véritable saut devrait arriver lorsque ces capteurs et applications arriveront sur les lunettes Apple.
