Google Lens est cette bête rare – une innovation Google passionnante qui, plutôt que d’exploser sur la scène avant de s’éteindre tranquillement (voir Tué par Google), est progressivement devenue un outil discrètement utile qui devrait certainement faire partie de votre ensemble de compétences de ninja de téléphone.
Vous ne connaissez pas ses pouvoirs ? La définition la plus simple de Google Lens est qu’il s’agit d’un moteur de recherche pour le monde réel – plutôt que de taper votre requête dans une case, vous utilisez l’appareil photo de votre téléphone pour scanner un objet, un bâtiment ou une scène, et Lens utilisera la technologie de reconnaissance d’image pour vous en dire plus à propos de ça.
Mais cela fait aussi beaucoup plus que cela – et comme nous l’avons découvert lors d’une conversation fascinante avec le gourou de Google Lens, Lou Wang (titre officiel du poste : directeur de la gestion des produits), cela ne fait que commencer. C’est une bonne nouvelle car une arrivée familière, Apple, vient de s’installer juste à côté.
Lors de la WWDC 2021 cette semaine, Apple a annoncé deux nouvelles fonctionnalités iOS 15 – « Live Text » et « Visual Look Up » – qui sont en fait sa version de Google Lens. Un refrain commun avec Apple, vrai ou non, est qu’il arrive à la mode tardivement aux technologies avec des versions raffinées d’idées qui ont été testées par quelqu’un d’autre.
Mais est-ce le cas avec Google Lens, et que pense Google de l’approche étrangement familière d’Apple en matière de recherche visuelle ? Plus important encore, quand verrons-nous Lens faire le saut vers les lunettes intelligentes ? Voici ce que Lou Wang de Google nous a dit lors d’une discussion qui a parcouru les visites à pied de nouvelle génération, les problèmes de confidentialité de la recherche visuelle et les utilisations inhabituelles de Google Lens dans les bars.
Sommaire
Apprenant rapide
Google Lens a été lancé en 2017, mais a ses racines dans une application plus ancienne (et maintenant à la retraite) appelée Google Goggles. Quatre ans, c’est long dans la technologie et les pouvoirs de Google Lens ont, tranquillement mais régulièrement, augmenté depuis que Lou Wang a commencé à travailler sur le projet à sa création.
« Quand nous avons commencé, nous étions très simples. Par exemple, nous pouvions lire du texte du monde physique. Mais nous avons parcouru un très long chemin entre ce moment et maintenant », nous a-t-il dit. Qu’est-ce qui a alimenté cette croissance ? « C’est basé sur quelques éléments. L’un est juste l’apprentissage automatique et l’IA, ce qui est quelque chose que Sundar [Pichai, Google CEO] parle beaucoup. Même notre capacité à disposer d’un matériel capable de traiter ces informations a continué de croître à pas de géant », a-t-il ajouté.
« Quand nous avons lancé, nous avons dit » nous pouvons comprendre des millions d’objets « . Et après un an et demi, nous étions à » oh, maintenant nous pouvons comprendre un milliard d’objets « . Et puis deux ans plus tard, nous étions à 15 milliards , » il a dit. « L’utilisation que nous avons constatée des lentilles est passée de pratiquement zéro à environ 3 milliards de fois par mois, et elle continue de croître. »
C’est beaucoup de gens, étant donné que tenir l’appareil photo d’un téléphone pour rechercher le monde réel n’est toujours pas quelque chose qui vient naturellement à la plupart d’entre nous. L’absence de véritables rivaux de Google Lens a bien sûr aidé, alors que pense Google de la nouvelle approche d’Apple en matière de recherche visuelle ?
Et ces pommes ?
« L’équipe l’a définitivement regardé et s’est dit » cette interface utilisateur a l’air super familière « . Comme la possibilité de mettre en évidence le texte directement sur l’écran, de pouvoir traduire, de pouvoir rechercher ces choses « , a-t-il déclaré, se référant à les nouvelles fonctionnalités iOS 15 annoncées par Apple lors de la WWDC 2021 cette semaine.
L’équipe l’a définitivement regardé et s’est dit « cette interface utilisateur a l’air super familière »
Lou Wang
Mais dans un véritable style diplomatique, Lou Wang a déclaré que l’arrivée tardive d’Apple dans la recherche visuelle pourrait être une bonne chose pour Google Lens. « C’est en fait formidable de voir Apple embrasser beaucoup de choses que nous avons faites. Je pense que c’est un signe que tout le monde reconnaît que la capacité de comprendre du texte, la capacité de comprendre les choses à partir d’images, est juste nécessaire et vraiment fonctionnalité utile », a-t-il déclaré.
Cependant, les nouveaux outils iOS 15 d’Apple ne sont pas encore là. L’astuce de fête de signature de Google Lens – et celle qui a fait ressembler les premiers utilisateurs à des magiciens de la rue pour leurs amis non initiés – fait des traductions en direct qui utilisent la RA pour changer le texte du monde réel (par exemple, un menu de restaurant) à l’aide de l’appareil photo de votre téléphone. Et c’est ce genre de choses où Google Lens a toujours un avantage significatif.
« Nous y avons travaillé [Lens] pendant très longtemps. Et il y a certainement des choses que nous trouvons toujours très excitantes – par exemple, pour la traduction, nous faisons du « in-painting » avec certains des effets AR directement sur les images elles-mêmes », a déclaré Lou Wang. « Ce type d’expérience est très utile. en termes de contextualisation quel texte appartient à quelle partie de l’image. Parce que les images ne sont pas qu’un bloc de texte. Être capable de comprendre la relation spatiale de certaines des choses que vous faites en traduction est vraiment important et utile », a-t-il déclaré.
« Je pense qu’aujourd’hui, vous savez ce qui a été annoncé hier [at WWDC 2021], c’est quelque chose qu’ils n’ont pas tout à fait couvert du côté d’Apple », a-t-il ajouté. Pourtant, il semble que l’approche d’Apple, qui se fait sur l’appareil plutôt que sur le cloud, soit fondamentalement différente de celle de Google. Est-ce juste, et que dit Google à ceux qui s’inquiètent des aspects de confidentialité de la recherche visuelle ?
« C’est probablement le cas, mais notre approche fondamentale est » comment rendre les meilleurs résultats disponibles à l’utilisateur « , tout en garantissant la confidentialité », a-t-il déclaré. « Par exemple, nous atteignons le cloud pour certains de ces résultats parce que vous générez simplement des fonctionnalités beaucoup plus utiles pour l’utilisateur. Mais les images ne sont en fait jamais visibles par les humains », a ajouté Lou Wang.
verres teintés AR
Bien que Google Lens ait effectivement parcouru un long chemin, il semble également qu’il y ait beaucoup de potentiel inexploité. Par exemple, Google a récemment annoncé qu’il organisait des visites à pied du monde réel dans des villes britanniques pour promouvoir le déploiement mondial du nouveau filtre « Lieux » de Google Lens.
Google a sûrement les données et la technologie pour créer des visites de la ville avec des commentaires audio et des superpositions AR qui ne nécessitent pas de guides humains ? « C’est l’une des choses dont nous avons parlé et envisagées », a admis Lou Wang. « Au fur et à mesure que les voyages reprennent, je pense que nous verrons plus d’opportunités où nous pourrons commencer à nous fondre dans ce type d’expériences », a-t-il ajouté. Imaginez simplement des scènes de films en réalité augmentée superposées à leurs emplacements réels lorsque vous les dépassez – c’est de toute façon en haut de notre liste.
Il y a cependant un dernier grand obstacle à ce que Google Lens atteigne ce qui est sûrement sa forme finale. Malgré une facilité d’utilisation nettement améliorée – les propriétaires de pixels peuvent, par exemple, lancer une recherche Google Lens en appuyant simplement longuement dans l’application de l’appareil photo par défaut – il y a toujours la friction fondamentale d’avoir à tenir votre téléphone sur une scène ou un objet.
Nous atteignons le cloud pour certains résultats, car vous générez simplement des fonctionnalités beaucoup plus utiles pour l’utilisateur. Mais les images ne sont en fait jamais visibles par les humains.
Lou Wang
La question inévitable est donc de savoir si Google Lens arrivera bientôt sur les lunettes intelligentes ? « Pour moi, c’est certainement quelque chose qui va se produire – à quel moment, je pense que tout le monde peut deviner à ce stade », a déclaré Lou Wang. « Je pense que cette notion de » j’ai regardé cette chose et je veux savoir ce que c’est « est un besoin humain très naturel. Et donc tout ce qui réduit les barrières de faire cela va être utile. »
Google semble être dans la boîte pour fournir le matériel nécessaire pour y parvenir, étant donné qu’il fabrique déjà la Google Glass Enterprise Edition pour les entreprises. Mais lorsqu’il s’agit du défi plus délicat de fabriquer des lunettes AR grand public qui ne ressemblent pas à une paire de lunettes de soleil jumbo de comédie, Apple pourrait le battre avec les lunettes Apple à longue rumeur. Cela dit, les rumeurs suggèrent que ceux-ci pourraient ne pas arriver avant 2022 ou même 2023.
Le sens de l’objectif
Pour l’instant, Google s’efforcera donc de rendre Google Lens aussi utile que possible dans les limites de l’écran de votre téléphone. Et cela inclut de l’adapter à un monde où les gens ont pratiquement cessé de voyager au-delà de leur ville natale.
Vraisemblablement, Google a remarqué de grands changements dans la façon dont les gens ont utilisé Lens au cours de la dernière année ? « Vous avez tout à fait raison, une partie de notre trafic touristique a beaucoup diminué. Les voyages internationaux et ce genre de choses ont été inexistants pendant un certain temps dans le monde », a déclaré Lou Wang.
Mais Google Lens est un outil polyvalent et l’utilisation de sa fonction Translate est notamment en augmentation. Loin des voyages, il est apparemment devenu un allié pour les étudiants de pays comme l’Inde et l’Indonésie, qui ont besoin de traduire des devoirs en anglais. « Ce que nous avons vu, ce sont ces types d’utilisation et en particulier autour du travail scolaire – vous pouvez imaginer que de plus en plus de travaux scolaires deviennent numériques et que les gens travaillent à domicile et vont à l’école à domicile. Cette utilisation a vraiment, vraiment augmenté. «
Qu’en est-il des utilisations inhabituelles de Google Lens ? Ce type de technologie peut souvent prendre vie et Google a rencontré quelques autres cas de champ gauche. Un utilisateur a apparemment pu aider un barman à rechercher l’histoire de sa famille – après avoir découvert qu’un ancien badge de l’armée derrière le bar appartenait à son grand-père, ils ont utilisé Lens pour les aider à localiser l’unité d’infanterie exacte.
Mais la fonctionnalité à venir la plus intéressante, en particulier pour les fans de jeux AR comme Pokemon Go, est peut-être que Google a créé ce qu’il appelle « une expérience unique de chasse au trésor gamifiée », qui sera lancée début juillet.
Alors que les astuces les plus utiles de Google Lens restent plus banales – par exemple, copier rapidement des mots de passe de routeur ou régler des arguments sur des espèces d’arbres – ce sont ces expériences plus frivoles qui aideront à initier plus de gens à l’idée de scanner le monde réel avec leurs téléphones. Au moins, jusqu’à ce que nous puissions enfin essayer ces lunettes intelligentes de marque Lens tant attendues.
