Si vous avez un téléphone appareil photo phare, vous vous demandez probablement comment il prend des photos aussi incroyables. Les téléphones illuminent les ombres, brouillent les arrière-plans pour les portraits de type reflex numérique, rehaussent les couleurs et ajoutent généralement du piquant aux images d’une manière que les appareils photo traditionnels ne font pas.
Une grande partie de ce processus se résume à l’optimisation de la scène de l’IA, que vous trouverez sur la plupart des smartphones aujourd’hui dans une certaine mesure – à son meilleur sur les meilleurs smartphones du marché.
Les téléphones avec appareil photo sont intelligents; après tout, ce sont des mini-ordinateurs. La puce qui alimente votre téléphone offre une puissance de traitement dont nous n’aurions pas pu rêver il y a quelques décennies.
Les fabricants de smartphones associent cette intelligence au petit module de caméra à l’arrière de votre téléphone pour lui donner des yeux artificiels. Avec ces yeux, votre téléphone peut comprendre ce que vous photographiez, déterminer les éléments à optimiser et préparer votre photo finale pour Instagram sans avoir besoin d’heures de retouches.
Plus impressionnant ; dans certaines scènes, un appareil photo pour smartphone peut surpasser un reflex numérique à plus de 1 000 $, grâce à toute cette intelligence et cette puissance de traitement entassées dans son processeur et aux effets HDR intelligents.
En bref, il s’agit d’une histoire sur la façon dont l’adversité – de minuscules capteurs de smartphone – a créé la prochaine évolution de la photographie informatique.
Sommaire
Qu’est-ce que l’optimisation des scènes d’IA ?
L’indice est dans le nom. L’optimisation de scène par l’IA est le processus par lequel votre téléphone optimise une photo que vous prenez en fonction de la scène que vous capturez.
En parlant en prenant une photo, lorsque vous pointez votre téléphone appareil photo sur un sujet, la lumière traverse l’objectif et tombe sur le capteur. Cette lumière est traitée comme une image par le processeur de signal d’image (ISP), qui fait généralement partie de la puce de votre smartphone, qu’il s’agisse d’un Qualcomm Snapdragon 888 ou d’un Apple A11 Bionic.
Les FAI ne sont pas nouveaux. Ils utilisent des appareils photo numériques depuis des années et font les mêmes choses fondamentales sur les smartphones.
Certaines de leurs tâches consistent à vous fournir une image à prévisualiser, à réduire le bruit, à régler l’exposition, la balance des blancs, etc. La particularité des smartphones aujourd’hui, c’est à quel point ces FAI sont intelligents.
Pour commencer, avec des capacités informatiques améliorées, les FAI de téléphones avec appareil photo sont en mesure de mieux comprendre ce que vous filmez. Alors que vous étiez sur un vieil appareil photo reflex numérique ou compact numérique, vous auriez peut-être dû ajuster votre scène manuellement. Désormais, les smartphones peuvent le faire tout seuls. C’est juste gratter la surface cependant.
Avec l’optimisation des scènes de l’IA aujourd’hui, un téléphone avec appareil photo peut comprendre plusieurs éléments de votre image et régler le traitement de chacun d’eux de manière très spécifique.
Par exemple, si vous prenez une photo d’une personne devant un champ herbeux avec un ciel bleu dans le cadre, le FAI de votre téléphone pourrait illuminer son visage étant donné qu’il s’agit probablement du sujet, renforcez les verts dans l’herbe pour les faire paraître plus riches et améliorent les bleus du ciel séparément, et selon votre téléphone, adoucissez peut-être même légèrement l’arrière-plan pour faire la mise au point sur votre sujet.
De nombreux smartphones vont aujourd’hui encore plus loin. Les smartphones haut de gamme de Sony, par exemple, ont le suivi des yeux des animaux de compagnie, tandis que les smartphones Huawei ont une détection automatique de nuit qui fonctionne si bien sur les produits phares, il peut égayer une scène pratiquement noire, faisant ressembler la nuit au jour.
Cette technologie est disponible sur les iPhones, ainsi que le mode Portrait, qui permet un contrôle maximal sur le flou d’arrière-plan et les effets d’éclairage lors de la capture d’une photo d’une personne, et les téléphones Pixel de Google sont réputés pour leur astrophotographie.
Bien qu’il ne soit pas activé par l’IA, lorsqu’il est allumé, il regarde le ciel nocturne et évalue intelligemment combien de temps il faut garder l’obturateur numérique ouvert afin qu’il puisse capturer des étoiles et même des galaxies.
Alors sûrement, les smartphones doivent pâlir par rapport aux reflex numériques lorsqu’il s’agit de photographie IA ? En fait, ils ne le font pas. Fait intéressant, les fabricants d’appareils photo apprennent une chose ou deux sur le traitement des photos auprès des ingénieurs des téléphones-appareils photo.
Petits capteurs ; solutions intelligentes
Si vous repensez à il y a 10 ans, Nokia lançait des smartphones avec de gros et puissants flashs au xénon comme le Nokia 808 Pureview.
Il a dû augmenter les spécifications matérielles de ses téléphones avec appareil photo, car les photos prises sur la plupart des téléphones la nuit ressemblaient à un gâchis atroce et granuleux. Même un téléphone comme le Nokia Pureview ne coupait pas la moutarde dans des scènes vraiment difficiles.
La raison pour laquelle les caméras mobiles ont été si contestées est que les téléphones doivent tenir dans nos paumes et nos poches, et doivent donc être petits. Les smartphones doivent également comporter de nombreux autres éléments : écrans, haut-parleurs, batteries, antennes, etc.
De minuscules capteurs mobiles avec de minuscules lentilles ont du mal à faire entrer beaucoup de lumière. Plus de lumière se traduit par une meilleure image, et c’est là que réside le problème : petits capteurs, capacités de capture de lumière limitées, mauvaise qualité d’image.
Ces limitations pour les appareils photo mobiles ont forcé les fabricants de téléphones à cesser d’essayer de résoudre le problème avec un meilleur matériel, cher, surdimensionné et consommateur de batterie, et à se tourner plutôt vers les logiciels.
L’une des premières fois où cela a vraiment fait les gros titres, c’est lorsque Google a sorti le Pixel, un téléphone sans stabilisation d’image optique, mais avec une si bonne stabilisation électronique qu’il a surpassé une grande partie de la concurrence.
Le Pixel et le Pixel 2 ont ensuite présenté d’incroyables capacités de traitement de photos qui ont transformé les photos de meh en wow devant vos yeux en reconnaissant la scène.
Cela a ensuite conduit des marques comme Huawei à introduire des unités de traitement neuronal dans les chipsets, le Mate 9 présentant la détection de scènes IA, et la fonctionnalité trouvée sur les téléphones d’autres fabricants de smartphones, les téléphones Samsung détectant environ 32 scènes.
Que ne peut pas faire la détection de scène par l’IA ?
Et c’est ainsi que des personnes intelligentes résolvant un défi photographique ont rendu quelque chose d’impossible à surmonter avec du matériel seul – des photos de smartphone de haute qualité dans toutes les conditions d’éclairage – possible à l’aide d’un logiciel et d’une détection de scène par IA.
La prochaine frontière est la détection de scènes IA en vidéo. Bien qu’elles soient déjà disponibles dans une certaine mesure, les capacités photo nocturnes ultra-intelligentes utilisées dans les photos par Apple, Google (Night Sight) et Huawei n’ont pas complètement franchi le pas vers une vidéo nocturne très nette.
Une vidéo comporte au moins 24 images par seconde, et c’est donc un autre niveau de puissance de traitement.
À mesure que les processeurs deviennent plus puissants, que le développement de l’IA atteint de nouveaux sommets et que les capteurs des smartphones sont de plus en plus capables de capturer la lumière malgré leur petite taille, la détection de scènes par l’IA semble prête à continuer de changer le visage de la photographie pour tous.
