Voici le secret de la technologie de conversion ascendante de l'IA 8K

La stratégie commerciale de Samsung en 2020 pour les ventes de téléviseurs est simple: 8K ou buste. Avec ses ventes de télévisions QLED 4K qui sont réduites à néant Téléviseurs 4K économiques, Samsung envisage de déplacer à nouveau le marché, vers un format qui a (jusqu’à présent) très peu de concurrents, mais aussi très peu de contenu natif.

Pourtant, comme nous l'avons vu dans notre Test de comparaison 4K vs 8K plus tôt cette année, vous n'avez pas réellement besoin d'enregistrer des vidéos en résolution 7680 × 4320 (8K) pour tirer pleinement parti de ces millions de pixels – les téléviseurs 8K de Samsung utilisent l'upscaling de l'IA pour convertir tout type de vidéo (SD en 4K et tout ce qui se trouve entre les deux) ) en résolution 8K.

Bien entendu, l’augmentation des niveaux n’est pas nouvelle. Pendant des années, les téléviseurs 4K et même HD ont trouvé le moyen d’étendre le contenu en basse résolution pour s’adapter au rapport pixels / pouce supérieur des téléviseurs modernes. Mais avec les téléviseurs 8K devant occuper quatre pixels 4K, les méthodes classiques de conversion ascendante ne fonctionnent tout simplement pas, pour des raisons que nous aborderons plus loin.

Maintenant, après avoir visité les laboratoires QA de Samsung dans le New Jersey et discuté avec ses ingénieurs, nous avons une meilleure idée de la manière dont Samsung utilise l'intelligence artificielle et l'apprentissage automatique pour rendre l'upscaling 8K possible, et comment ses techniques d'intelligence artificielle se comparent à celles des premiers fabricants efforts.

Pourquoi l'upscaling conventionnel avait l'air si terrible

Avant 1998, les émissions télévisées étaient en résolution 720×480 et les films tournés avec une qualité supérieure étaient compressés pour correspondre à ce format. C’est 345 600 pixels de contenu, ce qui ne prendrait qu’une petite fenêtre sur les téléviseurs modernes avec des ratios PPI (pixels par pouce) plus élevés. Ce contenu SD? Il doit être étendu pour couvrir plus de 2 millions de pixels en haute définition, plus de 8 millions pour 4K ou plus de 33 millions pour 8K.

La ligne de base pour la mise à l'échelle consiste à maintenir le bon ratio de pixels par une simple multiplication. Pour convertir le format HD en 4K, le processeur du téléviseur doit exploser d’un pixel HD pour occuper quatre pixels d’espace sur l’écran de résolution supérieure. Ou 16 pixels lors d'une conversion HD-8K.

Sans aucun traitement d'image, l'image finissait, pour citer Tolkien, "en quelque sorte étirée, comme du beurre gratté sur trop de pain". Chaque donnée devient anormalement carrée, sans gradient naturel entre les détails et les couleurs. Il en résulte beaucoup de blocage ou de bruit autour des objets à l'écran.

Vous verrez probablement aussi quelque chose appelé «bruit de moustique». Pour compresser une vidéo afin qu'elle fonctionne avec votre bande passante Internet limitée, les diffuseurs et les sites Web doivent remplir le flux de défauts de couleur intentionnels, ou «artefacts de compression». Les pixels délibérément défectueux fourmillent autour des zones de l’écran où se trouvent des contrastes nets, comme le pont brun devant le ciel bleu dans l’image ci-dessus.

Les maths derrière la montée en gamme

Face à ces problèmes, les programmeurs de télévision ont appris à leurs téléviseurs à analyser et à traiter numériquement les images en temps réel pour compléter ou réparer les pixels manquants ou endommagés. Et ils ont accompli cela en utilisant des fonctions mathématiques, que vous pouvez dire à vos proches la prochaine fois qu'ils disent que trop de télévisions pourrit votre cerveau.

Plus précisément, les ingénieurs ont appris au processeur de télévision à interpoler la valeur chromatique de chaque pixel manquant, en fonction des pixels environnants. Pour ce faire, il devait définir son noyau: la fonction qui attribue une priorité de couleur aux voisins d’un pixel, en fonction de leur proximité.

Le noyau le plus élémentaire utilisé dans les téléviseurs est le noyau le plus proche, qui calcule simplement quel pixel est le plus proche d'un pixel vide et colle les mêmes données de couleur dans le pixel vide. Cette méthode fait en sorte que l'image prenne un motif en zig-zag par blocs, ou un aliasing, avec une bordure faible. Imaginez une lettre noire «A» sur un écran blanc; un pixel manquant juste à l'extérieur de la lettre peut être rempli en noir, tandis qu'un pixel sur le bord de la lettre peut apparaître en blanc. Le résultat sera soit une goutte grise autour de la lettre, soit un escalier irrégulier de noir et blanc qui monte et descend.

L'interpolation bilinéaire nécessite plus de puissance de calcul mais est plus efficace. Dans cette méthode, le pixel vierge est comparé aux deux voisins les plus proches pour former un dégradé linéaire entre eux, accentuant ainsi la netteté de l'image. Cela produit des effets visuels plus lisses mais peut être incohérent. Ainsi, d'autres téléviseurs utilisent l'interpolation bicubique, qui tire dans les 16 pixels les plus proches dans toutes les directions. Bien que cette méthode permette d'obtenir une couleur aussi précise que possible, elle génère également une image beaucoup plus floue, les contours prenant un effet de halo gênant.

Vous pouvez probablement déjà deviner le problème: ces téléviseurs remplissent les pixels en fonction de formules mathématiques statistiquement plus susceptibles de produire des visuels précis, mais n’ont aucun moyen d’interpréter leur thématiquement censé être basé sur ce qui est réellement à l’écran.

Ainsi, après avoir expliqué comment ces algorithmes étaient systématiquement infructueux, l’équipe de Samsung a expliqué comment leur intelligence artificielle surmontait ces inconvénients.

Le secret de Samsung: apprentissage automatique, reconnaissance d’objets et filtres

L’arme secrète de Samsung est une technique appelée machine learning super resolution (MLSR). Ce système piloté par l'IA prend un flux vidéo de résolution inférieure et le redimensionne pour l'adapter à la résolution d'un écran plus grand avec un ratio PPI plus élevé. C’est l’équivalent du vieux ridicule télé de l'informaticien qui zoome et «améliore» une image floue en appuyant simplement sur une touche, sauf que cela se fait automatiquement et presque instantanément.

Les représentants de Samsung ont expliqué comment ils avaient analysé une grande quantité de contenu vidéo provenant de différentes sources (flux YouTube de haute et basse qualité, DVD et Blu-Ray, films et événements sportifs) et ont créé deux bases de données d'images, une pour les captures d'écran de mauvaise qualité et un pour les captures d'écran de haute qualité.

Ensuite, il a dû former son IA pour mener à bien un processus appelé «dégradation inverse» par le secteur de l'IA. Tout d'abord, vous prenez des images haute résolution et les rétrogradez à des résolutions inférieures, en suivant les données visuelles perdues. Ensuite, vous devez inverser le processus et entraîner votre IA à remplir les données manquantes des images basse résolution afin qu'elles reflètent les images haute résolution.

L’équipe de Samsung appelle ce processus une «formule». Ses processeurs 8K contiennent une banque de formules avec une base de données de formules pour différents objets, tels qu'une pomme ou la lettre «A». Lorsque le processeur reconnaît une pomme floue dans la main d'un acteur, il restaure les bords de la pomme, répare les artefacts de compression et garantit que les pixels vierges prennent la bonne nuance de rouge en se basant sur l'apparence réelle des pommes et non sur de vagues algorithmes statistiques. . De plus, parallèlement à la restauration d’objets spécifiques, l’intelligence artificielle ajustera votre flux en fonction de ce que vous regardez.

Selon Samsung, il existe des dizaines de "filtres" différents qui modifient le niveau de création des détails, la réduction du bruit et la restauration des bords pour un flux donné, selon que vous regardez un sport, un genre de film ou un type de cinématographie.

Selon les ingénieurs de Samsung, la restauration des contours présentée dans le diaporama ci-dessus – une quantité insensée de texte à restaurer en temps réel – n’est même pas la tâche la plus difficile pour l’intelligence artificielle. Au lieu de cela, répliquer les textures appropriées d'un objet en temps réel reste un défi difficile. Ils doivent s'assurer que le processeur augmente l'apparence des objets sans que ceux-ci ne prennent une apparence artificielle.

Ce que le processeur ne fera pas (selon Samsung), c’est mal classer un objet. "Cela ne transformera pas une pomme en tomate", nous a assuré un ingénieur, sans toutefois donner de détails. Très probablement, le processeur est formé pour éviter toute modification radicale s’il ne reconnaît pas ce qu’est un objet.

Vous ne verrez pas non plus l’intelligence artificielle modifier l’intention du réalisateur d’un film, comme l’a dit l’équipe de Samsung. Donc, si un réalisateur utilise le effet bokeh, l’arrière-plan flou reste flou, tandis que l’avant-plan est composé jusqu’à 8K netteté.

Ils ont également affirmé qu'ils n'analysaient pas spécifiquement les flux les plus populaires pour leur catégorisation d'objets, mais visaient davantage la quantité générale et la diversité du contenu. Donc, aucun mot si ils ont une formule «dragon» ou «loup-garou» pour vos montres frénétiques Game of Thrones.

Les nouveaux téléviseurs Samsung 8K (et 4K) sont livrés avec la dernière banque de formules installée, puis de nouvelles données d'objet sont ajoutées via des mises à jour de microprogramme que vous devez approuver. Samsung indique qu'il continuera d'analyser de nouveaux flux visuels pour étendre sa bibliothèque d'objets, mais le fait localement sur des serveurs Samsung. il n’analyse pas les données des téléviseurs personnels.

Combien de formules d'objet Samsung a-t-il accumulées à partir de son analyse de flux sans fin? L'un de ses ingénieurs a donné une quantité instantanée qui semblait impressionnante, suggérant que le processeur reconnaîtrait en général un grand nombre d'objets à l'écran. Mais un représentant des relations publiques intervint et nous demanda de ne pas imprimer le numéro, affirmant qu’ils préféreraient que les consommateurs se concentrent sur la qualité du fonctionnement du MLSR de Samsung plutôt que sur des chiffres arbitraires.

Amélioration de l'IA: la nouvelle normalité?

Samsung n’est pas le seul fabricant de téléviseurs à utiliser actuellement l’intelligence artificielle et la restauration d’image pour ses téléviseurs.

Sony Page d'annonce 4K entre dans les détails obsédants de ses solutions de traitement d'image AI. Ses nouveaux téléviseurs 4K contiennent des processeurs avec une «double base de données» de «dizaines de milliers» de références d'images «améliorant de manière dynamique».[e] pixels en temps réel ».

LG a également annoncé Avant le CES 2019, sa nouvelle puce de télévision a9 Gen 2 comprendrait le traitement des images et l'apprentissage automatique pour améliorer la réduction du bruit et la luminosité, en partie en analysant la source et le type de support et en adaptant son algorithme en conséquence.

Au-delà des éléments d'intelligence artificielle, il semble toutefois que ces processeurs de télévision dépendent encore un peu des algorithmes automatisés. quand nous déjà interviewé Gavin McCarron, responsable du marketing et de la planification des produits techniques chez Sony Europe, à propos du traitement des images AI dans les téléviseurs Sony, a déclaré ceci:

"Lorsque vous passez de la Full HD à la 4K, vous vous posez beaucoup de questions et c'est ce que nous essayons de faire pour éliminer le plus possible. [Our processor] ne regarde pas seulement le pixel de manière isolée, il regarde les pixels qui l'entourent et sur chaque diagonale, et il examinera également les pixels sur plusieurs images, afin de donner une cohérence à la qualité de l'image. "

Sony, ainsi que LG et Samsung, utilisent très probablement une forme d'algorithme bilatéral ou bicubique comme système de conversion ascendante. Ensuite, ils analysent le contenu proche de 4K et déterminent quels pixels doivent être augmentés avec le traitement d'image et lesquels doivent être supprimés en tant que bruit.

En ce sens, la plupart des fabricants de téléviseurs sont relativement proches les uns des autres dans la course à la montée en gamme de l'IA. L'exception est Samsung, qui utilise les mêmes techniques mais remplit quatre fois le nombre de pixels manquants pour s'adapter à un écran de 8K. Nous devrons attendre pour voir si les efforts d’intelligence artificielle d’autres fabricants leur permettront également de se lancer sur le marché du 8K.