Plus tôt cette année, un supercalculateur japonais construit sur des processeurs Fujitsu A64FX basés sur Arm a arraché la couronne de la machine la plus rapide au monde, faisant exploser le leader en place IBM Summit hors de l'eau.
Fugaku, comme la machine est connue, atteint 415,5 petaFLOPS par le populaire benchmark High Performance Linpack (HPL), soit près de trois fois le score de la machine IBM (148,5 petaFLOPS).
Il a également dominé le classement pour les charges de travail Graph 500, HPL-AI et HPCH – un exploit jamais réalisé auparavant dans le monde du calcul haute performance (HPC).
Les supercalculateurs modernes se rapprochent maintenant de plus en plus du chiffre historique d'un exaFLOPS (égal à 1000 petaFLOPS), communément décrit comme la barrière exascale. En fait, Fugaku lui-même peut déjà réaliser un exaFLOPS, mais uniquement dans les modes de précision inférieure.
Le consensus parmi les experts avec lesquels nous nous sommes entretenus est qu'une seule machine franchira la barrière exascale dans les 6 à 24 prochains mois, ouvrant ainsi une multitude de possibilités dans les domaines de la recherche médicale, des prévisions climatiques, de la cybersécurité et plus encore.
Mais qu'est-ce qu'un exaFLOPS? Et que signifiera briser le jalon exascale, poursuivi avec acharnement pendant plus d'une décennie?
Sommaire
La barrière exascale
Pour comprendre ce que signifie réaliser l’informatique exascale, il est important de comprendre d’abord ce que l’on entend par FLOPS, qui signifie opérations en virgule flottante par seconde.
Une opération en virgule flottante est tout calcul mathématique (c'est-à-dire addition, soustraction, multiplication ou division) qui implique un nombre contenant un nombre décimal (par exemple, 3,0 – un nombre à virgule flottante), par opposition à un nombre sans décimal (par exemple 3 – un entier binaire ). Les calculs impliquant des décimales sont généralement plus complexes et prennent donc plus de temps à résoudre.
Un ordinateur exascale peut effectuer 10 ^ 18 (un quintillion / 100 000 000 000 000 000) de ces calculs mathématiques par seconde.
Pour le contexte, pour égaler le nombre de calculs qu'un ordinateur exascale peut traiter en une seule seconde, un individu devrait effectuer une somme par seconde pendant 31.688.765.000 ans.
Le PC que j'utilise actuellement, quant à lui, peut atteindre 147 milliards de FLOPS (soit 0,0000000014723 exaFLOPS), surpassant le supercalculateur le plus rapide de 1993, le Intel Paragon (143,4 milliards de FLOPS).
Cela souligne à la fois le chemin parcouru par l'informatique au cours des trois dernières décennies et met en perspective les niveaux de performances extrêmes atteints aujourd'hui par les principaux supercalculateurs.
La clé pour construire une machine capable d'atteindre un exaFLOPS est l'optimisation au niveau des couches de traitement, de stockage et de logiciel.
Le matériel doit être suffisamment petit et puissant pour se regrouper et atteindre les vitesses nécessaires, le stockage suffisamment volumineux et rapide pour servir les données et le logiciel suffisamment évolutif et programmable pour utiliser pleinement le matériel.
Par exemple, il arrive un moment où l'ajout de processeurs supplémentaires à un supercalculateur n'affectera plus sa vitesse, car l'application n'est pas suffisamment optimisée. Le seul moyen pour les gouvernements et les entreprises privées de réaliser un retour complet sur l'investissement en matériel HPC consiste à investir dans des logiciels équivalents.
Des organisations telles que l'Exascale Computing Project (EPC) ou le programme ExCALIBUR souhaitent résoudre précisément ce problème. Les personnes impliquées affirment qu'une concentration renouvelée sur le développement d'algorithmes et d'applications est nécessaire afin d'exploiter toute la puissance et la portée d'exascale.
Atteindre l'équilibre délicat entre logiciel et matériel, d'une manière économe en énergie et éviter un score de temps moyen entre pannes (MTBF) peu pratique (le temps qui s'écoule avant qu'un système ne tombe en panne sous la tension) est le défi auquel est confrontée l'industrie du HPC.
«Il y a 15 ans, lorsque nous avons commencé la discussion sur l'exascale, nous avons émis l'hypothèse qu'il faudrait le faire en 20 mégawatts (MW); plus tard, cela a été changé à 40 MW. Avec Fugaku, nous voyons que nous sommes à peu près à mi-chemin d'un exaFLOPS 64 bits à l'enveloppe de puissance de 40 MW, ce qui montre qu'un exaFLOPS est à portée de main aujourd'hui », a expliqué Brent Gorda, directeur principal HPC chez le fabricant britannique de puces Arm.
«Nous pourrions frapper un exaFLOPS maintenant avec un financement suffisant pour construire et faire fonctionner un système. [But] la taille du système est susceptible d'être telle que le MTBF est mesuré en nombre de jours à un chiffre en fonction des technologies actuelles et du nombre de composants nécessaires pour atteindre ces niveaux de performances. "
Quels sont les autres facteurs en jeu?
Lorsqu'il s'agit de construire une machine capable de franchir la barrière exascale, un certain nombre d'autres facteurs sont en jeu, au-delà de la faisabilité technologique. Un ordinateur exascale ne peut naître qu'une fois qu'un équilibre a été atteint à l'intersection de la technologie, de l'économie et de la politique.
«On pourrait en théorie construire un système exascale aujourd'hui en intégrant suffisamment de CPU, GPU et DPU. Mais qu'en est-il de la viabilité économique? » a déclaré Gilad Shainer de NVIDIA Mellanox, la société à l'origine de la technologie Infiniband (le tissu qui relie les différents composants matériels) trouvée dans sept des dix supercalculateurs les plus rapides.
«Les améliorations des technologies informatiques, le traitement du silicium, une utilisation plus efficace de l'énergie, etc. contribuent à accroître l'efficacité et à faire de l'informatique exascale un objectif économique – par opposition à une sorte de réussite sportive.
Selon Paul Calleja, qui dirige la recherche informatique à l'Université de Cambridge et travaille avec Dell sur le Ouvrez Exascale Lab, Fugaku est un excellent exemple de ce qui est théoriquement possible aujourd'hui, mais est également irréalisable par pratiquement n'importe quelle autre métrique.
«Si vous regardez en arrière les supercalculateurs japonais, historiquement, il n’y en a jamais eu qu’un seul. Ils ont des architectures magnifiquement exquises, mais ils sont si stupidement chers et propriétaires que personne d'autre ne peut se le permettre », a-t-il déclaré. TechRadar Pro.
"[Japanese organizations] comme ces très grands démonstrateurs technologiques, qui sont très utiles dans l'industrie car ils indiquent la direction du déplacement et poussent les progrès, mais ces types de progrès sont très coûteux et non durables, évolutifs ou reproductibles. "
Donc, dans ce sens, il y a deux points de repère exascale distincts; la barrière théorique, qui sera probablement rencontrée d’abord par une machine du genre de Fugaku (un «démonstrateur technologique»), et la barrière pratique, qui verra le calcul exascale déployé en masse.
Les facteurs géopolitiques joueront également un rôle dans la rapidité avec laquelle la barrière exascale est franchie. Les chercheurs et les ingénieurs peuvent se concentrer exclusivement sur l'exploit technologique, mais les institutions et les gouvernements qui financent la recherche HPC sont probablement motivés par des considérations différentes.
«L'informatique exascale ne consiste pas seulement à atteindre des objectifs théoriques, il s'agit de créer la capacité de s'attaquer à des problèmes qui étaient auparavant insolubles», a déclaré Andy Grant, vice-président HPC & Big Data chez la société de services informatiques Atos, influent dans les domaines du HPC et l'informatique quantique.
«Ceux qui développent des technologies exascales ne le font pas simplement pour avoir le supercalculateur le plus rapide du monde, mais pour maintenir la compétitivité, la sécurité et la défense internationales.»
«Au Japon, leur nouvelle machine est environ 2,8 fois plus puissante que le système désormais deuxième. En termes généraux, cela permettra aux chercheurs japonais de résoudre des problèmes 2,8 fois plus complexes. Dans le contexte de la compétitivité internationale, cela crée un avantage significatif.
Autrefois, les nations rivales se battaient dans les tranchées ou se disputaient pour voir qui pourrait placer le premier humain sur la lune. Mais l'informatique pourrait bien devenir la frontière à laquelle la prochaine course aux armements aura lieu; la suprématie dans le domaine du CHP pourrait s'avérer tout aussi importante politiquement que la force militaire.
Que pouvons-nous faire avec l'informatique exascale?
Une fois que les ordinateurs exascale deviendront une ressource établie – disponible pour les entreprises, les scientifiques et les universitaires – une multitude de possibilités seront débloquées dans une grande variété de secteurs.
Le HPC pourrait s'avérer révélateur dans les domaines de la médecine clinique et de la génomique, par exemple, qui nécessitent de grandes quantités de puissance de calcul pour mener une modélisation moléculaire, simuler des interactions entre des composés et des génomes de séquence.
En réalité, IBM Summit et une foule d'autres supercalculateurs modernes sont utilisés pour identifier des composés chimiques qui pourraient contribuer à la lutte contre le coronavirus. le Consortium de calcul haute performance Covid-19 assemblé 16 supercalculateurs, représentant un total de 330 petaFLOPS – mais imaginez à quel point la recherche pourrait être menée beaucoup plus rapidement à l'aide d'un parc de machines capables d'atteindre à elles seules 1 000 petaFLOPS.
Intelligence artificielle, quant à lui, est un autre domaine interdisciplinaire qui sera transformé avec l'arrivée de l'informatique exascale. La capacité d'analyser des ensembles de données toujours plus grands améliorera la capacité des modèles d'IA à faire des prévisions précises (en fonction de la qualité des données introduites dans le système) qui pourraient être appliquées à pratiquement n'importe quel secteur, de la cybersécurité au commerce électronique, en passant par la fabrication et la logistique. , banque, éducation et bien d'autres.
Comme l'explique Rashid Mansoor, directeur technique de la start-up britannique de supercalcul Hadean, la valeur du supercalcul réside dans la capacité de faire une projection précise (de n'importe quelle variété).
«Le but premier d'un supercalculateur est de calculer un phénomène réel pour fournir une prédiction. La prédiction pourrait être la façon dont les protéines interagissent, la façon dont une maladie se propage à travers la population, comment l'air se déplace sur une voilure ou les champs électromagnétiques interagissent avec un vaisseau spatial lors de la rentrée », a-t-il déclaré à TechRadar Pro.
«Les performances brutes telles que le benchmark HPL indiquent simplement que nous pouvons modéliser des systèmes plus grands et plus complexes avec une plus grande précision. Une chose que l’histoire de l’informatique nous a montrée est que la demande de puissance de calcul est insatiable. »
D'autres domaines couramment cités qui bénéficieront considérablement de l'arrivée de l'exascale comprennent la cartographie cérébrale, les prévisions météorologiques et climatiques, la conception de produits et l'astronomie, mais il est également probable que de nouveaux cas d'utilisation émergeront également.
«Les charges de travail souhaitées et la technologie pour les réaliser forment un cercle vertueux. Plus les ordinateurs sont rapides et performants, plus les problèmes que nous pouvons résoudre sont complexes et plus la découverte de nouveaux problèmes est rapide », a expliqué Shainer.
«Ce dont nous pouvons être sûrs, c'est que nous verrons les besoins continus ou les demandes sans cesse croissantes de capacités de performance accrues afin de résoudre l'insoluble. Une fois ce problème résolu, nous trouverons le nouvel insoluble. »
Et le zettascale?
De toute évidence, la barrière exascale tombera probablement dans les deux prochaines années, mais l'industrie du HPC se tournera alors vers l'objectif suivant, car le travail n'est jamais terminé.
Certains pourraient pointer vers les ordinateurs quantiques, qui abordent la résolution de problèmes d'une manière totalement différente des machines classiques (exploitant les symétries pour accélérer le traitement), permettant une échelle beaucoup plus grande. Cependant, il existe également des problèmes auxquels l'informatique quantique ne peut pas être appliquée.
«Les perspectives à moyen terme (10 ans) de l'informatique quantique commencent à se dessiner, tout comme d'autres technologies. Ceux-ci seront plus spécialisés là où un ordinateur quantique apparaîtra très probablement comme un accélérateur d'application pour les problèmes liés à la logistique en premier. Ils ne remplaceront pas complètement le besoin des architectures actuelles pour le traitement informatique / des données », a expliqué Gorda.
Comme le dit Mansoor, «sur certains problèmes, même un petit ordinateur quantique peut être exponentiellement plus rapide que toute la puissance de calcul classique sur terre combinée. Pourtant, sur d’autres problèmes, un ordinateur quantique pourrait être plus lent qu’une calculatrice de poche. »
Le prochain repère logique pour l'informatique traditionnelle serait donc un zettaFLOPS, égal à 1 000 exaFLOPS ou 1 000 000 petaFLOPS.
Les chercheurs chinois ont prédit en 2018 que le premier système zettascale sera mis en service en 2035, ouvrant la voie à de «nouveaux paradigmes informatiques». Le papier lui-même se lit comme de la science-fiction, du moins pour le profane:
«Pour réaliser ces métriques, les micro-architectures vont évoluer pour se composer de composants plus diversifiés et hétérogènes. De nombreuses formes d'accélérateurs spécialisés coexisteront probablement pour stimuler le HPC dans un effort conjoint. Grâce à de nouveaux matériaux d'interconnexion tels que le cristal photonique, des systèmes d'interconnexion entièrement optiques peuvent entrer en service. »
En supposant qu'un exaFLOPS soit atteint d'ici 2022, 14 ans se seront écoulés entre la création du premier système pétascale et du premier système exascale. La première machine terascale, quant à elle, a été construite en 1996, 12 ans avant que la barrière pétascale ne soit franchie.
Si cette tendance devait se poursuivre, l’estimation des chercheurs chinois semblerait relativement raisonnable, mais il existe des points d’interrogation fermes sur la validité des projections à l’échelle de zettasc.
Alors que les experts sont confiants dans leurs délais exascale prédits, aucun n'oserait deviner quand zettascale pourrait arriver sans faire précéder leur estimation d'une longue liste de mises en garde.
«Est-ce un sujet intéressant? Parce que pour être honnête avec vous, ce n’est pas possible. Pour imaginer comment nous pourrions aller 1000x au-delà [one exaFLOPS] Ce n’est pas une conversation que quiconque pourrait avoir, à moins d’inventer », a déclaré Calleja, interrogé sur le concept de zettascale.
D'autres étaient plus disposés à théoriser, mais tout aussi réticents à deviner un calendrier spécifique. Selon Grant, la façon dont les machines zettascale traitent les informations ne ressemblera à aucun supercalculateur existant aujourd'hui.
"[Zettascale systems] sera centrée sur les données, ce qui signifie que les composants se déplaceront vers les données plutôt que l'inverse, car les volumes de données sont susceptibles d'être si importants que le déplacement des données sera trop coûteux. Quoi qu'il en soit, prédire à quoi ils pourraient ressembler n'est pour le moment que des conjectures », a-t-il déclaré.
Il est également possible que le modèle décentralisé soit le moyen le plus rapide d'atteindre le zettascale, avec des millions d'appareils moins puissants travaillant à l'unisson pour former un supercalculateur collectif plus puissant que n'importe quelle machine (comme mis en pratique par l'Institut SETI).
Comme l'a noté Saurabh Vij, PDG de la société de calcul distribué Q Blocks, les systèmes décentralisés résolvent un certain nombre de problèmes auxquels l'industrie HPC est confrontée aujourd'hui, à savoir les coûts de construction et de maintenance. Ils sont également accessibles à un éventail beaucoup plus large d'utilisateurs et démocratisent donc l'accès aux ressources de supercalcul d'une manière qui n'est pas possible autrement.
«Il y a des avantages à une architecture centralisée, mais la barrière des coûts et de la maintenance les éclipse. [Centralized systems] aliénent également une large base de groupes de clients qui pourraient en bénéficier », a-t-il déclaré.
«Nous pensons qu'une meilleure façon est de connecter les nœuds distribués entre eux de manière fiable et sécurisée. Il ne serait pas trop agressif de dire que, dans 5 ans, votre smartphone pourrait faire partie d’un supercalculateur géant distribué, vous faisant gagner de l’argent pendant que vous dormez en résolvant des problèmes informatiques pour l’industrie », a-t-il ajouté.
Cependant, inciter les nœuds de réseau à rester actifs pendant une longue période est un défi et un taux de rotation élevé peut entraîner des problèmes de fiabilité. Les problèmes de latence et de capacité du réseau devraient également être résolus avant que le supercalcul distribué ne prenne de l'importance.
En fin de compte, la difficulté à faire des prédictions fermes sur le zettascale réside dans le gouffre massif qui sépare les charges de travail actuelles et les architectures HPC de celles qui pourraient exister dans le futur. Dans une perspective contemporaine, il est vain d’imaginer ce qui pourrait être rendu possible par un ordinateur si puissant.
On peut imaginer que les machines zettascale seront utilisées pour traiter des charges de travail similaires à celles abordées par les supercalculateurs modernes, mais plus rapidement. Mais il est possible – voire probable – l’arrivée de l’informatique zettascale ouvrira des portes qui n’existent pas et ne peuvent pas exister aujourd’hui, tant le saut est extraordinaire.
Reproduire le cerveau humain
Dans un futur où les ordinateurs seront plus de 2000 fois plus rapides que la machine la plus puissante d'aujourd'hui, le débat philosophique et éthique autour de l'intelligence de l'homme contre la machine sera forcément joué plus en détail – et avec plus de conséquences.
Il est impossible de comparer directement le fonctionnement d'un cerveau humain avec celui d'un ordinateur – c'est-à-dire d'attribuer une valeur FLOPS à l'esprit humain. Cependant, il n'est pas insensible de se demander combien de FLOPS doivent être atteints avant qu'une machine n'atteigne un niveau de performance qui pourrait être vaguement comparable à celui du cerveau.
En 2013, les scientifiques ont utilisé le supercalculateur K pour mener une simulation de réseau neuronal en utilisant le logiciel de simulation open source NEST. L'équipe a simulé un réseau composé de 1,73 milliard de cellules nerveuses reliées par 10,4 billions de synapses.
Bien qu’elle soit gigantesque, la simulation ne représentait que 1% du réseau neuronal du cerveau humain et a pris 40 minutes pour reproduire 1 seconde d’activité du réseau neuronal.
Cependant, l'ordinateur K a atteint une puissance de calcul maximale de seulement 10 petaFLOPS. Une extrapolation de base (ignorant les complexités inévitables) suggérerait donc que Fugaku pourrait simuler environ 40% du cerveau humain, tandis qu'un ordinateur à l'échelle zettascale serait capable d'effectuer une simulation complète plusieurs fois.
Matériel neuromorphique numérique (supercalculateurs créés spécifiquement pour simuler le cerveau humain) comme SpiNNaker 1 et 2 continuera également à se développer dans le futur post-exascale. Au lieu d'envoyer des informations du point A au point B, ces machines seront conçues pour reproduire l'architecture de communication parallèle du cerveau, en envoyant des informations simultanément à de nombreux endroits différents.
Les itérations modernes sont déjà utilisées pour aider les neuroscientifiques à mieux comprendre les mystères du cerveau et les versions futures, aidées par les progrès de l'intelligence artificielle, seront inévitablement utilisées pour construire une réplique fidèle et pleinement fonctionnelle.
Les débats éthiques qui surgiront avec l'arrivée d'une telle machine – autour de la perception de la conscience, de la définition de la pensée et de ce à quoi un uber-cerveau artificiel pourrait ou devrait être utilisé – sont multiples et pourraient prendre des générations à décoller.
L'incapacité de prévoir ce dont un ordinateur zettascale pourrait être capable est également une incapacité à prévoir les dilemmes moraux qui pourraient venir de pair.
Il n'est pas question de savoir si un futur supercalculateur pourrait être suffisamment puissant pour simuler une pensée humaine, mais si les chercheurs devraient aspirer à faire naître un cerveau artificiel est un sujet qui mérite d'être discuté.
