Parmi les machines les plus puissantes du monde, les superordinateurs sont capables de traiter de grandes quantités de données et d’effectuer des calculs complexes à des vitesses incroyables. Habituellement, ces appareils sont employés dans la recherche scientifique, l’analyse de données et autres missions informatiques exigeant une quantité considérable de puissance de traitement. De nos jours, de nombreux supercalculateurs sont constitués de centaines voire de milliers de processeurs individuels qui sont interconnectés pour former un système homogène et unifié.
Ces équipements sont capables de réaliser des milliers de milliards de calculs par seconde et sont mis en œuvre pour résoudre les problèmes les plus complexes dans divers domaines, tels que la physique, l’astronomie et la modélisation climatique. Étant donné que les avancées technologiques ne cessent de repousser les limites, il est clair que nous ne faisons que débuter l’ère des supercalculateurs. Les leaders technologiques, notamment Google, sont depuis longtemps à l’avant-garde de l’IA. En effet, l’informatique quantique de Google est en pointe et, selon la dernière déclaration de l’entreprise, son superordinateur est plus rapide et plus économe en énergie que celui de Nvidia.
L’utilisation de ces puces représente plus de 90 % des travaux de formation à l’IA de l’entreprise, ce qui souligne leur importance cruciale dans le succès de Google dans ce domaine. Dans sa dernière publication, Google a révélé des informations sur sa TPU de quatrième génération, démontrant comment la société a utilisé des commutateurs optiques sur mesure pour connecter plus de 4 000 puces dans un seul superordinateur. Cette avancée permet au superordinateur de Google de réorganiser les connexions entre les puces en temps réel, améliorant ainsi ses performances et évitant les problèmes éventuels.
L’essor des grands modèles de langage dans l’IA a suscité une concurrence intense entre les entreprises qui construisent des superordinateurs. Le modèle PaLM de Google, le plus grand modèle de langage divulgué publiquement à ce jour, a nécessité plus de 50 jours de formation en le répartissant sur deux superordinateurs dotés de 4 000 puces. Les interconnexions flexibles de Google aident à surmonter ce défi en permettant à l’entreprise de modifier la topologie des interconnexions de ses superordinateurs à la volée.
Le superordinateur de Google a déjà été utilisé par la startup Midjourney pour entraîner son modèle, qui génère des images à partir de textes. Dans un article récent, Google a révélé que son superordinateur est 1,7 fois plus rapide et 1,9 fois plus économe en énergie qu’un système basé sur la puce A100 de Nvidia pour un système de même taille. Google n’a pas comparé son produit de quatrième génération à la puce H100 de Nvidia, mais il semblerait que Google travaille sur une nouvelle TPU pour concurrencer la dernière offre de Nvidia.
