Le « système de formation en IA le plus puissant au monde » vient d’être mis en ligne

Hibou Gourou
Elon Musk s'adresse à la presse alors qu'il arrive pour jeter un œil au chantier de construction de la nouvelle Gigafactory Tesla près de Berlin.
Maja Hitij/Getty Images / Getty Images

La course à la suprématie de l'IA s'accélère une fois de plus alors que le PDG de xAI, Elon Musk, a annoncé via Twitter que son entreprise avait réussi à mettre en ligne au cours du week-end son cluster de formation Colossus AI, que Musk considère comme le « plus puissant » au monde.

« Ce week-end, l'équipe @xAI a mis en ligne notre cluster de formation Colossus 100k H100. Du début à la fin, cela a été réalisé en 122 jours. Colossus est le système de formation en IA le plus puissant au monde. De plus, sa taille doublera pour atteindre 200 000 (50 000 H200) dans quelques mois. Excellent travail de la part de l’équipe, de Nvidia et de nos nombreux partenaires/fournisseurs », a écrit Musk dans un article sur X.

L'affirmation « la plus puissante » de Musk est basée sur le nombre de GPU utilisés par le système. Avec 100 000 Nvidia H100 qui le pilotent, Colossus est estimé comme étant plus grand que tout autre système d’IA développé à ce jour.

Musk a commencé à acheter des dizaines de milliers de GPU en avril 2023 pour accélérer les efforts de son entreprise en matière d'IA, peu de temps après avoir rédigé une lettre ouverte appelant à une « pause » de six mois à l'échelle du secteur dans le développement de l'IA. En mars de la même année, Musk a affirmé que l'entreprise exploiterait l'IA pour « détecter et mettre en évidence la manipulation de l'opinion publique » sur Twitter, bien que le supercalculateur GPU soit probablement également utilisé pour entraîner son grand modèle de langage (LLM), Grok .

Grok a été introduit par xAI en 2023 en réponse au succès de concurrents comme ChatGPT, Gemini, Llama 3.1 et Claude. La société a publié le Grok-2 mis à jour en version bêta en août. "Nous avons introduit Grok-2, nous positionnant à la pointe du développement de l'IA", a écrit xAI dans un récent article de blog . « Notre objectif est de faire progresser les capacités de raisonnement de base avec notre nouveau cluster de calcul. Nous aurons de nombreux autres développements à partager dans les mois à venir.

Musk affirme qu'il peut également faire de Tesla « un leader de l'IA et de la robotique ». Cependant, un récent rapport de CNBC suggère que Musk a détourné les expéditions de GPU très recherchés de Nvidia du constructeur automobile électrique vers xAI et Twitter. Cela pourrait retarder les efforts de Tesla pour installer les ressources de calcul nécessaires au développement de sa technologie de véhicule autonome et du robot humanoïde Optimus.

"Elon donne la priorité au déploiement du cluster de GPU X H100 chez X par rapport à Tesla en redirigeant à la place 12 000 GPU H100 expédiés initialement prévus pour Tesla vers X", lit-on dans un mémo de Nvidia de décembre obtenu par CNBC. "En échange, les commandes X originales de 12 000 H100 prévues pour [janvier] et juin seront redirigées vers Tesla."