Microsoft explique comment des milliers de GPU Nvidia ont construit ChatGPT
ChatGPT est devenu viral au cours des six derniers mois, mais il n'est pas sorti de nulle part. Selon un article de blog publié par Microsoft lundi, OpenAI, la société à l'origine de ChatGPT, a contacté Microsoft pour créer une infrastructure d'IA sur des milliers de GPU Nvidia il y a plus de cinq ans.
Le partenariat entre OpenAI et Microsoft a récemment attiré l'attention, en particulier après que Microsoft a investi 10 milliards de dollars dans le groupe de recherche à l'origine d'outils tels que ChatGPT et DALL-E 2 . Cependant, le partenariat a commencé il y a longtemps, selon Microsoft. Depuis lors, Bloomberg rapporte que Microsoft a dépensé « plusieurs centaines de millions de dollars » dans le développement de l'infrastructure pour prendre en charge ChatGPT et des projets comme Bing Chat .
Une grande partie de cet argent est allée à Nvidia, qui est maintenant à la pointe du matériel informatique nécessaire pour former des modèles d'IA. Au lieu de jouer aux GPU comme vous le trouverez sur une liste des meilleures cartes graphiques , Microsoft a opté pour les GPU de niveau entreprise de Nvidia comme les A100 et H100.
Cependant, ce n'est pas aussi simple que d'assembler des cartes graphiques et de former un modèle de langage. Comme l'explique Nidhi Chappell, chef de produit Microsoft pour Azure : "Ce n'est pas quelque chose que vous achetez tout un tas de GPU, que vous les connectez ensemble et qu'ils commenceront à travailler ensemble. Il y a beaucoup d'optimisation au niveau du système pour obtenir les meilleures performances, et cela s'accompagne d'une grande expérience sur plusieurs générations.
Avec l'infrastructure en place, Microsoft ouvre maintenant son matériel à d'autres. La société a annoncé lundi dans un article de blog séparé qu'elle proposerait des systèmes Nvidia H100 "à la demande dans des tailles allant de huit à des milliers de GPU Nvidia H100", livrés via le réseau Azure de Microsoft.
La popularité de ChatGPT a monté en flèche Nvidia , qui a investi dans l'IA via du matériel et des logiciels depuis plusieurs années. AMD, le principal concurrent de Nvidia dans les cartes graphiques de jeu, a tenté de faire des progrès dans l'espace avec des accélérateurs comme l'Instinct MI300.
Selon Greg Brockman, président et co-fondateur d'OpenAI, la formation ChatGPT n'aurait pas été possible sans la puissance fournie par Microsoft : "La co-conception de supercalculateurs avec Azure a été cruciale pour faire évoluer nos besoins exigeants en matière de formation en IA, rendre nos recherches et travail d'alignement sur des systèmes comme ChatGPT possible.
Nvidia devrait en dire plus sur les futurs produits d'IA lors de la GPU Technology Conference (GTC). avec la présentation d'ouverture qui démarre le 21 mars. Microsoft étend sa feuille de route sur l'IA plus tard cette semaine, avec une présentation axée sur l'avenir de l'IA sur le lieu de travail prévue pour le 16 mars.