Le prochain modèle d’IA de Meta nécessitera près de 10 fois plus de puissance pour s’entraîner

La société mère de Facebook, Meta, continuera à investir massivement dans ses efforts de recherche sur l'intelligence artificielle , même si elle s'attend à ce que la technologie naissante nécessite des années de travail avant de devenir rentable, ont expliqué mercredi les dirigeants de l'entreprise lors de la conférence téléphonique sur les résultats du deuxième trimestre de l'entreprise .

Meta « planifie les clusters de calcul et les données dont nous aurons besoin au cours des prochaines années », a déclaré le PDG Mark Zuckerberg lors de l'appel. Meta aura besoin d'une « quantité de calcul… presque 10 fois supérieure à celle que nous avons utilisée pour entraîner Llama 3 », a-t-il déclaré, ajoutant que Llama 4 sera « le [modèle] le plus avancé de l'industrie l'année prochaine ». Pour référence, le modèle Llama 3 a été formé sur un cluster de 16 384 GPU Nvidia H100 80 Go .

L’entreprise n’est pas étrangère à l’écriture de chèques pour des projets de recherche et développement ambitieux. Les résultats financiers de Meta au deuxième trimestre montrent que l'entreprise prévoit de dépenser entre 37 et 40 milliards de dollars en dépenses d'investissement en 2024, et les dirigeants s'attendent à une augmentation « significative » de ces dépenses l'année prochaine. "Il est difficile de prédire comment cela évoluera sur plusieurs générations à l'avenir", a fait remarquer Zuckerberg. "Mais à ce stade, je préfère risquer de renforcer les capacités avant que cela ne soit nécessaire plutôt que trop tard, étant donné les longs délais de mise en œuvre de nouveaux projets d'inférence."

Et ce n’est pas comme si Meta n’avait pas d’argent à dépenser. Avec environ 3,27 milliards de personnes utilisant quotidiennement au moins une application Meta, la société a réalisé un chiffre d'affaires d'un peu plus de 39 milliards de dollars au deuxième trimestre, soit une augmentation de 22 % par rapport à l'année précédente. Sur ce montant, l'entreprise a réalisé environ 13,5 milliards de dollars de bénéfices, soit une augmentation de 73 % d'une année sur l'autre.

Mais ce n’est pas parce que Meta réalise des bénéfices que ses efforts en matière d’IA sont rentables. La directrice financière Susan Li a reconnu que son IA générative ne générerait pas de revenus cette année et a réitéré que les revenus de ces investissements « viendraient sur une période plus longue ». Néanmoins, l’entreprise « continue de construire notre infrastructure d’IA en gardant à l’esprit la fongibilité, afin que nous puissions adapter nos capacités là où nous pensons qu’elles seront utilisées au mieux ».

Li a également noté que les clusters de formation existants peuvent être facilement retravaillés pour effectuer des tâches d'inférence, qui devraient constituer la majorité de la demande de calcul à mesure que la technologie évolue et que de plus en plus de personnes commencent à utiliser ces modèles quotidiennement.

« À mesure que nous augmentons la capacité de formation en IA générative pour faire progresser nos modèles de base, nous continuerons à construire notre infrastructure de manière à nous offrir une flexibilité dans la façon dont nous l'utilisons au fil du temps. Cela nous permettra d’orienter la capacité de formation vers l’inférence de la génération IA ou vers notre travail principal de classement et de recommandation, alors que nous pensons que cela serait plus précieux », a-t-elle déclaré lors de l’appel aux résultats.