L’IA plafonne-t-elle déjà ? De nouveaux rapports suggèrent que GPT-5 pourrait être en difficulté

Le modèle Orion de nouvelle génération de ChatGPT d'OpenAI, dont la rumeur dit que son arrivée est à la fois refusée d'ici la fin de l'année, pourrait ne pas être tout ce qu'on avait imaginé une fois arrivé, selon un nouveau rapport de The Information .

Citant des employés anonymes d'OpenAI, le rapport affirme que le modèle Orion a montré une amélioration « bien moindre » par rapport à son prédécesseur GPT-4 que celle montrée par GPT-4 par rapport à GPT-3 . Ces sources notent également qu'Orion « n'est pas vraiment meilleur que son prédécesseur [GPT-4] dans la gestion de certaines tâches », en particulier le codage d'applications, bien que le nouveau modèle soit nettement plus puissant en termes de capacités linguistiques générales, telles que la synthèse de documents ou la génération d'e-mails .

Le rapport d'Information cite « la diminution de l'offre de textes et d'autres données de haute qualité » sur lesquels former de nouveaux modèles comme facteur majeur des gains peu substantiels du nouveau modèle. En bref, l'industrie de l'IA se heurte rapidement à un goulot d'étranglement en matière de données de formation, après avoir déjà supprimé les sources faciles de données des médias sociaux de sites comme X, Facebook et YouTube (ce dernier à deux reprises ). avoir du mal à trouver le genre de défis de codage épineux qui les aideront à faire progresser leurs modèles au-delà de leurs capacités actuelles, ralentissant ainsi leur formation préalable à la publication.

Cette efficacité réduite de la formation a d’énormes implications écologiques et commerciales. À mesure que les LLM de classe frontière se développent et poussent encore plus leur nombre de paramètres jusqu'à des milliers de milliards, la quantité d'énergie, d'eau et d'autres ressources devrait être multipliée par six au cours de la prochaine décennie . C'est pourquoi nous voyons Microsoft essayer de redémarrer Three Mile Island , AWS acheter une centrale de 960 MW et Google acheter la production de sept réacteurs nucléaires, le tout pour fournir l'énergie nécessaire à leurs ménageries croissantes de centres de données d'IA – l'actuel pays. les infrastructures électriques ne peuvent tout simplement pas suivre le rythme.

En réponse, comme le rapporte TechCrunch , OpenAI a créé une « équipe de fondation » pour contourner le manque de données de formation appropriées. Ces techniques pourraient impliquer l'utilisation de données d'entraînement synthétiques, telles que celles que la famille de modèles Nemotron de Nvidia peut générer. L'équipe cherche également à améliorer les performances du modèle après la formation.

Orion, qui était à l'origine considéré comme le nom de code du GPT-5 d'OpenAI, devrait maintenant arriver dans le courant de 2025. Si nous aurons suffisamment d'énergie disponible pour le voir en action, sans épuiser nos réseaux électriques municipaux, reste à voir.