Vous ne croirez pas combien coûte ChatGPT pour fonctionner
Un nouveau rapport prétend connaître le coût d'exécution de ChatGPT par jour, y compris le coût approximatif de chaque requête. Le populaire chatbot de synthèse vocale a peut-être déclenché une révolution de l'IA en novembre 2022, mais sa maintenance s'est avérée extrêmement coûteuse.
Le nouveau rapport provient de Dylan Patel, analyste en chef de la société de recherche SemiAnalysis , qui affirme qu'il en coûte environ 700 000 dollars par jour, soit 36 cents par requête, pour maintenir le chatbot opérationnel.
C'est si cher, en fait, que Microsoft pourrait développer ses propres puces d'IA propriétaires pour aider à la maintenance du fonctionnement de ChatGPT par OpenAI, selon Windows Central .
En plus d'avoir rapidement atteint 100 millions d'utilisateurs actifs en janvier, un exploit qui prenait auparavant des années aux marques technologiques, ChatGPT a dû faire face à un trafic élevé et à des problèmes de capacité qui ralentissaient et plantaient ses serveurs. La société a tenté de remédier à cela en introduisant un niveau ChatGPT Plus payant, qui coûte 20 $ par mois, cependant, on ne sait pas combien d'utilisateurs souscrivent à l'option payante.
OpenAI utilise actuellement les GPU Nvidia pour maintenir non seulement ses propres processus ChatGPT, mais également ceux des marques avec lesquelles il s'associe. Les analystes du secteur s'attendent à ce que la société ait probablement besoin de 30 000 GPU supplémentaires de Nvidia pour maintenir ses performances commerciales pour le reste de 2023 seulement.
Avec Microsoft comme l'un de ses principaux collaborateurs et investisseurs , OpenAI pourrait se tourner vers la marque technologique pour l'aider à développer du matériel afin de réduire le coût des opérations pour ChatGPT. Selon Windows Central, Microsoft a déjà cette puce AI en préparation. Baptisé Athena, il est actuellement testé en interne auprès des équipes de la marque. La puce devrait être introduite l'année prochaine pour les services Azure AI de Microsoft.
On ne sait pas comment ni quand la puce se répercutera sur OpenAI et ChatGPT, mais on suppose que ce sera le cas. La connexion vient du fait que ChatGPT est pris en charge par les services Azure. La puce AI pourrait ne pas remplacer complètement les GPU Nvidia, mais pourrait aider à réduire la demande de matériel, réduisant ainsi le coût d'exécution de ChatGPT, a ajouté Windows Central.