Voici pourquoi les gens prétendent que GPT-4 est à nouveau bon

Hibou Gourou

Il semble qu'OpenAI soit en train de nettoyer ses modèles de langage GPT après des accusations selon lesquelles GPT-4 est devenu « paresseux », « stupide » et a rencontré des erreurs hors de la norme pour le chatbot ChatGPT diffusé sur les réseaux sociaux fin novembre.

Certains spéculent même que GPT-4.5 a été secrètement déployé auprès de certains utilisateurs, sur la base de certaines réponses de ChatGPT lui-même. Que cela soit vrai ou non, il y a certainement eu des changements internes positifs dans le passé derrière GPT-4.

Plus de GPU, de meilleures performances ?

Les publications ont commencé à affluer dès jeudi dernier et ont remarqué l'amélioration des performances de GPT-4. Le professeur Ethan Mollick de Wharton, qui avait précédemment commenté la forte baisse des performances de GPT-4 en novembre, a également noté une revitalisation du modèle, sans voir aucune preuve d'un passage à GPT-4.5 pour lui-même. Utilisant constamment un interpréteur de code pour corriger son code, il a décrit le changement comme « la nuit et le jour, à la fois pour la vitesse et la qualité des réponses » après avoir constaté que ChatGPT-4 était « peu fiable et un peu ennuyeux pendant des semaines ».

Pendant ce temps, OpenAI a rouvert discrètement sesabonnements ChatGPT Plus mercredi dernier, dont les inscriptions étaient en baisse depuis le 14 novembre. Altman a déclaré dans un article X : « Merci pour votre patience pendant que nous trouvions plus de GPU. »

On ne sait pas s'il existe une corrélation entre le rétablissement des inscriptions ChatGPT Plus et l'amélioration de GPT-4, mais le timing est intéressant. Notamment, les inscriptions pour la version payante ont été clôturées peu de temps après le premier DevDay des développeurs d'OpenAI, au cours duquel la société a dévoilé une multitude de nouvelles fonctions pour la version payante du chatbot IA. La société a mis en place une liste d'attente pour les abonnements ChatGPT Plus en raison des inscriptions post-DevDay dépassant la capacité du service à traiter les fonctions.

Peu de temps après, les utilisateurs ont commencé à signaler un comportement inhabituel de GPT-4, au-delà des plaisanteries traditionnelles de l'IA déjà connues. Un grief courant était que GPT-4 « répondrait » aux utilisateurs ou exigerait plusieurs explications sur une commande avant de pouvoir exécuter la requête. Une autre plainte était que le modèle expliquerait aux utilisateurs comment exécuter leur commande au lieu d'exécuter la tâche.

La dégradation du GPT-4 remonte au moins à juillet, lorsqu'une étude a observé une forte baisse de précision entre mars et juin. Beaucoup, y compris le vice-président des produits OpenAI, Peter Welinder, ont suggéré que la qualité des réponses pourrait apparaître insuffisante en tant que phénomène psychologique à mesure que le modèle se met à jour. Certains ont ajouté que les utilisateurs pourraient bénéficier de la modification de leurs requêtes pour obtenir les résultats souhaités.

Bien qu'OpenAI soit resté largement silencieux sur son fonctionnement interne, le message X d'Altman sur les GPU était probablement un indicateur important de ce qui se passe dans les coulisses. Des rapports d'avril indiquaient qu'OpenAI aurait besoin de plus de 30 000 unités GPU pour maintenir ses performances commerciales pour le reste de l'année. C’était avant le pic d’intérêt de novembre.

Test secret GPT-4.5 ou simplement hallucinations ?

Au-delà de cela, les spéculations sur GPT-4.5 se sont intensifiées avec plusieurs autres détails sur une potentielle fuite d'une nouvelle version de GPT.

Le fondateur de la newsletter @therundownai,Rowan Cheung , a récemment partagé sur X (anciennement Twitter) les détails des prix d'un nouveau modèle GPT-4.5 qu'OpenAI est en développement. Les détails incluent de nouveaux niveaux de tarification et des informations sur les capacités multimodales avancées.

Cheung a interrogé le PDG d'OpenAI, Sam Altman, via la plateforme de médias sociaux, sur la validité de la fuite, ce à quoi il a répondu : « Non ».

Cependant, plusieurs utilisateurs qui ont géré la mise à jour proposée sont convaincus qu'ils utilisent GPT-4.5 et qu'elle est nouvelle et meilleure que jamais. Certains ont demandé au chatbot, qui, selon eux, exécutait GPT-4, quel était son modèle – et il a répondu « GPT-4.5 Turbo ».

Cela a amené beaucoup à croire qu'OpenAI testait GPT-4.5, principalement sur ses applications mobiles, dans l'espoir d'échapper aux utilisateurs avertis. Cependant, tout le monde n’a pas été en mesure de recréer ces résultats, et le modèle leur dira que la dernière version est simplement GPT-4. Will Depue, employé d’OpenAI, a également commenté le sujet, le qualifiant d’« hallucination très étrange et étrangement cohérente ».

Cheung a noté un message de la page officielle ChatGPT X, avec des émojis cerveau et tête dans les nuages, qui, selon lui, sont une vague manière d'OpenAI de réitérer que les réponses sont des hallucinations.

Notamment, OpenAI offre un accès anticipé et exclusif à ses utilisateurs payants, qui incluent les utilisateurs de ChatGPT Plus , les utilisateurs de l'API de développeur et les utilisateurs d'entreprise. Lorsque les fonctionnalités sont annoncées, ceux-ci sont parmi les premiers à bénéficier des dernières versions GPT et de leurs fonctionnalités. Beaucoup de personnes qui bricolent les modèles et remarquent les changements subtils ont probablement une forme d'accès à l'API du développeur ou utilisent le service pour tester le code et partagent leurs commentaires avec le public.

Même si OpenAI teste GPT-4.5, on ne sait pas quand une mise à jour pourrait avoir lieu, en particulier lorsque l'entreprise se remet de la déstabilisation des services et de l'organisation. De plus, l'entreprise et le produit sont encore nouveaux et on ne sait pas encore à quoi ressemble un cycle de mise à jour de routine. Pour l'instant, je suppose que la « version » de ChatGPT que nous utilisons n'a pas d'importance car les améliorations semblent réelles.