Gemini 4 Argon tiendra-t-il ses promesses? Même Google se pose la question

Google a annoncé le Gemini 4 Argon comme son nouveau modèle phare, obtenant des résultats exceptionnels dans plusieurs tests de performance. Pourtant, peu après cette annonce, les premiers doutes quant à ses véritables capacités ont émergé au sein même de l'entreprise.

Les employés Google ont des doutes concernant Gemini 4 Argon

D'après un rapport de Bloomberg, certains employés Google ayant déjà eu accès au modèle ont rencontré des difficultés pour le tester sur des tâches de programmation concrètes et dans le cadre de la conception d'interfaces web. Il s'agit d'une critique importante, étant donné que la programmation est l'un des domaines sur lesquels Google a le plus insisté lors de la présentation du modèle.

Les employés n'ont pas été identifiés et il n'y a pas de déclarations directes de leur part, mais le tableau qui se dessine est celui d'un modèle très performant lors des tests, moins convaincant à l'usage.

Le problème avec le benchmaxxing

Ces doutes reposent sur un phénomène bien connu dans le domaine de l'intelligence artificielle, le « benchmaxxing »: l'optimisation d'un modèle pour obtenir d'excellents scores aux tests standard, sans que cela se traduise par des performances tout aussi bonnes sur des problèmes du monde réel.

Edwin Chen, fondateur de Surge AI, parlant du phénomène en général, l'a comparé à un étudiant qui obtient les meilleures notes aux examens d'entrée à l'université sans avoir développé les compétences nécessaires dans le monde réel.

Au lancement, en effet, Google avait indiqué qu'Argon avait obtenu la première place ou les meilleurs résultats dans divers tests, allant de 77,9 % sur DeepSWE v1.1 pour la programmation à la première place sur AutomationBench, comme nous l'avons vu dans notre article sur le lancement de Gemini 4 Argon.

Réponse de Google

De son côté, Google se montre confiant. Koray Kavukcuoglu, qui assure la direction opérationnelle de Google DeepMind depuis la nomination de Demis Hassabis à la présidence, a exprimé sa confiance dans le travail de son équipe.

L'entreprise met en avant les atouts de son modèle dans des domaines tels que la sécurité, la cyberdéfense, la conversation naturelle et l'analyse vidéo. Pour étayer son propos, la société de Mountain View souligne également que son chatbot grand public et son mode de recherche par IA ont tous deux dépassé le milliard d'utilisateurs.

Pour savoir qui a raison, il faudra cependant attendre qu'Argon touche davantage de développeurs et d'utilisateurs, car l'accès reste limité pour le moment.

Pour suivre toute l'actualité du monde de l'intelligence artificielle, retrouvez nos derniers articles dans la section IA de GizChina .

Cet article, intitulé « Gemini 4 Argon tiendra-t-il ses promesses ? », est la question que pose Google . Il a été initialement publié sur GizChina.