Ce moment où j’ai dit à ChatGPT qu’il avait besoin d’une leçon d’histoire, et il était d’accord avec moi

J'ai vécu une expérience cette semaine qui m'a rappelé avec force que ChatGPT et Gemini de Google étaient excellents, mais imparfaits. Soyons clairs : je me suis lancé à corps perdu dans l'IA et je suis enthousiaste quant à ses perspectives à long terme. Cependant, je crois qu'il faut mettre un frein à l'exubérance irrationnelle et à la croyance selon laquelle l'IA peut tout faire, partout et à la fois.

Le projet spécifique qui a brisé ChatGPT était, d'un côté, obscur, mais n'aurait pas dû être si difficile. Ma fille termine sa thèse de doctorat et essayait de créer une carte comparant les frontières de l'Empire byzantin entre 379 et 457 apr. J.-C.

Voici l’invite que j’ai utilisée contre la recherche approfondie :

Créez une carte détaillée superposant les frontières de l'Empire byzantin en 379 apr. J.-C., au début du règne de Théodose le Grand, et celles de 457 apr. J.-C., à la fin du règne de Marcien. J'ai besoin que les deux frontières soient clairement représentées sur une seule carte.

Utilisez un style de carte historique et mettez en évidence les principales villes.

L'option Recherche approfondie est puissante, mais souvent chronophage. Pendant son exécution, j'apprécie de suivre le déroulement des opérations dans la fenêtre de détails. ChatGPT a réalisé un excellent travail en générant une analyse textuelle des changements de frontières, des grandes villes et des événements historiques.

Les roues sont tombées du bus lorsque j'ai demandé à ChatGPT de transformer son analyse de texte en une carte facile à lire.

Sans entrer dans les détails du monde du Ve siècle, il faut souligner que ce dernier a inventé des noms, les a mal orthographiés et a placé les villes au hasard. Notez que Rome apparaît deux fois dans la péninsule italienne. Le plus frustrant dans cette tentative est que les noms et les lieux étaient corrects dans le texte.

J'ai patiemment essayé de demander des corrections orthographiques et le bon emplacement des villes connues, sans succès. Finalement, j'ai dit à ChatGPT que ses résultats étaient nuls et j'ai baissé les bras. À sa décharge, ChatGPT a pris les critiques avec philosophie. Il m'a répondu : « Merci pour votre franchise. Vous avez raison d'espérer mieux . » Malheureusement, la situation ne s'est pas améliorée.

Après avoir passé quelques minutes à pester contre cette plateforme, j'ai décidé d'essayer Google Gemini pour la même requête. Étonnamment, les résultats étaient encore pires. Si vous regardez l'image ci-dessous, vous verrez « Rome » au milieu de la péninsule ibérique. Antioche apparaît trois ou quatre fois en Europe, mais beaucoup d'autres noms sont tout droit sortis de romans fantastiques.

Je me plaignais de ce chaos cartographique à un ami. Il m'a raconté une histoire similaire. Il avait saisi une photo d'une petite réunion hors site dans ChatGPT. Il lui avait demandé d'ajouter les mots « Mahalo d'Hawaï 2025 » au-dessus d'une photo d'un groupe de collègues. Au lieu d'ajouter simplement le texte, le moteur a complètement modifié l'image. Il a rendu les personnes plus minces ; il a transformé les hommes en femmes et un Asiatique en Caucasien. Un autre ami m'a raconté qu'une biographie de lui, générée par l'IA, parlait de ses jumeaux, qu'il n'a pas. Elle fournissait même un lien vers une source inexistante. Aïe !

Ronald Reagan avait l’habitude de dire : Faites confiance, mais vérifiez.

Mon propos n'est pas de suggérer que nous oubliions l'IA et que nous annulions tous nos abonnements. Il s'agit plutôt de rappeler à tous (moi y compris) que nous ne pouvons pas confier les clés des moteurs d'IA et les laisser tomber. Ce sont des outils qui peuvent nous aider, mais, au final, nous devons examiner le résultat, voir s'il est satisfaisant et décider de l'accepter ou non. Il est clair que les performances des moteurs d'IA sont inégales : excellentes pour certains projets, médiocres pour d'autres, comme la cartographie.

Nous assisterons probablement un jour à l’essor des machines , mais ce n’est pas le jour.