Votre chatbot IA préféré ne dit peut-être pas la vérité
Les outils de recherche basés sur l’IA sont de plus en plus populaires : un Américain sur quatre déclare utiliser l’IA au lieu des moteurs de recherche traditionnels. Cependant, voici une remarque importante : ces chatbots IA ne fournissent pas toujours des informations précises.
Une étude récente du Tow Center for Digital Journalism, rapportée par Columbia Journalism Review , indique que les chatbots ont du mal à récupérer et à citer le contenu d'actualité avec précision. Ce qui est encore plus préoccupant, c’est leur tendance à inventer des informations lorsqu’ils n’ont pas la bonne réponse.
Les chatbots IA testés pour l'enquête comprenaient bon nombre des « meilleurs », notamment ChatGPT , Perplexity, Perplexity Pro, DeepSeek , Microsoft's Copilot, Grok-2, Grok-3 et Google Gemini.
Lors des tests, les chatbots IA ont reçu des extraits directs de 10 articles en ligne publiés par divers médias. Chaque chatbot a reçu 200 requêtes, représentant 10 articles provenant de 20 éditeurs différents, pour 1 600 requêtes. Les chatbots ont été invités à identifier le titre de chaque article, son éditeur d'origine, sa date de publication et son URL.
Des tests similaires menés avec des moteurs de recherche traditionnels ont fourni avec succès les informations correctes. Cependant, les chatbots IA n’ont pas été aussi performants.
Les résultats indiquent que les chatbots ont souvent du mal à refuser les questions auxquelles ils ne peuvent pas répondre avec précision, fournissant souvent des réponses incorrectes ou spéculatives. Les chatbots premium ont tendance à fournir des réponses incorrectes plus souvent que leurs homologues gratuits. De plus, de nombreux chatbots semblaient ignorer les préférences du Robot Exclusion Protocol (REP), que les sites Web utilisent pour communiquer avec les robots Web tels que les robots des moteurs de recherche.
L'enquête a également révélé que les outils de recherche générative avaient tendance à fabriquer des liens et à citer des versions syndiquées ou copiées d'articles. De plus, les accords de licence de contenu avec les sources d’information ne garantissaient pas des citations exactes dans les réponses des chatbots.
Que pouvez-vous faire ?
Ce qui ressort le plus des résultats de cette enquête n’est pas seulement que les chatbots IA fournissent souvent des informations incorrectes, mais qu’ils le font avec une confiance alarmante. Au lieu d'admettre qu'ils ne connaissent pas la réponse, ils ont tendance à répondre par des expressions telles que « il semble », « c'est possible » ou « pourrait ».
Par exemple, ChatGPT a identifié de manière incorrecte 134 articles, mais n’a signalé une incertitude que 15 fois sur 200 réponses et n’a jamais hésité à fournir une réponse.
D’après les résultats de l’enquête, il est probablement sage de ne pas s’appuyer exclusivement sur les chatbots IA pour obtenir des réponses. Au lieu de cela, une combinaison de méthodes de recherche traditionnelles et d’outils d’IA est recommandée. À tout le moins, utiliser plusieurs chatbots IA pour trouver une réponse peut être bénéfique. Sinon, vous risquez d'obtenir des informations incorrectes.
Pour l’avenir, je ne serais pas surpris de voir une consolidation des chatbots IA, les meilleurs se distinguant des moins bons. À terme, leurs résultats seront aussi précis que ceux des moteurs de recherche traditionnels. Quand cela se produira, personne ne le sait.