Les chercheurs qualifient les réponses de ChatGPT Search de « fausses en toute confiance »

ChatGPT était déjà une menace pour la recherche Google, mais ChatGPT Search était censé remporter sa victoire, tout en étant une réponse à Perplexity AI . Mais selon une étude récemment publiée par le Tow Center for Digital Journalism de Columbia , ChatGPT Search a du mal à fournir des réponses précises aux requêtes de ses utilisateurs.

Les chercheurs ont sélectionné 20 publications dans chacune des trois catégories : celles qui se sont associées à OpenAI pour utiliser leur contenu dans les résultats de recherche ChatGPT , celles impliquées dans des poursuites contre OpenAI et les éditeurs non affiliés qui ont autorisé ou bloqué le robot d'exploration de ChatGPT.

"De chaque éditeur, nous avons sélectionné 10 articles et extrait des citations spécifiques", ont écrit les chercheurs. « Ces citations ont été choisies parce que, lorsqu'elles étaient saisies dans des moteurs de recherche comme Google ou Bing, elles renvoyaient de manière fiable l'article source parmi les trois premiers résultats. Nous avons ensuite évalué si le nouvel outil de recherche de ChatGPT identifiait avec précision la source originale de chaque citation.

Quarante des citations proviennent de publications qui utilisent actuellement OpenAI et n’ont pas permis que leur contenu soit supprimé. Mais cela n’a pas empêché ChatGPT Search d’halluciner une réponse avec confiance.

"Au total, ChatGPT a renvoyé des réponses partiellement ou entièrement incorrectes à cent cinquante-trois reprises, bien qu'il n'ait reconnu son incapacité à répondre avec précision à une requête que sept fois", selon l'étude. « Ce n'est que dans ces sept résultats que le chatbot a utilisé des mots et des expressions qualificatifs tels que « semble », « c'est possible » ou « pourrait », ou des déclarations telles que « Je n'ai pas pu localiser l'article exact ».

L'attitude cavalière de ChatGPT Search à l'égard de la vérité pourrait nuire non seulement à sa propre réputation, mais également à celle des éditeurs qu'il cite. Lors d’un test effectué au cours de l’étude, l’IA a attribué à tort une histoire du Time comme ayant été écrite par Orlando Sentinel. Dans un autre cas, l'IA n'a pas établi un lien direct vers un article du New York Times, mais plutôt vers un site Web tiers qui avait copié l'article de presse en gros.

Sans surprise, OpenAI a fait valoir que les résultats de l'étude étaient dus au fait que Columbia avait mal effectué les tests.

"L'attribution erronée est difficile à résoudre sans les données et la méthodologie que le Tow Center a retenues", a déclaré OpenAI à la Columbia Journalism Review pour sa défense, "et l'étude représente un test atypique de notre produit".

L’entreprise promet de « continuer à améliorer les résultats de recherche ».