Les experts mettent en garde contre l’utilisation de ChatGPT pour dénigrer la recherche scientifique

« Explique-moi comme un élève de CM2. » Cette phrase, ou une variante, revient souvent sur les réseaux sociaux, où l'on discute des avantages de l'IA pour expliquer des sujets complexes de la manière la plus simple possible. C'est également l'un des meilleurs exemples d'utilisation de l'IA dans le secteur de l'éducation. Cependant, selon les experts, il est déconseillé de se fier entièrement à des outils d'IA comme ChatGPT pour résumer des recherches et des articles scientifiques.

Quelle est la situation dans son ensemble ?

Les articles de recherche sont notoirement chargés de termes techniques et d'un langage excessivement complexe, ce qui rend difficile pour le commun des mortels de saisir les avancées qui y sont décrites. C'est là qu'interviennent les journalistes scientifiques, qui rédigent des articles condensés sur ces réalisations et progrès dans un langage facile à comprendre.

Ces mêmes personnes ont maintenant expliqué que l'utilisation de ChatGPT pour résumer des articles scientifiques était une mauvaise idée. Le service de presse de la revue Science et l'équipe Science Press Package (SciPak) ont commencé à tester ChatGPT Plus afin de déterminer s'il pouvait transmettre des informations avec précision et simplicité.

Après un an de tests, l'équipe a constaté que les résumés générés par ChatGPT « sacrifiaient la précision à la simplicité » et nécessitaient « une révision approfondie pour éviter les hyperboles ». « ChatGPT Plus avait un faible pour le mot « révolutionnaire », a constaté l'équipe. Il est intéressant de noter que certains mots sont notoirement surutilisés par les chatbots IA, et qu'ils influencent même désormais notre façon de parler au quotidien .

Quel est le point clé à retenir ?

Dans le cadre du test, l'équipe a utilisé la version payante de ChatGPT pour rédiger chaque semaine trois résumés uniques de deux articles de recherche. Ces résumés ont ensuite été évalués par des rédacteurs humains. ChatGPT n'a pas été un échec total, mais il a mal géré les nuances essentielles à la recherche et à la communication scientifiques.

« Il ne peut pas synthétiser ou traduire les résultats pour un public non expert », indique le livre blanc qui discute du test, ajoutant que le chatbot a tendance à faire trop de battage médiatique , ne peut pas expliquer complètement les limites et ne s'en sort pas bien lorsqu'il doit discuter de deux événements de recherche dans le même contexte.

Un rédacteur a fait remarquer que les résumés ChatGPT trahiraient souvent la confiance. « Il finissait par utiliser du jargon lorsqu'il était confronté à des recherches particulièrement denses en informations, en détails et en complexité », écrit Abigail Eisenstadt, rédactrice pour Press Package et membre de l'AAAS (American Association for the Advancement of Science).

( Divulgation : Nadeem Sarwar est membre de l'AAAS, mais ne contribue pas à la science)