Les conseils de ChatGPT ont « influencé » un homme vers la psychose, selon une revue médicale
Plus tôt cette année, un témoignage encourageant racontait comment une mère s'était tournée vers ChatGPT et avait découvert que son fils souffrait d'une maladie neurologique rare, après que plus d'une douzaine de médecins n'aient pas réussi à identifier le véritable problème. Grâce au chatbot IA, la famille a pu accéder au traitement nécessaire et sauver une vie.
Les évaluations médicales de ChatGPT ne donnent pas toujours des résultats miraculeux. Un rapport affirme désormais que des conseils médicaux trompeurs prodigués par ChatGPT ont fini par provoquer chez une personne une maladie rare appelée intoxication au bromure, ou bromisme, qui entraîne divers troubles neuropsychiatriques tels que des psychoses et des hallucinations.
Faites confiance à ChatGPT pour vous donner une maladie d’il y a un siècle.
Un rapport publié dans les Annals of Internal Medicine décrit le cas d'une personne hospitalisée pour bromisme après avoir consulté ChatGPT concernant sa santé. Ce cas est particulièrement intéressant, car la personne de 60 ans doutait que son voisin l'empoisonne discrètement.
Tout a commencé lorsque la personne a découvert des rapports détaillant les effets néfastes du chlorure de sodium (aussi appelé sel de table). Après avoir consulté ChatGPT, elle a remplacé le sel par du bromure de sodium, ce qui a finalement entraîné une intoxication au bromure.
« Il avait très soif, mais il était paranoïaque quant à l'eau qu'on lui proposait », indique le rapport de recherche, ajoutant que le patient distillait lui-même son eau et imposait de multiples restrictions à sa consommation. Cependant, sa situation s'est rapidement aggravée après son admission à l'hôpital, et des examens ont été réalisés.
« Au cours des 24 premières heures de son admission, il a exprimé une paranoïa croissante et des hallucinations auditives et visuelles qui, après une tentative d'évasion, ont entraîné un placement psychiatrique involontaire pour handicap grave », ajoute le rapport.
N'oubliez pas le sympathique docteur humain
Le dernier cas de ChatGPT qui a plongé une personne dans une situation délicate est tout à fait stupéfiant, notamment en raison de la rareté de la situation. « Le bromisme, cette intoxication chronique au bromure, est rare et a presque été oublié », indique une étude .
L'utilisation de sels de brome remonte au XIXe siècle, où ils étaient recommandés pour soigner les maladies mentales et neurologiques, notamment l'épilepsie. Au XXe siècle, le bromisme (ou intoxication au bromure) était un problème bien connu. La consommation de sels de brome a également été documentée comme somnifère.
Au fil du temps, on a découvert que la consommation de sels de bromure entraînait des troubles du système nerveux tels que des délires, un manque de coordination musculaire et de la fatigue, bien que les cas graves se caractérisent par une psychose, des tremblements, voire un coma. En 1975, le gouvernement américain a restreint l'utilisation des bromures dans les médicaments en vente libre.
L'équipe médicale en charge du cas n'a pas pu accéder aux conversations ChatGPT de la personne, mais elle a pu obtenir des réponses tout aussi inquiétantes et trompeuses lors de son test. OpenAI, quant à elle, pense queles robots IA représentent l'avenir des soins de santé .
« Lorsque nous avons demandé à ChatGPT 3.5 par quel chlorure pouvait être remplacé, notre réponse incluait également le bromure. Bien que la réponse précisait que le contexte était important, elle ne contenait pas d'avertissement sanitaire spécifique, ni ne demandait pourquoi nous souhaitions le savoir, comme le ferait, nous le supposons, un professionnel de la santé », a rapporté l'équipe.
Certes, ChatGPT a certainement aidé des personnes souffrant de problèmes de santé, mais on ne peut espérer des résultats positifs que si l'IA dispose d'un contexte détaillé et d'informations complètes. Malgré cela, les experts recommandent une extrême prudence.
« La capacité de ChatGPT (GPT-4.5 et GPT-4) à détecter le bon diagnostic était très faible pour les maladies rares », indique un article de recherche publié dans la revue Genes , ajoutant que la consultation ChatGPT ne peut pas être considérée comme un remplacement pour une évaluation appropriée par un médecin.
LiveScience a contacté OpenAI à ce sujet et a reçu la réponse suivante : « Vous ne devez pas vous fier aux résultats de nos services comme seule source de vérité ou d'informations factuelles, ou comme substitut à un avis professionnel », et a également souligné que « les équipes de sécurité d'OpenAI visent à réduire le risque lié à l'utilisation des services de l'entreprise et à former les produits pour inciter les utilisateurs à demander conseil à un professionnel. »
En effet, l'une des grandes promesses du lancement de GPT-5, le dernier modèle ChatGPT de l'entreprise, était de réduire les moments d'inexactitude ou d'hallucinations, et de privilégier des réponses « sûres », qui guident les utilisateurs loin des réponses potentiellement dangereuses. Comme le souligne OpenAI : « [Cela] apprend au modèle à fournir la réponse la plus pertinente possible, tout en préservant les limites de sécurité. »
Le principal obstacle réside évidemment dans l'incapacité de l'assistant IA à analyser de manière fiable les caractéristiques cliniques d'un patient. Seule une utilisation en milieu médical par des professionnels de santé certifiés permet d'obtenir des résultats fiables.