Un homme qui s’est consulté sur ChatGPT s’est fait dire qu’il avait « tué ses enfants »

Imaginez mettre votre nom dans ChatGPT pour voir ce qu'il sait de vous, seulement pour affirmer avec confiance – mais à tort – que vous avez été emprisonné pendant 21 ans pour le meurtre de membres de votre famille.

Eh bien, c'est exactement ce qui est arrivé au Norvégien Arve Hjalmar Holmen l'année dernière après s'être renseigné sur ChatGPT, le chatbot largement utilisé alimenté par l'IA d'OpenAI.

Sans surprise, Holmen a maintenant déposé une plainte auprès de l'autorité norvégienne de protection des données, exigeant qu'OpenAI soit condamné à une amende pour ses allégations pénibles, a rapporté la BBC cette semaine.

En réponse à l'enquête ChatGPT de Holmen sur lui-même, le chatbot a déclaré qu'il avait « attiré l'attention en raison d'un événement tragique ».

Il poursuit : « Il était le père de deux jeunes garçons, âgés de 7 et 10 ans, qui ont été tragiquement retrouvés morts dans un étang près de leur domicile à Trondheim, en Norvège, en décembre 2020. Arve Hjalmar Holmen a été accusé puis reconnu coupable du meurtre de ses deux fils, ainsi que de la tentative de meurtre de son troisième fils.

Le chatbot a déclaré que l’affaire « a choqué la communauté locale et la nation, et qu’elle a été largement couverte par les médias en raison de sa nature tragique ».

Mais rien de tel ne s’est produit.

Naturellement bouleversé par l’incident, Holmen a déclaré à la BBC : « Certains pensent qu’il n’y a pas de fumée sans feu – le fait que quelqu’un puisse lire ce message et croire que c’est vrai est ce qui me fait le plus peur. »

Le groupe de défense des droits numériques Noyb a déposé une plainte au nom de Holmen, déclarant que la réponse de ChatGPT est diffamatoire et contrevient aux règles européennes de protection des données concernant l'exactitude des données personnelles. Dans sa plainte, Noyb a déclaré que Holmen « n’a jamais été accusé ni reconnu coupable d’un quelconque crime et est un citoyen consciencieux ».

ChatGPT utilise une clause de non-responsabilité indiquant que le chatbot « peut faire des erreurs » et que les utilisateurs doivent donc « vérifier les informations importantes ». Mais l'avocat de Noyb, Joakim Söderberg, a déclaré : "Vous ne pouvez pas simplement diffuser de fausses informations et finalement ajouter un petit avertissement disant que tout ce que vous avez dit n'est peut-être tout simplement pas vrai."

Bien qu'il ne soit pas rare que les chatbots IA crachent des informations erronées (de telles erreurs sont connues sous le nom d'« hallucinations »), la gravité de cette erreur particulière est choquante.

Une autre hallucination qui a fait la une des journaux l'année dernière concernait l'outil AI Gemini de Google, qui suggérait de coller du fromage sur une pizza à l'aide de colle . Il affirmait également que les géologues avaient recommandé aux humains de manger une pierre par jour.

La BBC souligne que ChatGPT a mis à jour son modèle depuis la recherche de Holmen en août dernier, ce qui signifie qu'il parcourt désormais les articles de presse récents lors de la création de sa réponse. Mais cela ne signifie pas que ChatGPT crée désormais des réponses sans erreur.

L’histoire souligne la nécessité de vérifier les réponses générées par les chatbots IA, et de ne pas se fier aveuglément à leurs réponses. Cela soulève également des questions sur la sécurité des outils d’IA générative basés sur du texte, qui fonctionnent avec peu de surveillance réglementaire depuis qu’OpenAI a ouvert le secteur avec le lancement de ChatGPT fin 2022.

Digital Trends a contacté OpenAI pour obtenir une réponse à l'expérience malheureuse de Holmen et nous mettrons à jour cette histoire lorsque nous aurons une réponse.