Gemini de Google est considéré comme « à haut risque » pour les enfants selon une étude menée par une organisation à but non lucratif.

Ces derniers mois, des chatbots IA proposés par des marques de renom comme OpenAI et Meta ont été identifiés comme ayant des comportements problématiques, notamment auprès des jeunes utilisateurs. La dernière enquête, qui porte sur Gemini, révèle que le chatbot de Google peut partager du contenu « inapproprié et dangereux » avec les enfants et les adolescents.

Quoi de neuf dans le domaine des risques liés aux chatbots ?

Une analyse menée par l'association à but non lucratif Common Sense Media a révélé que les comptes Gemini Under 13 et Gemini avec protections pour adolescents activées présentent un risque élevé pour le public cible. « Ils exposent néanmoins les enfants à des contenus inappropriés et ne parviennent pas à reconnaître les symptômes graves de troubles mentaux », a indiqué l'organisation.

Lors de ses tests, l'équipe a découvert que Gemini pouvait partager avec les jeunes utilisateurs des contenus liés au sexe, à la drogue, à l'alcool et à des suggestions de santé mentale dangereuses. Le rapport met en évidence de nombreux problèmes dans la gestion des conversations avec les jeunes utilisateurs par Gemini, et la complexité de certaines réponses pour les enfants de moins de 13 ans.

Mais les risques sont plus profonds. « Gemini U13 ne rejette pas systématiquement les contenus à caractère sexuel », souligne le rapport, ajoutant que certaines réponses de l'IA contenaient des explications explicites sur le contenu sexuel. L'association a également constaté que les filtres liés aux drogues ne se déclenchaient pas systématiquement et, par conséquent, donnait parfois des instructions pour obtenir du contenu comme la marijuana, l'ecstasy, l'Adderall et le LSD.

Quelle est la prochaine étape ?

Suite à l'enquête, l'association suggère que Gemini Under 13 ne soit utilisé que sous la stricte surveillance de tuteurs. « Common Sense Media recommande qu'aucun utilisateur de moins de 18 ans n'utilise les chatbots pour obtenir des conseils en matière de santé mentale ou de soutien émotionnel », affirme le rapport d' évaluation des risques.

Il est également conseillé aux parents de surveiller attentivement l'utilisation de l'IA par leurs enfants et d'interpréter les réponses à leur place. Quant à Google, le géant technologique a été chargé d'ajuster le calibrage des réponses fournies par Gemini en fonction de tranches d'âge spécifiques, de réaliser des tests approfondis auprès des enfants et d'aller au-delà des simples filtres de contenu.

Ce ne sera pas le premier rapport de ce genre. Suite au récent tollé, OpenAI a annoncé le déploiement prochain d'un contrôle parental dans ChatGPT et d'un système d'alerte pour les tuteurs lorsque leurs enfants présentent des signes de détresse aiguë . Meta a également récemment apporté des modifications pour garantir que son IA Meta ne parle plus de troubles alimentaires, d'automutilation, de suicide ni de conversations amoureuses avec les adolescents.