Google répond aux affirmations selon lesquelles Gemini lit vos fichiers

Hibou Gourou

Mise à jour : inclusion de la réponse de Google au fil de discussion de Bankston au bas du message.

Une découverte troublante a été faite à la fin de la semaine dernière et remet en question ce que Google Gemini peut et ne peut pas voir. Kevin Bankston, conseiller principal sur la gouvernance de l'IA au Center for Democracy and Technology, a découvert que Gemini était capable de résumer automatiquement ses déclarations de revenus privées qu'il avait consultées dans Google Docs et publiées sur ses conclusions sur X.

C'est quelque chose que, en théorie, l'assistant IA ne devrait pas pouvoir faire sans l'autorisation expresse de l'utilisateur. Sa recherche du paramètre de confidentialité qui désactiverait ce comportement n’a fait qu’engendrer des problèmes encore plus préoccupants sur ce que les systèmes d’IA générative ingèrent et comment.

Bankston a d'abord passé 15 minutes à interroger l'IA elle-même pour savoir comment accéder au menu de configuration nécessaire, mais en vain. Le système lui donnerait uniquement des informations sur la façon de gérer son historique de discussion Gemini . De plus, aucune des suggestions de paramètres proposées par le système n'a réellement résolu le problème de Bankston, et lorsqu'il a trouvé l'option permettant de désactiver les résumés dans Google Workspace, c'était dans un menu totalement différent de ce que Gemini lui avait dit. Selon l'IA elle-même, ces paramètres devraient être ouvertement accessibles aux utilisateurs. Donc, étant donné que ce n'est pas le cas, Bankston affirme que l'IA « hallucine (ment) » ou que quelque chose dans les serveurs de Google ne fonctionne pas comme il le devrait.

Alors qu'il a ensuite été dirigé vers la page des engagements en matière de confidentialité de Gemini Workspace, il s'est demandé : « Et si je ne veux toujours pas qu'il consulte mes documents sans y être invité ? Je ne lui ai pas *demandé* de résumer mes impôts, c'est juste ce qu'il a fait. Ce devrait être à moi de décider si/quels documents privés déclenchent le modèle. Bankston note également que les utilisateurs doivent payer un abonnement AI Premium de 20 $/mois pour bénéficier d'engagements étendus concernant la protection de leurs données personnelles.

Ce n'est pas la première fois que les produits d'IA de Google subissent des fuites de données. En septembre 2023, le précurseur de Gemini, Bard, a accidentellement révélé des sessions de discussion d'utilisateurs dans les résultats de recherche publics. Google a même mis en garde ses propres employés contre la saisie de données sensibles dans ses chatbots pour éviter des fuites involontaires. La société a également été poursuivie en juillet dernier pour des allégations selon lesquelles sa récupération de l'Internet public pour les données de formation à l'IA violait leur vie privée et leurs droits de propriété.

Finalement, Bankston a pu résoudre le problème et identifier la racine du problème. « Il semble que si vous avez déjà cliqué sur le bouton Gemini pour un type de document, celui-ci reste ouvert chaque fois que vous en ouvrez un autre de ce type – et l'ingère et le résume donc automatiquement », a-t-il écrit.

Ainsi, comme il a résumé un PDF différent à l'aide de Gemini pendant le chat, le système semble s'être accordé l'accès à tous les PDF ouverts tout au long de la session. "Idem avec GDocs : il n'était activé dans aucun de mes documents", a-t-il également noté, "puis je l'ai activé dans un, et maintenant il résume automatiquement tous ceux que j'ouvre."

Quelles que soient les raisons du problème, ce type de comportement du système d’IA a des implications importantes sur la vie privée des utilisateurs. Comme le soutient Bankston, « combien de personnes ont involontairement saisi combien de documents privés supplémentaires dans Gemini simplement parce qu'elles ont cliqué une fois sur cette petite étoile de l'IA dans un document ? »

Même si l’accès à des documents supplémentaires sur lesquels affiner ses réponses contribuerait à améliorer les performances, le faire sans transparence et sans l’autorisation des propriétaires de contenu ne fera qu’éroder davantage la confiance déjà mince du public dans l’IA.

Google n'est pas d'accord avec plusieurs aspects de l'expérience de Bankston, notamment le fait que l'ingestion de données se produit. Un porte-parole de Google a mentionné que le contenu d'un document ouvert peut être utilisé pour générer un résumé en temps réel, mais seulement si la fonctionnalité Gemini est activée et que ni ce résumé ni le document lui-même ne sont enregistrés d'une manière ou d'une autre. Voici la déclaration officielle de Google :

« Nos fonctionnalités d’IA générative sont conçues pour donner le choix aux utilisateurs et leur permettre de garder le contrôle de leurs données. L'utilisation de Gemini dans Google Workspace nécessite qu'un utilisateur l'active de manière proactive, et lorsqu'il le fait, son contenu est utilisé de manière à préserver la confidentialité pour générer des réponses utiles à ses invites, mais n'est pas stocké sans autorisation.