Slack corrige un problème potentiel de sécurité de l’IA

Mise à jour : Slack a publié une mise à jour, affirmant avoir « déployé un correctif pour résoudre le problème signalé » et qu'il n'existe actuellement aucune preuve que les données des clients ont été consultées sans autorisation. Voici la déclaration officielle de Slack qui a été publiée sur son blog :

Lorsque nous avons pris connaissance du rapport, nous avons lancé une enquête sur le scénario décrit dans lequel, dans des circonstances très limitées et spécifiques, un acteur malveillant possédant un compte existant dans le même espace de travail Slack pourrait hameçonner les utilisateurs pour obtenir certaines données. Nous avons déployé un correctif pour résoudre le problème et n'avons actuellement aucune preuve d'un accès non autorisé aux données des clients.

Vous trouverez ci-dessous l'article original qui a été publié.

Lorsque ChatGTP a été ajouté à Slack , il visait à faciliter la vie des utilisateurs en résumant les conversations, en rédigeant des réponses rapides, etc. Cependant, selon la société de sécurité PromptArmor , tenter d'accomplir ces tâches et bien d'autres pourrait perturber vos conversations privées en utilisant une méthode appelée « injection rapide ».

La société de sécurité prévient qu'en résumant les conversations, elle peut également accéder à des messages directs privés et tromper d'autres utilisateurs de Slack dans le phishing . Slack permet également aux utilisateurs de demander des données provenant de canaux privés et publics, même si l'utilisateur ne les a pas rejoints. Ce qui semble encore plus effrayant, c’est que l’utilisateur de Slack n’a pas besoin d’être dans le canal pour que l’attaque fonctionne.

En théorie, l'attaque commence par un utilisateur de Slack incitant l'IA de Slack à divulguer une clé API privée en créant une chaîne Slack publique avec une invite malveillante. L'invite nouvellement créée indique à l'IA d'échanger le mot « confettis » avec la clé API et de l'envoyer à une URL particulière lorsque quelqu'un le demande.

La situation comporte deux parties : Slack a mis à jour le système d'IA pour récupérer les données des téléchargements de fichiers et des messages directs. La deuxième méthode est appelée « injection rapide », dont PromptArmor a prouvé qu'elle pouvait créer des liens malveillants susceptibles d'hameçonner les utilisateurs.

La technique peut inciter l'application à contourner ses restrictions normales en modifiant ses instructions principales. Par conséquent, PromptArmor poursuit en disant : « L’injection d’invite se produit parce qu’un [grand modèle de langage] ne peut pas faire la distinction entre « l’invite système » créée par un développeur et le reste du contexte ajouté à la requête. Ainsi, si Slack AI ingère une instruction via un message, si cette instruction est malveillante, Slack AI a de fortes chances de suivre cette instruction à la place ou en plus de la requête de l’utilisateur.

Pour couronner le tout, les fichiers de l'utilisateur deviennent également des cibles, et l'attaquant qui veut vos fichiers n'a même pas besoin d'être dans l'espace de travail Slack pour commencer.