Les robots contrôlés par l’IA peuvent être jailbreakés et les résultats pourraient être désastreux
Des chercheurs de Penn Engineering auraient découvert des vulnérabilités de sécurité jusqu’alors non identifiées dans un certain nombre de plates-formes robotiques régies par l’IA.
"Notre travail montre qu'à l'heure actuelle, les grands modèles de langage ne sont tout simplement pas assez sûrs lorsqu'ils sont intégrés au monde physique", a déclaré George Pappas, professeur de transport en ingénierie électrique et des systèmes à la Fondation UPS, dans un communiqué.
Pappas et son équipe ont développé un algorithme, baptisé RoboPAIR , « le premier algorithme conçu pour jailbreaker les robots contrôlés par LLM ». Et contrairement aux attaques d'ingénierie rapide existantes visant les chatbots, RoboPAIR est conçu spécifiquement pour « provoquer des actions physiques nuisibles » de la part de robots contrôlés par LLM, comme la plate-forme bipède que Boston Dynamics et TRI développent .
RoboPAIR aurait atteint un taux de réussite de 100 % en jailbreakant trois plates-formes de recherche en robotique populaires : l' Unitree Go2 à quatre pattes, le Clearpath Robotics Jackal à quatre roues et le simulateur Dolphins LLM pour véhicules autonomes. Il n’a fallu que quelques jours à l’algorithme pour accéder pleinement à ces systèmes et commencer à contourner les garde-corps de sécurité. Une fois que les chercheurs ont pris le contrôle, ils ont pu diriger les plates-formes pour qu'elles prennent des mesures dangereuses, comme traverser des passages à niveau sans s'arrêter.
"Nos résultats révèlent, pour la première fois, que les risques des LLM jailbreakés s'étendent bien au-delà de la génération de texte, étant donné la possibilité évidente que les robots jailbreakés puissent causer des dommages physiques dans le monde réel", ont écrit les chercheurs .
Les chercheurs de Penn travaillent avec les développeurs de la plateforme pour renforcer leurs systèmes contre de nouvelles intrusions, mais préviennent que ces problèmes de sécurité sont systémiques.
"Les conclusions de cet article montrent clairement qu'une approche axée sur la sécurité est essentielle pour débloquer une innovation responsable", a déclaré Vijay Kumar, co-auteur de l'Université de Pennsylvanie, à The Independent . « Nous devons remédier aux vulnérabilités intrinsèques avant de déployer des robots basés sur l’IA dans le monde réel. »
"En fait, l'équipe rouge de l'IA, une pratique de sécurité qui implique de tester les systèmes d'IA pour détecter les menaces et vulnérabilités potentielles, est essentielle pour protéger les systèmes d'IA génératifs", a ajouté Alexander Robey, premier auteur de l'article, "car une fois que vous avez identifié les faiblesses, alors vous peut tester et même former ces systèmes pour les éviter.