DeepMind cherche déjà des moyens de nous protéger des AGI

L’intelligence générale artificielle est un sujet majeur à l’heure actuelle, même si personne n’est encore d’accord sur ce qu’est réellement l’AGI . Certains scientifiques pensent que ce sera encore dans des centaines d'années et qu'ils nécessiteront une technologie que nous ne pouvons même pas encore imaginer, tandis que Google DeepMind affirme que cela pourrait être là d'ici 2030 – et prévoit déjà des mesures de sécurité.

Il n'est pas rare que la communauté scientifique soit en désaccord sur des sujets comme celui-ci, et il est bon que toutes nos bases soient couvertes par des personnes planifiant à la fois pour l'avenir immédiat et le futur lointain. Pourtant, cinq ans, c’est un chiffre assez choquant.

À l’heure actuelle, les projets « frontier AI » connus du public sont tous des LLM – de petits devineurs de mots et générateurs d’images sophistiqués. ChatGPT , par exemple, est toujours mauvais en mathématiques, et tous les modèles que j'ai essayés sont horribles pour écouter les instructions et modifier leurs réponses avec précision. Claude d'Anthropic n'a toujours pas battu Pokémon et aussi impressionnantes que soient les compétences linguistiques de ces modèles, ils sont toujours formés sur tous les pires écrivains du monde et ont pris de nombreuses mauvaises habitudes.

Il est difficile d'imaginer passer de ce que nous avons actuellement à quelque chose qui, selon les mots de DeepMind , affiche des capacités qui correspondent ou dépassent « celles du 99e centile des adultes qualifiés ». En d’autres termes, DeepMind pense qu’AGI sera aussi intelligent, voire plus, que les 1 % des humains les plus riches dans le monde.

Alors, quel genre de risques DeepMind pense-t-il qu’une AGI de niveau Einstein pourrait poser ?

Selon le document, nous distinguons quatre catégories principales : les abus, les désalignements, les erreurs et les risques structurels. Ils étaient tellement proches de quatre Ms, c'est dommage.

DeepMind considère comme « abus » des choses comme influencer les courses politiques avec des vidéos deepfake ou se faire passer pour des personnes lors d'escroqueries. Il mentionne dans la conclusion que son approche en matière de sécurité « est centrée sur le blocage de l’accès des acteurs malveillants aux capacités dangereuses ».

Cela semble génial, mais DeepMind fait partie de Google et le géant américain de la technologie développe lui-même ces systèmes. Bien sûr, Google n'essaiera probablement pas de voler de l'argent aux personnes âgées en se faisant passer pour leurs petits-enfants – mais cela ne signifie pas qu'il ne peut pas utiliser AGI pour générer des bénéfices tout en ignorant les meilleurs intérêts des consommateurs .

Il semble que le « désalignement » soit la situation de Terminator, où nous demandons une chose à l’IA et elle fait simplement quelque chose de complètement différent. C’est un peu inconfortable d’y penser. DeepMind affirme que la meilleure façon de contrer cela est de s'assurer que nous comprenons le fonctionnement de nos systèmes d'IA de manière aussi détaillée que possible, afin que nous puissions savoir quand quelque chose ne va pas, où cela ne va pas et comment y remédier.

Cela va à l'encontre de « l'émergence spontanée » des capacités et du concept selon lequel l'AGI sera si complexe que nous ne saurons pas comment elle fonctionne. Au lieu de cela, si nous voulons rester en sécurité, nous devons nous assurer de savoir ce qui se passe. Je ne sais pas à quel point ce sera difficile, mais il est tout à fait logique d'essayer.

Les deux dernières catégories font référence à des dommages accidentels – soit des erreurs de la part de l'IA, soit des choses qui deviennent compliquées lorsque trop de personnes sont impliquées. Pour cela, nous devons nous assurer que nous disposons de systèmes qui approuvent les actions qu’une AGI souhaite entreprendre et empêchent différentes personnes de la tirer dans des directions opposées.

Bien que l'article de DeepMind soit totalement exploratoire, il semble qu'il existe déjà de nombreuses façons d'imaginer que l'AGI va mal. Ce n’est pas aussi grave qu’il y paraît : les problèmes que nous pouvons imaginer sont ceux auxquels nous pouvons le mieux nous préparer. Ce sont les problèmes que nous n’anticipons pas qui sont les plus effrayants, alors espérons que nous ne manquerons rien d’important.