Des chercheurs en IA mettent en garde contre une menace d’« extinction humaine » sans autre surveillance

Plus d'une douzaine d'employés actuels et anciens d' OpenAI , de Deep Mind de Google et d'Anthropic ont publié mardi une lettre ouverte attirant l'attention sur les « risques sérieux » posés par la poursuite du développement rapide de la technologie sans disposer d'un cadre de surveillance efficace.

Le groupe de chercheurs affirme que la technologie pourrait être utilisée à mauvais escient pour exacerber les inégalités existantes, manipuler l’information et propager la désinformation, et même « entraîner la perte de contrôle des systèmes d’IA autonomes, entraînant potentiellement l’extinction de l’humanité ».

Les signataires estiment que ces risques peuvent être « adéquatement atténués » grâce aux efforts combinés de la communauté scientifique, des législateurs et du public, mais s’inquiètent du fait que « les sociétés d’IA sont fortement incitées financièrement à éviter une surveillance efficace » et ne peuvent pas compter sur elles pour gérer de manière impartiale. le développement de la technologie.

Depuis la sortie de ChatGPT en novembre 2022, la technologie d'IA générative a pris d'assaut le monde informatique avec des hyperscalers comme Google Cloud, Amazon AWS, Oracle et Microsoft Azure, à la tête de ce qui devrait devenir une industrie qui devrait générer des milliards de dollars d'ici 2032 . Une étude récente de McKinsey a révélé qu'en mars 2024, près de 75 % des organisations interrogées avaient adopté l'IA dans au moins un titre. Parallèlement, dans son enquête annuelle Work Index , Microsoft a constaté que 75 % des employés de bureau utilisent déjà l'IA au travail.

Cependant, comme Daniel Kokotajlo, ancien employé d'OpenAI, l'a déclaré au Washington Post : « Eux et d'autres ont adhéré à l'approche « agir vite et casser les choses », et c'est le contraire de ce qui est nécessaire pour une technologie aussi puissante et aussi médiocre. compris." Les startups d'IA, notamment OpenAI et Stable Diffusion, ont par exemple enfreint à plusieurs reprises les lois américaines sur le droit d'auteur, tandis que les chatbots accessibles au public sont régulièrement incités à répéter des discours de haine et des théories du complot et à diffuser de la désinformation .

Les employés d'AI qui s'y opposent soutiennent que ces entreprises possèdent des « informations non publiques substantielles » sur les capacités et les limites de leurs produits, y compris le risque potentiel de préjudice des modèles et l'efficacité réelle de leurs garde-corps de protection. Ils soulignent que seule une partie de ces informations est accessible aux agences gouvernementales à travers « de faibles obligations de partage et aucune d’entre elles n’est accessible au grand public ».

"Tant qu'il n'y aura pas de contrôle gouvernemental efficace sur ces sociétés, les employés actuels et anciens seront parmi les rares personnes qui peuvent les tenir responsables devant le public", a déclaré le groupe, arguant que le recours généralisé par l'industrie aux accords de confidentialité et la faible mise en œuvre des accords de confidentialité. Les protections existantes pour les lanceurs d’alerte entravent ces problèmes.

Le groupe a appelé les sociétés d'IA à cesser de conclure et d'appliquer des accords de non-dénigrement, à établir un processus anonyme permettant aux employés de faire part de leurs préoccupations au conseil d'administration de l'entreprise et aux régulateurs gouvernementaux, et à ne pas exercer de représailles contre les lanceurs d'alerte publics si ces processus internes s'avèrent insuffisants. .