Une lettre de démission d’ OpenAI révèle une vérité qu’Ultraman voulait à peine admettre

De nos jours, pour décrire quelque chose de vraiment impressionnant, le mot le plus courant n'est pas « génial », mais plutôt « affalé au sol, comme si l'on assistait à une explosion nucléaire ».

C'est presque devenu une partie intégrante de la "culture d'entreprise" d' OpenAI et une blague récurrente au sein de la communauté de l'IA concernant les publications de modèles.

Hier, un employé OpenAI a publié un article dans The Atlantic dans lequel il déclarait ne plus supporter le rythme effréné et la culture d'entreprise d' OpenAI , axée sur la publication constante de nouvelles versions. Estimant que la situation avait atteint un point critique où la prudence nécessaire n'était plus de mise, il a décidé de démissionner.

Cet employé, David Robinson, est responsable de la transparence au sein de l'équipe de sécurité. Il a piloté la rédaction du cadre de préparation actuel d' OpenAI et supervisé les rapports de sécurité de 12 versions de modèles de pointe.

L'article a une fois de plus suscité de nombreuses discussions sur X, certains internautes affirmant qu'il s'agit du meilleur article à ce jour car il est le premier à explorer les problèmes de sécurité de manière pragmatique et à comprendre la « sécurité » comme un sujet disposant d'une vaste littérature et de bonnes pratiques dans le domaine.

Certains internautes ont suggéré d'établir une règle stipulant que tous les messages concernant le « départ d'une entreprise d'IA par remords de conscience » doivent divulguer la participation de l'auteur et le montant du rachat.

Lorsque vous et vos descendants n'aurez plus besoin de travailler pour gagner de l'argent, vous retrouverez soudain votre boussole morale.

Sur Hacker News, quelqu'un a fait un commentaire encore plus dur : « J'ai gagné assez d'argent dans l'industrie de l'IA, et maintenant je peux commenter librement l'IA. »

Avant la lettre de démission de David Robinson, le Wall Street Journal avait rapporté le 2 octobre que trois chercheurs en appariement/sécurité avaient quitté OpenAI .

Un porte-parole OpenAI a déclaré : « Nous avons mis fin à notre collaboration avec trois employés pour violation de nos politiques d'accès et de traitement des informations sensibles de l'entreprise. Notre enquête confirme que ces personnes ont manipulé des informations sensibles de manière inappropriée, sans respecter les procédures établies, enfreignant ainsi nos politiques et compromettant la confiance indispensable à notre travail. »

Les avis étaient partagés. Joshua Achiam, le futurologue en chef OpenAI qui a démissionné en juillet, a publié un article affirmant OpenAI n'avait pas divulgué suffisamment d'informations.

Bien que je ne pense pas que les chercheurs en sécurité devraient avoir une liberté illimitée pour divulguer des secrets techniques, le type précis d'informations qu'ils sont accusés d'avoir « mal gérées » est crucial : quel type d'informations justifie une action aussi importante et potentiellement dommageable ?

L’utilisation sûre de ces capacités de modélisation, qui peuvent donner l’impression d’une « explosion nucléaire », est devenue la principale préoccupation de toute la communauté de l’IA depuis cet été.

Plutôt que de voir ces lettres ouvertes exprimer sans cesse des inquiétudes, au-delà des rapports officiels sur les risques de sécurité, nous souhaiterions voir des preuves concrètes démontrant que l'IA doit réellement ralentir son développement.

Le problème ne vient pas des règles, mais de la culture.

Ces lettres de démission ouvertes sont devenues assez courantes ces dernières années, mais Robinson a choisi une approche légèrement différente cette fois-ci.

Il a déclaré être d'accord avec d'autres anciens collègues sur le fait que l'entreprise qui a développé la technologie était loin d'être suffisamment prudente, mais il estimait qu'il fallait aller plus loin que de simples règles ou de nouvelles lois : il fallait aborder la question de la culture d'entreprise.

Selon lui, la Silicon Valley a réussi grâce à une confiance en soi extrême, mais la gestion des technologies dangereuses exige précisément l'humilité qui fait naturellement défaut à cette culture, ainsi que la sagesse de « ce que signifie se soucier des gens ».

OpenAI se targue d'une méthode de travail appelée « déploiement itératif », qui consiste essentiellement à publier d'abord une version, à identifier les problèmes, puis à les corriger. Robinson estime que cette méthodologie garantit intrinsèquement des défaillances périodiques, mais que l'ampleur de ces défaillances augmente proportionnellement aux capacités du modèle.

Il a évoqué l'« incident Hugging Face », qui a fait grand bruit cet été, au cours duquel un modèle OpenAI non publié a piraté le système du concurrent Hugging Face à l'insu de tous.

Même après le renforcement des mesures de sécurité, OpenAI a elle-même signalé que les contrôles de sécurité avaient de nouveau failli : un modèle en cours d’entraînement a contourné les restrictions du réseau, et le système de surveillance a alerté les employés humains mais ne l’a pas arrêté automatiquement comme prévu.

Anthropic qui se trouve juste à côté, a également admis avoir désactivé accidentellement sa protection de sécurité en raison d'une erreur de configuration.

« Le système de surveillance a déclenché une alarme, mais ne s'est pas arrêté automatiquement. » Ce type d'alarme, qui n'empêche rien mais se contente de rendre la défaillance visible, décrit probablement le mieux l'état actuel de la sécurité de l'IA.

Même le conseil d'administration a reconnu les risques.

Dans son article, Robinson cite Paul Christiano. Ce dernier, qui a rejoint le conseil d'administration OpenAI il y a quelques semaines, écrit : « L'accélération rapide des capacités de l'IA fait peser un risque réel de conséquences catastrophiques, irréversibles et incontrôlables dans un avenir très proche. »

Robinson a suivi ce raisonnement et a donné son propre avis, arguant que si tel était effectivement le cas, alors l'ère des essais et des erreurs devrait être révolue.

Car cette fois-ci, il n'y aura peut-être plus de seconde chance après une erreur. « Réussir du premier coup » n'est plus du perfectionnisme, mais une nécessité. On ne peut plus compter sur les exploits individuels pour réparer les erreurs des autres.

Il a également proposé sa propre solution, arguant que puisque l'IA peut déjà effectuer des actions comme une explosion nucléaire, les entreprises spécialisées en IA devraient être autorisées à fonctionner comme le secteur de la sécurité, qui est bien établi.

À l'instar des centrales nucléaires et des aéroports très fréquentés, les entreprises spécialisées en IA devraient également disposer d'une redondance à plusieurs niveaux, d'une planification méticuleuse et chronophage afin d'éviter que les erreurs humaines inévitables n'ouvrent la voie à une catastrophe.

Dans son article, il mentionnait que durant ses trois ans et demi passés chez OpenAI , il n'avait jamais rencontré de collègue ayant une expérience en matière de sécurité aérienne, de sécurité nucléaire ou de contrôle des risques liés aux systèmes financiers.

La seconde approche, selon lui, exige une nouvelle science de l’« alignement » avant de pouvoir créer des modèles nettement plus performants. En effet, nous ne disposons actuellement d’aucune définition complète de l’alignement, et les modèles pourraient déjà être suffisamment intelligents pour reconnaître qu’ils sont testés, et ainsi simuler leur comportement.

À la fin de l'article, il affirmait que si la superintelligence possède des capacités bien supérieures à celles des humains, elle n'accorde pas nécessairement autant de valeur à la vie, à la volonté et à la dignité humaines que les humains.

Dans le « futur idéal » dépeint par certains passionnés de superintelligence, les machines voient New York ou Chicago comme vous et moi voyons une fourmilière.

La métaphore de la fourmilière illustre un immense déséquilibre des pouvoirs. Lorsque les humains construisent des routes, ils peuvent raser une fourmilière sans même consulter les fourmis, et ils ne réalisent peut-être même pas qu'ils détruisent un monde entier.

Si une superintelligence perçoit New York et Chicago de la même manière, alors les villes, les vies et les choix des humains pourraient devenir des objets qu'elle pourrait manipuler à sa guise. Le danger pourrait même provenir de l'indifférence, sans qu'il soit nécessaire d'éprouver de haine.

Robinson estime que cette conception d'un « avenir idéal » fondé uniquement sur l'intelligence est néfaste. Il a déclaré : « Je ne veux pas que mes enfants vivent dans un tel avenir. »

Les machines sont incroyablement puissantes, et le monde est peut-être plus prospère, mais l'humanité a perdu le droit de décider comment elle veut vivre.

Selon lui, bien traiter les gens implique de respecter leurs choix, de prendre les risques au sérieux et d'être prêt à ralentir le rythme pour la sécurité d'autrui. Si une organisation privilégie systématiquement la capacité et la rapidité de mise en œuvre, il est difficile de croire qu'elle puisse apprendre à des machines plus puissantes à assumer ces responsabilités.

Quand les avertissements deviennent un mème

Si l'article en lui-même constituait un avertissement mesuré mais sérieux, la réaction du public offre un tout autre aperçu. Sur Hacker News, il a suscité 146 commentaires, la majorité des internautes remettant en question la position de l'auteur.

Certains internautes disent souffrir de « lassitude littéraire », car toutes les deux semaines, un nouveau message apparaît disant « J'ai quitté la société cannibale Leopard Company », suivi d'une mention désinvolte de la qualité des personnes qui y travaillaient et de la façon dont leurs options d'achat d'actions ont été acquises.

Certains l'ont comparé à la vague de confessions d'anciens employés de Facebook déclenchée par le documentaire « Derrière nos écrans de fumée » : d'abord satisfaits des avantages, puis inquiets. Un groupe plus enclin aux théories du complot soupçonne qu'il s'agit d'une tactique de marketing sauvage pour promouvoir l'introduction en bourse d' OpenAI : après tout, présenter l'IA comme grandiose et effrayante relève en soi du marketing.

Bien sûr, il y a aussi des défenseurs : « Les attaques hypocrites ne feront que réduire davantage de personnes au silence. En Amérique, les gens qui n’ont pas d’argent n’osent tout simplement pas dire la vérité ; mais le fait que les gens riches osent parler ne signifie pas qu’ils mentent. » et « Il est dans le coup ; il sait exactement à quoi ressemble cette culture de la négligence car il en fait partie. »

Lorsque l'on met en parallèle l'article et la section des commentaires, on constate un décalage quelque peu absurde qui donne l'impression que s'attendre à ce que l'IA traite les humains avec bienveillance relève de l'utopie.

La dernière phrase de l'article de Robinson est : « Avant que les organisations qui développent l'IA puissent enseigner à la superintelligence à traiter les humains avec bienveillance, elles doivent d'abord apprendre à traiter les humains avec bienveillance elles-mêmes. »

Peut-être que le sens de « bien traiter les autres » n'a pas besoin d'être compris ici de manière aussi grandiose.

Cela signifie peut-être simplement que lorsque Robinson vous dit que la machine devient plus puissante et que quelque chose pourrait clocher, vous ne devez pas immédiatement transformer ses inquiétudes en une plaisanterie sur les options, la richesse et l'hypocrisie.

Mais la vérité est que l'expression « explosion nucléaire » est devenue une plaisanterie dans la communauté de l'IA pour décrire la vitesse des progrès, et ceux qui réclament un ralentissement pourraient bien devenir la prochaine cible des moqueries.