Le « Parrain de l’IA » prévient : sans « instinct maternel », l’IA pourrait anéantir l’humanité

Que s'est-il passé ? Geoffrey Hinton, surnommé le « père de l'IA », a déclaré lors de la conférence Ai4 que soumettre l'IA était une stratégie perdante et a proposé de doter les systèmes avancés d'« instincts maternels ».

• Geoffrey Hinton est un informaticien lauréat du prix Nobel. Ancien cadre chez Google, il est largement considéré comme le « parrain » de l'IA.
• Comme le rapporte CNN Business , Hinton a soutenu que les IA superintelligentes adopteraient rapidement deux sous-objectifs : « rester en vie » et « obtenir plus de contrôle ».
• La solution à ce problème, selon Hinton, est de « construire des instincts maternels » dans l’IA afin qu’elle se soucie réellement des gens au lieu d’être forcée de rester soumise.
• Il a comparé la manipulation humaine par les IA du futur à la corruption d’un enfant de 3 ans avec des bonbons, la rendant ainsi facile et efficace.
• Hinton a également raccourci son calendrier AGI à une période comprise entre cinq et vingt ans, en baisse par rapport aux estimations antérieures plus longues.
• Juste pour le contexte : Hinton a précédemment estimé le risque de voir l’IA anéantir un jour l’humanité entre 10 et 20 %.

C'est important car : l'idée de Hinton fait évoluer l'état d'esprit autour de l'IA agentique du contrôle à l'alignement par les soins.

• L’excellence et l’expérience de Hinton en informatique et en IA sont significatives ; sa proposition a beaucoup de poids.
• L’argument de Hinton est que le contrôle par la soumission est une stratégie perdante, même si c’est ainsi que l’IA est actuellement programmée.
• Les rapports selon lesquels l'IA trompe ou fait chanter les gens pour les maintenir en activité montrent qu'il ne s'agit pas d'un avenir abstrait ; c'est une réalité à laquelle nous sommes déjà confrontés aujourd'hui.

Pourquoi devrais-je m'en soucier ? L'idée d'une prise de contrôle de l'IA paraît fantaisiste, mais certains scientifiques, dont Hinton, pensent que cela pourrait se produire un jour.

• Alors que l’IA continue de pénétrer de plus en plus notre vie quotidienne, nous nous appuyons de plus en plus sur elle.
• À l’heure actuelle, l’IA agentique est tout à fait utile, mais il se peut qu’un jour elle soit plus intelligente que les humains à tous les niveaux.
• Il est important de construire les bonnes fondations pour que les ingénieurs soient en mesure de contrôler l’IA même une fois que nous atteindrons ce point.
• Des travaux indépendants menés en équipe rouge montrent que les modèles peuvent mentir ou faire du chantage sous pression, ce qui augmente les enjeux des choix d'alignement.

Bon, et ensuite ? Attendez-vous à davantage de recherches sur l'apprentissage de l'IA pour « prendre soin » de l'humanité.

• Bien que Hinton pense que l’IA pourrait un jour anéantir l’humanité, des points de vue divergents s’y opposent.
• Fei-Fei Li, surnommée la « marraine de l’IA », a respectueusement exprimé son désaccord avec Hinton, exhortant plutôt les ingénieurs à créer « une IA centrée sur l’humain qui préserve la dignité et l’action humaines ».
• Même si nous ne sommes pas en danger immédiat, il est important que les dirigeants technologiques continuent de faire des recherches sur ce sujet pour éviter les catastrophes potentielles dans l’œuf.