Le premier programmeur IA au monde est là ! Beyond GPT-4 bouleverse la Silicon Valley, mais il est encore trop tôt pour convaincre les code farmers

Les métiers qui ont donné naissance à l’IA vont-ils perdre leur emploi à cause de l’IA ?

La start-up Cognition AI a été créée il y a 2 mois et a provoqué une tempête dans X du jour au lendemain à cause d'un de leurs tweets qui a été vu des dizaines de millions de fois :

Aujourd'hui, nous avons le plaisir de vous présenter Devin, le premier ingénieur logiciel en IA.

L'équipe Cognition AI est essentiellement médaillée d'or à l'Olympiade internationale d'informatique.

Le code constitue la base d'Internet, et les programmeurs restent une profession bien rémunérée avec un certain seuil. Pourquoi ces esprits humains dotés des QI les plus élevés se rassemblent-ils et enseignent-ils l’IA étape par étape pour approfondir les domaines dans lesquels ils excellent ?

Le premier programmeur d'IA proche de l'être humain, qu'est-ce qu'il a de si bien chez lui ?

La définition de Devin par Cognition AI est la suivante : le premier ingénieur logiciel d'IA entièrement autonome au monde.

Laissons de côté les spécifications et voyons ce que Devin peut faire.

Devin n'est pas encore ouvert à l'utilisation et les candidatures ne peuvent être soumises que par courrier électronique. Ce que nous voyons maintenant, ce sont des cas officiels et des critiques de quelques développeurs tiers et du personnel du produit.

En commençant par Cognition AI elle-même, ils souhaitent que Devin accomplisse une tâche : tester les performances du grand modèle de langage Llama sur trois fournisseurs d'API.

Ils ont envoyé une invite écrite en langage naturel, puis ont retiré leurs mains du clavier et ont tout laissé à Devin.

Devin a d'abord créé un plan avec des étapes claires, puis a commencé à écrire du code comme un programmeur humain.

Devin a décidé d'utiliser un navigateur pour ouvrir la documentation de l'API, lire et apprendre comment accéder à chaque API.

Un bug inattendu est apparu au cours du processus. Devin a dit de ne pas paniquer et de réparer tout ce qui n'allait pas. Il a ajouté une instruction d'impression de débogage et a utilisé les informations d'erreur dans le journal pour savoir comment corriger le bug.

En fin de compte, Devin a construit et déployé un site Web visuel, qui a non seulement accompli la tâche, mais les résultats étaient agréables à regarder et sont entrés dans le cœur des enseignants de correction.

Selon le blog Cognition AI, Devin peut également effectuer des tâches plus complexes et dispose de superbes capacités d'apprentissage et d'ajustement.

Envoyez à Devin un lien vers un article expliquant comment intégrer un texte précis dans des images IA via des plug-ins tels que ControlNet.

Il s'agissait à l'origine d'une technologie avec laquelle Devin n'était pas familier, mais en lisant et en apprenant des connaissances par lui-même, elle produisait un fond d'écran d'ordinateur avec le nom anglais de l'utilisateur.

On a demandé à Devin de créer un site Web interactif. Devin a pris la peine de le modifier et de l'améliorer en fonction des besoins de l'utilisateur, en améliorant la page d'initialisation, en accélérant la fréquence d'images et en répondant aux fenêtres de différentes tailles.

Ensuite, Devin a déployé le site Web sur la plate-forme de développement Web Netlify, économisant ainsi du temps, des efforts et des soucis, ne laissant que les parties amusantes et amusantes aux humains.

En plus de charger au combat, Devin est également idéal pour la jungle.

Confronté à un référentiel open source contenant différents algorithmes nécessitant une maintenance constante, Devin a contacté pour l'aider à trouver et à corriger les bugs. Plus perspicace que les programmeurs.

Même Devin a un sens aigu de l'autogestion et peut entraîner et affiner son propre modèle d'IA. Les programmeurs humains peuvent le mettre de côté et revenir après une heure pour voir comment cela s'est passé.

Cognition AI voulait également prouver que Devin n'était pas un accessoire pour l'auto-promotion, ils ont donc essayé de prendre une commande sur la plate-forme indépendante Upwork pour écrire et déboguer le code pour exécuter le modèle de vision par ordinateur, mais ont laissé à Devin le soin de le terminer.

Devin a méthodiquement mis en place le référentiel de code, résolu les conflits de versions, téléchargé des images depuis Internet pour une utilisation de modèle, échantillonné les données résultantes et rédigé un magnifique rapport, qui correspondait exactement à ce que souhaitait le bailleur de fonds.

De plus, Cognition AI at X est fier d'annoncer que Devin a passé un entretien d'ingénierie avec une entreprise d'IA leader dans son secteur.

Si vous êtes un nouveau programmeur et que vous vous grattez la tête face aux tâches de la partie A et que vous vous sentez impuissant, vous pourriez aussi bien envoyer les exigences des tâches à Devin, et le maître sera à vos côtés.

Après avoir testé le marché, il y a eu une compétition entre pairs. Cognition AI a demandé à Devin d'effectuer un test de référence de codage SWE-Bench pour résoudre de vrais problèmes GitHub dans des projets open source.

Devin, spécialisé dans la technologie, était totalement autonome et a résolu correctement 13,86 % d’entre eux de bout en bout.

À première vue, cela ne semble pas élevé : par rapport au meilleur score du modèle précédent de 4,8 % avec assistance, c'est déjà une énorme amélioration, et dépasse même de loin ses prédécesseurs tels que GPT-4 et Claude2.

Les quelques utilisateurs qui ont utilisé Devin jusqu’à présent en ont pour la plupart fait l’éloge.

Lors de tests réels menés par les journalistes de Bloomberg, Devin a créé un site Web à partir de zéro en seulement 5 à 10 minutes.

Au cours des mêmes 5 à 10 minutes, Devin peut créer à plusieurs reprises un jeu de tennis de table classique sur le Web.

La raison pour laquelle je parle de répétition est qu'au cours de ce processus, les journalistes de Bloomberg ont saisi plusieurs fois des mots rapides pour améliorer l'apparence du site Web, les caractéristiques physiques du tennis de table, etc. Devin a répondu à chaque demande.

L'informaticien Silas Alberti a découvert que Devin était doué pour prototyper des projets, corriger des bugs et afficher des données complexes sous forme graphique.

Il estime même que Devin ne peut plus être qualifié d '«assistant de programmation», mais plutôt d'assistant ingénieur logiciel qui travaille de manière indépendante, aidant les gens à accomplir des tâches de manière autonome et autonome.

Silas Alberti, doctorant en apprentissage automatique à l'Université de Stanford, a également commencé avec Devin. Il l'a utilisé pour créer un petit résumé de site Web SMS il y a deux semaines et l'a déployé via Twilio. L'évaluation de l'utilisation est très terre-à-terre :

Presque comme un collègue humain ! Quand Devin rencontre un problème et que je lui donne des conseils, c'est comme diriger un ingénieur junior.

Après cette expérience, le doctorant a relevé ses exigences : devenir un meilleur ingénieur afin de pouvoir diriger une équipe Devins à l'avenir.

Créé par une équipe chinoise de rêve, vaincre le code n'est pas la fin

L'IA cognitive derrière Devin est comme une montagne sortant du sol, elle a été créée il y a seulement 2 mois.

Les 10 salariés n’ont même pas de bureau fixe, voyageant entre Airbnb dans la Silicon Valley et bureaux à New York.

Mais c’est une telle entreprise qui a levé 21 millions de dollars d’investissement et est devenue populaire du jour au lendemain.

L'équipe de Cognition AI ne compte actuellement que 10 personnes, avec de nombreux visages chinois et une densité de talents trop élevée : expérience professionnelle dans de grandes entreprises telles que DeepMind et Waymo, et 10 médailles d'or à l'Olympiade internationale d'informatique. Il y a trois fondateurs principaux.

Le PDG Scott Wu, 27 ans, et son frère Neal Wu travaillent également chez Cognition AI. Tous deux ont participé à des concours internationaux de programmation depuis leur adolescence. Leurs capacités sont très connues dans les milieux professionnels, permettant même au National Programming des États-Unis Équipe pour surpasser la Chine et l’Europe de l’Est.

Steven Hao, directeur de la technologie, a déjà été ingénieur senior chez Scale AI, une startup responsable de la formation des systèmes d'IA.

Walden Yan, directeur des produits, a étudié à l'Université Harvard et est soupçonné d'avoir abandonné ses études.

Scott Wu estime que l'expérience des Olympiades est l'avantage de son équipe.

Enseigner des compétences en programmation à l’IA est essentiellement un défi algorithmique complexe, permettant au système de prendre des décisions complexes et de prédire la meilleure voie à suivre, à l’instar des problèmes qu’il résout dans les compétitions.

Scott Wu l'a même exprimé d'une manière très romantique : c'est comme un jeu auquel ils jouent dans leur tête depuis des années.

Cependant, avant de devenir une grande entreprise, elle a souffert des maladies des grandes entreprises. Semblable à OpenAI, de plus en plus fermé, Cognition AI ne divulgue pas de détails techniques au public, ni ne révèle si elle construit son propre modèle ou s'appuie sur des modèles existants. des modèles.

Ils ont simplement déclaré de manière générale qu'ils avaient trouvé un moyen de combiner de grands modèles de langage tels que GPT-4 avec une technologie d'apprentissage par renforcement, donnant à Devin plusieurs capacités.

Premièrement, Devin a réalisé des percées dans le raisonnement et la planification à long terme. Il est capable de planifier et d'exécuter des tâches d'ingénierie complexes qui nécessitent des milliers de décisions, de mémoriser le contexte de chaque étape et d'apprendre et de corriger en permanence les erreurs.

Avec des capacités de raisonnement, l’IA peut devenir plus humaine. Les grands modèles de langage que nous connaissons sont souvent des systèmes qui prédisent le prochain mot d’une phrase ou le prochain fragment de code sur la base de probabilités. Mais avoir la capacité de raisonner signifie que l’IA est plus proche de la façon dont les humains pensent et résolvent les problèmes.

Quant aux capacités de planification à long terme, elles déterminent en réalité l’utilité de l’IA. L'informaticien Silas Alberti a découvert que la plupart des assistants de codage déraillaient après quatre ou cinq étapes, mais que le statut de Devin était pratiquement toujours en ligne.

Bloomberg a même déclaré que Devin peut gérer en continu des centaines, voire des milliers de tâches tout en maintenant la cohérence. Cela pourrait être le « multitâche » de l'IA.

Deuxièmement, si vous voulez bien faire votre travail, vous devez d'abord affiner vos outils. Devin est équipé de tous les outils de développement courants utilisés par les programmeurs humains, notamment une interface de ligne de commande, un éditeur de code et un navigateur dans un environnement informatique sandbox.

De plus, Devin coopère activement avec les humains, rapportant en temps réel ce qu'il prévoit de faire, les commandes et les codes à utiliser et le degré d'achèvement de la tâche. Il accepte humblement les commentaires et rappelle à Devin avec des mots rapides, et il écoutera les conseils, faire les ajustements et travailler avec vous pour réaliser un projet en fonction de vos besoins.

L'effet de démonstration de Devin est assez étonnant, mais surmonter le code n'est pas la fin de Cognition AI, mais un début.

Ce que Cognition AI espère réellement résoudre, ce sont les problèmes de raisonnement, en rendant l’IA plus proche des humains, puis en réalisant des possibilités plus diverses dans un plus large éventail de disciplines.

Textes, images, vidéos, codes, qu’est-ce que l’IA ne peut pas apprendre d’autre ?

Lorsque l’IA fait plus, les humains sont chargés de superviser l’IA pour qu’elle en fasse plus

Ce n’est pas seulement l’idée de Cognition AI que les programmeurs demandent à l’IA de faire leur travail à leur place.

En juin 2021, GitHub, Microsoft et OpenAI ont lancé l'assistant de code IA « Copilot » basé sur GPT-3.

Le mois dernier, une société appelée Magic AI a levé plus de 100 millions de dollars pour concevoir ses propres modèles et la technologie sous-jacente à partir de zéro afin de former des « ingénieurs logiciels surhumains ».

Lorsque GPT-3.5 est devenu populaire pour la première fois, certaines personnes pensaient :

Lorsque vous entrez des mots d’invite, vous programmez un grand modèle de langage.

Nous pouvons arbitrairement laisser l’IA générer un morceau de texte ou une image, qui peut également être comptée, mais en même temps, la vraie programmation est devenue plus populaire grâce à l’IA, nous ramenant à un sujet familier : les emplois humains seront volés. aller?

Avec un certain optimisme, les programmeurs d’IA peuvent libérer les programmeurs de tâches fastidieuses et ennuyeuses et faire des choses plus créatives.

Et les novices qui ne connaissent rien au codage mais qui ont un cerveau peuvent également créer leurs propres sites Web, services et applications.

D’un autre côté, les pessimistes peuvent penser que les programmeurs d’IA ne font plus des programmeurs une industrie bien rémunérée. Quelqu'un dans la zone de commentaires de Cognition AI a posté un emoji fou : En tant qu'ingénieur logiciel, j'ai fini.

Andrej Karpathy, membre de l'équipe fondatrice d'OpenAI et grande figure, a également exprimé son point de vue sur X. L'automatisation du génie logiciel est similaire au processus de développement de la conduite autonome :

1. Les humains écrivent du code manuellement ; 2. GitHub Copilot complète automatiquement quelques lignes de code ; 3. ChatGPT écrit de gros blocs de code ; 4. Les différences de code sont de plus en plus grandes, comme le style Cursor copilot++ ; 5…….

Dans ce processus, l’IA fait plus et les humains moins, mais joue toujours un rôle de supervision.

En raison de l'émergence de Devin, les outils dont les développeurs ont besoin pour écrire du code, notamment les terminaux, les navigateurs, les éditeurs de code, etc., peuvent changer considérablement et le niveau d'abstraction de la supervision manuelle deviendra de plus en plus élevé.

Cependant, ne vous réjouissez pas trop tôt : il reste encore beaucoup de travail à faire en termes d’IA, d’interface utilisateur et d’expérience. La manière dont les humains supervisent, comment déboguer les erreurs, comment guider l’IA et comment utiliser le langage naturel pour proposer des commandes avancées attendent toujours des réponses.

François Chollet, maître du deep learning, a une vision de plus en plus pointue : le génie logiciel ne consiste pas à copier-coller du code, mais à développer et exploiter des modèles mentaux de problèmes et de leurs solutions. Devin n'a pas encore atteint ce niveau.

Une révolution dans le génie logiciel est peut-être à nos portes. Au moins pour l'instant, l'IA ne peut pas remplacer complètement les humains. Parce que l'accès était trop populaire, le site officiel de Cognition AI a été indisponible pendant un certain temps. Il semble que l'IA soit toujours incapable de créer des pages Web qui ne planteront pas.

En parallèle, Cognition AI recrute toujours, à la recherche d’ingénieurs logiciels et de chercheurs en machine learning. On peut constater qu’à l’heure actuelle, les excellents programmeurs humains sont plus rares que jamais et qu’ils peuvent encore faire de grandes choses, contribuer à l’IA et laisser derrière eux d’autres de leur espèce.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo