Google apporte des super pouvoirs d’IA à l’appareil photo de votre smartphone, et cela semble ridicule

Il semble que les assistants IA soient anciens, ou c'est ce que Google veut vous faire croire, car nous sommes à l'ère des agents IA – et Google I/O 2024 l'a rapidement prouvé. Dites bonjour au Projet Astra, un agent d'IA génératif doté de capacités de vision, de texte et de parole, accompagné d'une pincée de capacités de mémoire et de conscience spatiale.

Considérez-le comme des yeux pour votre téléphone qui peuvent donner un sens au monde qui vous entoure. Pointez-le sur une équation mathématique et il la résoudra. Pointer la caméra vers un chat ? Astra suggérera un nom approprié pour le miaou félin. Demandez-lui où vous avez laissé vos écouteurs, et si le capteur de la caméra les a vus, il dira quelque chose comme : « Vous les avez laissés sur le canapé ».

Astra peut donner un sens au code apparaissant sur un écran, identifier des objets et expliquer ce qu'ils font, identifier des bâtiments, et bien plus encore. Considérez-le comme Google Lens, mais pour le monde entier, et peut donner un sens à presque tout ce qui se trouve devant l'objectif de l'appareil photo.

Contrairement à Google Assistant, vous n'avez pas besoin de le demander. Pointez simplement la caméra vers n'importe quoi, prononcez la requête audio et Astra vous expliquera dans une réponse en langage naturel. Google indique que le projet Astra sera déployé via l'application Gemini plus tard cette année.

Un agent IA qui voit tout ?

Si le projet Astra vous semble familier, c'est parce qu'OpenAI a présenté une fonctionnalité similaire pour ChatGPT – optimisée par le nouveau modèle GPT-4o – il y a à peine un jour. L'outil d'OpenAI est actuellement en phase de red-teaming pour les tests de sécurité et sera publié progressivement, en commençant par les abonnés ChatGPT Plus.

Google ne dira pas si Astra aura un prix. Mais étant donné la quasi-spontanéité des réponses, le type de traitement des données visuelles impliqué et les capacités génératives nécessaires pour offrir une réponse significative, il est peu probable qu'Astra soit proposé comme un avantage gratuit en raison des exigences de calcul.

Le meilleur exemple serait l’abonnement Google One AI Premium, qui cache déjà certaines des nouvelles expériences basées sur Gemini derrière un paywall. Mais jusqu'à présent, Astra semble être l'innovation en matière d'IA la plus étonnante que Google ait présentée depuis qu'il a épaté le monde avec les capacités de Duplex il y a quelques années.