Google Lens fonctionne désormais avec les vidéos, et c’est super impressionnant

Google vient de présenter une nouvelle fonctionnalité de recherche vidéo Google Lens lors de Google I/O 2024 . Avec lui, vous pouvez effectuer une recherche Google simplement en enregistrant une vidéo avec votre téléphone.

Dans une démonstration sur scène présentant cette fonctionnalité, Rose Yao de Google résout certains problèmes qu'elle rencontre avec un tourne-disque qu'elle a récemment acheté. Elle ne sait pas de quelle marque ni de quel modèle il s'agit, et l'aiguille ne reste pas sur le disque pendant la lecture. Elle ne sait pas par où commencer. Avec la nouvelle recherche vidéo Google Lens, il lui suffit de prendre une courte vidéo et de la télécharger pour rechercher une réponse.

Auparavant, Google Lens capturait uniquement des images fixes, mais vous pouvez désormais poser votre question en utilisant la vidéo et l'audio. La recherche vidéo Google Lens utilise une entrée multimodale, ce qui constitue actuellement une priorité pour la recherche Google. Une fois la vidéo téléchargée, elle est décomposée image par image.

Ainsi, dans l'exemple du problème du tourne-disque, la recherche Google a pu identifier le tourne-disque spécifique en question, puis a parcouru Internet pour trouver des informations pertinentes sur la façon de résoudre le problème de l'aiguille qui ne fonctionne pas correctement. Ces informations sont ensuite intégrées à la présentation de l'IA et donnent des conseils de dépannage étape par étape.

Au cours de l'événement, Google a également présenté Google Astra , une IA générative dotée de capacités de vision, de texte et de parole qui utilise l'appareil photo de votre smartphone pour donner un sens au monde qui vous entoure. Les aperçus de l'IA de Google seront déployés à tout le monde aux États-Unis à partir d'aujourd'hui.