C’est la seule fonctionnalité d’IA de Google I/O 2024 que j’ai hâte d’utiliser

Le discours principal d'I/O 2024 de Google était rempli d'une tonne de nouvelles fonctionnalités d'IA qui arriveront sur les ordinateurs de bureau et les mobiles, grâce à Gemini. Il y aura de nouvelles façons de rechercher sur Google via des requêtes vidéo et multimodales, tandis que les smartphones obtiendront éventuellement des super pouvoirs d'IA grâce à la caméra avec le projet Astra .

Mais il y a une fonctionnalité qui m'a vraiment marqué : demander des photos avec Gemini dans Google Photos.

Tout d’abord, qu’est-ce que les Gémeaux ?

Tout d’abord, qu’est-ce que les Gémeaux ? Il s'agit essentiellement de la famille de modèles d'IA de Google, qui comprend Gemini Nano, Gemini Pro et Gemini Ultra. En bref, c'est la version Google d'OpenAI et ses propres modèles GPT, comme ChatGPT .

Gemini peut comprendre et générer du texte comme d'autres grands modèles de langage (LLM), tels que le GPT d'OpenAI. Cependant, Gemini peut faire un peu plus : il comprend, exploite et combine d'autres formes d'informations telles que les images, la vidéo, l'audio et même le code.

Pour les smartphones Android , il utilise Gemini Nano , qui fonctionne localement sur l'appareil lui-même. Grâce au modèle Gemini Nano , les fonctionnalités existantes telles que Circle to Search seront encore améliorées avec la possibilité d'aider les étudiants dans leurs devoirs de physique et de mathématiques.

Il sera également encore plus sensible au contexte de ce qui est actuellement sur votre écran, car vous pourrez poser des questions à Gemini sur une vidéo que vous regardez ou un long PDF que vous parcourez plutôt que de faire défiler des dizaines de pages. Gemini Nano apportera même des fonctionnalités multimodales à votre smartphone, comme des requêtes de recherche avec plusieurs requêtes en une seule.

Ask Photos with Gemini est l’une des nombreuses nouvelles fonctionnalités Gemini annoncées lors de l’I/O 2024, et elle sera disponible dans Google Photos plus tard cette année. Pour faire court, vous pouvez effectuer une recherche dans votre immense bibliothèque de photos avec une approche plus conversationnelle plutôt que par mots-clés.

Dans la démo Google I/O, Google a montré que vous pouvez simplement demander : « Quelle est ma plaque d'immatriculation, déjà ? » ou "Quand ma fille a-t-elle appris à nager ?" pour afficher des photos qui répondent à ces demandes.

Cela va même plus loin avec des demandes telles que « Montrez-moi comment ma fille a progressé en natation ». Des requêtes comme celle-ci obligent les Gémeaux à examiner vos photos par date et par contexte pour obtenir un résultat approprié.

Alors que Ask Photos with Gemini était présenté sur scène, j'étais excité et j'ai hâte de mettre la main dessus.

Le compagnon IA d'un parent

Je ne suis maman que depuis un peu plus de deux ans. Mais depuis, j'ai pris plus de photos que jamais parce que j'aime capturer tous les petits moments de ma fille, qu'il s'agisse simplement du fait qu'elle soit mignonne et idiote ou de ces étapes importantes que je souhaite capturer dans une photo ou une vidéo. Avec un iPhone 15 Pro de 1 To et les innombrables téléphones Android que je teste, je prends toujours des photos de ma fille.

Vous pensez peut-être que c'est exagéré – peut-être que c'est le cas. Mais je n'ai pas beaucoup de photos, encore moins de vidéos, de mon enfance de la part de mes parents. Ils n’ont pas vraiment capturé tous mes moments privilégiés et je n’ai que de vagues souvenirs, rien de très détaillé ou spécifique. Avec toute la technologie dont nous disposons actuellement, cela m’a aidé à m’assurer que ma fille aura une preuve visuelle de son enfance.

Même si je prends des photos et des vidéos à partager avec les membres de ma famille et certains amis, je capture principalement ces moments parce que je veux y revenir plus tard. Que je cherche simplement un remontant rapide pour me faire sourire ou que je sois une vieille dame sénile et que j'ai besoin de remonter le temps, je passe beaucoup en revue mes souvenirs visuels.

Avec Ask Photos with Gemini, j'ai hâte de lui demander de me montrer les progrès de ma fille face à divers événements de la vie. Par exemple, nous la commencerons à la maternelle en août. J'adorerais demander à Gemini de me montrer ses progrès tout au long de l'école ou simplement de me montrer tous ses « premiers jours » pour chaque année scolaire. Ou quand elle apprend à faire du vélo, je pourrais voir ses progrès passer des roues d'entraînement au vélo complet. Bon sang, les Gémeaux pourraient même me montrer quand ma fille souffle les bougies de son gâteau d'anniversaire chaque année.

Il y a tellement de possibilités pour moi d'utiliser Ask Photos, mais ce ne sont là que quelques idées qui me viennent à l'esprit. Et même si c'est idéal pour les parents pour les étapes importantes de leurs enfants, c'est également idéal pour d'autres choses. Je me vois l'utiliser pour mes anniversaires, mes vacances et même mes animaux de compagnie.

Bien sûr, je pourrais maintenant parcourir toutes mes photos et effectuer une recherche avec des visages et des mots-clés. Mais Ask Photos with Gemini semble être un moyen beaucoup plus simple, plus rapide et plus naturel de le faire. Et lorsque vous disposez d’une photothèque de plus de 50 000 photos et vidéos, eh bien, je pourrais utiliser un moyen plus simple pour y effectuer une recherche.

J'ai hâte de l'utiliser

Ask Photos n'est pas la seule fonctionnalité Gemini AI que Google a présentée lors de Google I/O 2024. Et même si c'est celle qui me passionne le plus en raison de son aspect pratique, il y a d'autres choses intéressantes que je souhaite également découvrir.

Par exemple, le projet Astra semblait intrigant. J'utilise souvent mon téléphone pour prendre une photo de quelque chose que je souhaite conserver pour plus tard et en savoir plus, comme des plantes et des fleurs. Mais avec Astra, vous aurez cette bonté de l’IA directement dans la caméra, et elle pourra vous indiquer ce que vous regardez en temps réel. Et bien que Google n'ait pas annoncé de lunettes intelligentes , le projet Astra a montré que ce serait une fonctionnalité incroyable à avoir dans les lunettes intelligentes à un moment donné.

J'ai également hâte de consulter les requêtes d'invite multimodales dans la recherche Google optimisée par Gemini. Je ne suis pas le genre de personne à aimer planifier quoi que ce soit, donc si Google peut faire le travail à ma place, alors je suis tout à fait d'accord. Et même si je ne pense pas que les alertes d'arnaque en temps réel me seront très utiles (de toute façon, je ne réponds jamais au téléphone), elles seront une fonctionnalité très utile pour d'autres.

Ask Photos with Gemini devrait faire son chemin dans Google Photos plus tard cet été, et j'ai hâte de l'essayer.