Android fait l’objet d’une refonte de l’IA. Voici à quoi ça ressemble

Lors de Google I/O 2024 , Google a présenté de nombreuses nouvelles améliorations à venir sur Android, grâce à Gemini. Avec Gemini, Android sera conscient du contexte à l'écran dans une variété de scénarios, ce qui vous facilitera grandement la vie. Du moins, selon Google.

Circle to Search , qui a été présenté pour la première fois lors de l'événement Galaxy Unpacked de Samsung plus tôt cette année, bénéficiera de nouvelles améliorations. Désormais, Circle to Search sera un nouveau compagnon d'étude formidable pour les étudiants. Pourquoi? Parce qu’il pourra aider aux devoirs, comme la physique et les mathématiques. Vous pouvez simplement encercler une invite sur l'écran et elle vous donnera des instructions étape par étape sur la façon de la résoudre.

Cette nouvelle fonctionnalité pour Circle to Search sera disponible aujourd'hui. D’ici la fin de l’année, il devrait être disponible sur plus de 200 millions d’appareils.

L'un des principaux objectifs de Gemini est de savoir comment il sera conscient du contexte de ce qui se trouve sur votre écran. Par exemple, Gemini peut générer une image liée à un message texte et elle peut être insérée directement dans la conversation. Vous pouvez également poser des questions spécifiques à Gemini sur une vidéo que vous regardez actuellement ou même sur de longs fichiers PDF afin de ne pas avoir à faire défiler plusieurs pages. Cette fonctionnalité sera déployée sur les appareils au cours des prochains mois.

Les capacités multimodales de Gemini Nano seront disponibles pour Google Pixel plus tard cette année. Grâce à cette fonctionnalité, votre smartphone sera capable de traiter du texte et de comprendre davantage d'informations dans certains contextes tels que les sons, les soupirs et la langue parlée.

Une fonctionnalité d'accessibilité améliorée avec Gemini est TalkBack. Il s’agit d’une fonctionnalité conçue pour les personnes aveugles ou malvoyantes. TalkBack permet aux utilisateurs d'obtenir des descriptions plus riches et plus claires de ce qui se passe dans une image. Cette mise à jour Gemini de TalkBack remplira davantage d'informations manquantes, comme des détails sur le contenu d'une photo de famille ou même la coupe de vêtements lors d'un achat en ligne. Aucune connexion de données n'est nécessaire puisque Gemini Nano est sur l'appareil.

Gemini contribuera également à prévenir les appels frauduleux. Gemini Nano peut fournir des alertes en temps réel lors d'un appel s'il est capable de détecter des modèles de conversation généralement associés aux escroqueries. Par exemple, lorsqu'un « représentant de la banque » vous demande de transférer des fonds, d'effectuer un paiement avec des cartes cadeaux ou de fournir des informations personnelles.

Lorsque Gemini Nano détecte ces phrases, il vous envoie une alerte à l'écran pendant que vous êtes en communication avec quelques informations, comme vous indiquant que les banques ne vous demanderont jamais de transférer de l'argent.

Ce n'est que le début des améliorations à venir sur Android 15 .