Microsoft Copilot Vision transforme la caméra de votre téléphone en un outil de recherche visuelle interactif

À la fin de l'année dernière, Microsoft a introduit une nouvelle fonctionnalité d'IA appelée Copilot Vision pour le Web, et elle est désormais disponible sur les appareils mobiles . Cette fonctionnalité s'intègre à l'appareil photo de votre téléphone pour créer des expériences interactives dans le monde réel, lui permettant d'analyser en temps réel les vidéos et les photos stockées sur votre appareil.

Copilot Vision sur mobile améliore les fonctionnalités en permettant à l'assistant IA de « voir » et d'interpréter divers contenus. Qu'il s'agisse de faire du shopping, de lire ou d'effectuer des recherches, Copilot peut fournir des informations supplémentaires et vous aider à naviguer plus efficacement dans les tâches.

Pour utiliser Copilot Vision sur mobile, ouvrez simplement l'application Copilot, accédez à votre caméra et visualisez le monde qui vous entoure. Copilot vous proposera un contexte et des explications sur les éléments devant vous. Microsoft a fourni plusieurs cas d'usage, comme évaluer la santé des plantes ou proposer des conseils de décoration.

Êtes-vous préoccupé par la sécurité? Copilot n'accédera à la caméra de votre téléphone pour Vision que si vous donnez votre autorisation. Sinon, ce ne sera pas le cas.

Actuellement, Copilot Vision est accessible dans le mode Voix de l'application Copilot et est disponible pour les abonnés Copilot Pro aux États-Unis, avec des plans pour s'étendre à davantage d'utilisateurs à l'avenir.

Cette fonctionnalité fait partie de la vision plus large de Microsoft visant à créer une expérience d'assistant IA plus intégrée sur tous les appareils. Selon Microsoft, ces améliorations font de Copilot un élément plus personnalisé, interactif et intuitif de la vie quotidienne.

Microsoft Copilot Pro coûte 20 $ par mois. Il offre aux abonnés un accès privilégié aux modèles d'IA les plus avancés pendant les heures de pointe, des limites d'utilisation plus élevées et un accès anticipé aux fonctionnalités expérimentales.

Le 7 février 2023, Microsoft a lancé « Bing Chat » dans le cadre d'une refonte importante de Bing. Cette fonctionnalité de chatbot a été développée par Microsoft et intégrée à la fois à Bing et au navigateur Edge. Essentiellement, il s'agissait d'une évolution du chatbot Cortana, alimenté par la technologie OpenAI.

En mars de la même année, Microsoft a présenté Microsoft 365 Copilot, conçu pour les applications et services Microsoft 365. L'objectif principal de son marketing était d'améliorer la productivité de l'entreprise en tant que fonctionnalité ajoutée à Microsoft 365. Cette version combinait les capacités de grands modèles de langage avec les données des applications Microsoft Graph et Microsoft 365, dans le but de « transformer vos mots en l'outil de productivité le plus puissant de la planète ».

En mars 2024, Microsoft a mis en œuvre sa première mise à niveau significative en ajoutant la prise en charge de GPT-4 Turbo. Puis, en septembre 2024, la société a fait plusieurs annonces majeures dans le cadre du déploiement de « Copilot Wave 2 », notamment l'adoption du modèle GPT-4o d'OpenAI. Ces changements continuent d'étendre les capacités de Copilot dans l'ensemble de l'écosystème Microsoft.