L’avenir de l’IA de l’iPhone est devenu beaucoup plus intéressant

Il n'y a pas si longtemps, la rumeur disait qu'Apple travaillait en interne sur quelque chose appelé Apple GPT , un chatbot basé sur le propre modèle d'IA de l'entreprise dans le but d'émuler ce que fait ChatGPT d'OpenAI . Dans les mois qui ont suivi, nous avons vu des produits d'IA générative apparaître partout, des téléphones Google Pixels et Galaxy S24 de Samsung à un nouveau venu comme le Nothing Phone 2a .

Pendant ce temps, tout ce que nous avons reçu d’Apple étaient des affirmations vagues mais audacieuses. Le PDG d'Apple, Tim Cook, a déclaré aux investisseurs que la poussée de l'IA générative d'Apple « innoverait » lorsqu'elle arriverait plus tard cette année. Cependant, il semble qu’Apple bénéficiera de l’aide de Google pour réaliser ces rêves. Ou peut-être même qu’OpenAI viendra à la rescousse.

Selon Bloomberg , Apple serait en pourparlers avec Google pour obtenir une licence pour les modèles Gemini AI pour les iPhones. Cela ressemble à la même stratégie suivie par Samsung pour les téléphones de la série Galaxy S24 , qui peuvent exécuter le modèle Gemini Nano de Google sur l'appareil, tandis que des versions plus puissantes sont disponibles sur le cloud.

Les termes de l'accord n'ont pas encore été finalisés, car les discussions seraient en pleine évolution. Cependant, Apple serait également en pourparlers avec OpenAI. Pour rappel, les technologies de base d'OpenAI, telles que le modèle GPT-4 et Dall-E, sont actuellement disponibles dans la suite de produits Microsoft et via des applications et services autonomes comme ChatGPT Plus . Il s’agit d’une évolution intéressante dans les ambitions d’Apple en matière d’IA – et qui m’excite et m’inquiète à la fois.

Le parcours de l'IA d'Apple (jusqu'à présent)

Au cours du dernier mois de 2023, sans grande fanfare,Apple a présenté une série de bibliothèques de modèles et de frameworks sous le groupe MLX conçus pour fonctionner sur son silicium propriétaire. Cette décision est sur le point d'introduire des capacités d'IA générative dans la série Mac, à l'instar des efforts de Qualcomm avec sa plate-forme Snapdragon X Elite.

Au début de cette année, la division de recherche d'Apple a dévoilé un article sur un outil d'IA générative nommé Keyframer , permettant aux utilisateurs de produire du contenu animé. Il est fondamentalement basé sur le modèle GPT-4 d'OpenAI, mais il intègre des graphiques vectoriels pour le traitement des images fixes.

En outre, les experts d'Apple ont également publié un document de recherche décrivant un outil d'IA qui facilite l'édition d'images grâce à de simples instructions verbales. Cette fonctionnalité ressemble à la boîte à outils d'édition multimédia à assistance vocale vantée par les dernières puces Snapdragon de Qualcomm.

Un rapport ultérieur de Bloomberg a souligné qu'Apple avait renforcé son équipe dédiée chargée d'examiner les fonctionnalités d'IA générative, dans le but principal de rendre ces outils accessibles aux développeurs d'ici 2024.

Selon la rumeur, le premier lot de fonctionnalités d'IA générative d'Apple fera ses débuts avec iOS 18, qui devrait être dévoilé en juin. Mais selon le dernier rapport de Bloomberg, ces fonctionnalités sont orientées vers les systèmes natifs sur l'appareil et non vers les installations d'IA vraiment génératives qui sont généralement connectées au cloud, comme celles fournies par ChatGPT, Gemini ou Perplexity.

En septembre, The Information a révélé qu'Apple développait des « modèles de base » visant à améliorer Siri. Cette initiative est censée être similaire à la façon dont Gemini fait progresser Google Assistant.

Que pourrait faire Gemini sur les iPhones ?

Désormais, Gemini apporte une tonne de fonctionnalités à un téléphone lorsqu'il fonctionne localement et lorsqu'il est connecté à Internet. Lorsqu'il est implémenté sur l'appareil, comme c'est le cas avec le Google Pixel 8 Pro , il peut résumer les conversations dans l'application Recorder même lorsque le téléphone est hors ligne.

Pour les utilisateurs de l'application clavier Gboard, Gemini Nano apporte Smart Reply, en commençant par des applications comme WhatsApp. En un mot, il lit votre conversation et suggère en conséquence des réponses en fonction du contexte. L'IA sur l'appareil ajoute également des traductions hors ligne, une fonctionnalité déjà disponible sur les téléphones de la série Samsung Galaxy S24 prêts pour Gemini.

À l'heure actuelle, avec l'application Gemini installée sur un téléphone, elle peut accomplir les tâches suivantes.

• Tout comme Google Assistant ou ChatGPT, vous pouvez engager des conversations en langage naturel avec Gemini et obtenir de l'aide pour rédiger, trouver des idées, et bien plus encore.
• Résumez rapidement les informations contenues dans vos e-mails ou fichiers après avoir activé l'extension Workspace. Les informations peuvent être résumées sous des formats tels que des listes, des graphiques et des tableaux.
• Générez des images à l'aide d'invites de texte à la manière du moteur Dall-E d'OpenAI.
• Obtenez de l'aide pour utiliser votre appareil photo de nouvelles façons. Dans l'application Gemini, pointez la caméra vers une scène et demandez à l'IA des informations sur les objets dans le cadre.
• Comprenez ce qui est sur votre écran. Invoquez Gemini avec une commande « Hey Google » pour faire le travail. Par exemple, il peut résumer l’article que vous lisez actuellement.
• Utilisez Google Maps et Google Flights pour planifier des voyages et même créer des routines personnalisées.

Comment un accord Apple-Google AI pourrait se dérouler

Comme mentionné ci-dessus, Samsung a travaillé en étroite collaboration avec Google pour faire fonctionner le modèle Gemini Nano AI sur ses téléphones phares. Mais Gemini ne se limite pas aux produits phares. En février de cette année, MediaTek a annoncé que son silicium Dimensity 8300 de milieu de gamme est désormais optimisé pour Google Gemini aux côtés du produit phare Dimensity 9300 .

Faire quelque chose de similaire pour Apple ne devrait pas être très compliqué. Si un accord de licence sur appareil ne fonctionne pas, il reste toujours la voie à suivre pour postuler. Pour l’instant, on ne sait pas exactement quelle stratégie Apple met en œuvre, en supposant que l’accord soit conclu en premier lieu.

La plus grande question est de savoir si un accord de licence Gemini changera de manière significative la façon dont les utilisateurs interagissent avec leurs iPhones. Et plus important encore, les Gémeaux favoriseront-ils un changement pour Siri ? Pour parler franchement, Siri a encore beaucoup de chemin à parcourir avant de pouvoir rattraper Google Assistant.

Mais même Google n’a pas vraiment compris où Gemini existe, ni remplace Google Assistant dans son intégralité. À l'heure actuelle, lorsque vous installez Gemini sur un téléphone Android , il remplace Google Assistant. Ou du moins, il essaie de le faire.

Votre téléphone s'appuie toujours sur Google Assistant pour un large éventail de tâches banales mais significatives, comme passer un appel, régler une alarme, envoyer un message, contrôler les appareils domestiques intelligents et créer des entrées de calendrier. De même, pour la navigation, la saisie vocale dans Gboard et Android Auto, Google Assistant est toujours la fidèle IA, pas Gemini.

De plus, Google Assistant reste le compagnon incontournable de l’IA sur les écrans intelligents et les montres intelligentes Wear OS. Compte tenu de la façon dont Apple imbrique étroitement ses logiciels dans l'écosystème matériel, en particulier entre les iPhones et l'Apple Watch, une approche échelonnée dans laquelle Gemini, Google Assistant et/ou Siri n'assument qu'une part des responsabilités va créer beaucoup de confusion pour un utilisateur moyen.

Alternativement, Apple pourrait travailler en étroite collaboration avec Google et créer des intégrations exclusives, liant Gemini aux fonctionnalités de l'écosystème Apple telles que Siri, Mail, Notes, Safari, Calendrier, Santé, etc. Cependant, étant donné l'état actuel des politiques de stockage de données de Gemini, nous ne retenons pas notre souffle pour une intégration aussi étroite au niveau du système.

Les risques de Gemini pour Apple

Bien sûr, Apple a raté la première vague d’IA générative sur les smartphones, et si l’on en croit les rapports, l’entreprise travaille frénétiquement pour rattraper son retard. Mais un accord de licence Gemini signifie également que nous ne verrons peut-être jamais le propre travail d'Apple sur le développement de l'IA générative dans le cadre du projet « Ajax ». Ou peut-être que nous ne le verrons que sous une forme diluée pendant que Gemini fait le gros du travail de l’IA sur les iPhones.

Mais les Gémeaux ne sont pas sans défauts. Au contraire, il a échoué de manière plus étonnante que tout autre outil d’IA générative grand public. Il y a quelques semaines, les utilisateurs de Gemini ont remarqué qu'il produisait des images extrêmement inexactes, en particulier une mauvaise gestion du teint, de l'origine ethnique et de l'exactitude historique.

La controverse s'est intensifiée au point que Google a suspendu la création de texte en image pour Gemini. "Pour être clair, c'est totalement inacceptable et nous nous sommes trompés", a écrit le PDG de Google, Sundar Pichai, dans une note interne rapportée par NPR .

De l'autre côté de l'Atlantique, Gemini s'est retrouvé embourbé dans une autre controverse lorsque ses remarques concernant le Premier ministre indien Narendra ont été jugées désobligeantes et sont devenues virales sur les réseaux sociaux. "Dire simplement '… désolé, cela n'a pas été testé' n'est pas conforme à nos attentes en matière de respect de la loi", a averti (via NDTV ) le ministre indien de l'Union, Rajeev Chandrasekhar.

La controverse a une fois de plus placé la réglementation de l'IA dans le débat et un avis a également été publié à l'intention des principaux acteurs de l'IA, les obligeant à obtenir une approbation explicite avant que des outils comme Gemini ne soient rendus publics.

Pour une entreprise qui joue aussi prudemment avec les réglementations gouvernementales qu'Apple, l'octroi de licences Gemini pour des centaines de millions d'appareils dans le monde ne représente pas un mince risque. Surtout lorsque Google lui-même prévient que « les Gémeaux feront des erreurs » et dit que vous devez toujours vérifier les inexactitudes.