Apple Intelligence agit comme un agent d’IA personnel dans toutes vos applications

Lors du discours d'ouverture de la Worldwide Developers Conference (WWDC) de l'année dernière, les dirigeants d'Apple n'ont mentionné l'expression « IA » exactement aucune fois . Oh, quelle différence un an fait. Lundi, lors de la WWDC 2024 , le vice-président principal de l'ingénierie logicielle, Craig Federighi, a dévoilé Apple Intelligence, un nouveau système d'IA « composé de grands modèles de langage et de diffusion hautement performants, spécialisés pour vos tâches quotidiennes » qui aura un impact et dynamisera les applications sur toute la gamme d'appareils de l'entreprise. .

"C'est un moment sur lequel nous travaillons depuis longtemps", a déclaré Federighi. « L’intelligence Apple est le système d’intelligence personnelle qui place de puissants modèles génératifs au cœur de votre iPhone, iPad et Mac. Il s’appuie sur votre contexte personnel pour vous donner de l’intelligence. Le système d’apprentissage automatique promet de permettre à vos appareils mobiles et portables de « comprendre et créer du langage, ainsi que des images, et de prendre des mesures pour simplifier les interactions entre vos applications ».

Par exemple, Apple Intelligence permettra à votre iPhone de donner la priorité aux notifications système spécifiques afin de minimiser les distractions pendant que vous vous concentrez sur une tâche. Les nouvelles aides à la rédaction IA peuvent relire vos travaux, les réécrire sur commande et résumer le texte pour vous. Ceux-ci seront disponibles sur une variété d'applications système, notamment Mail, Notes, Safari et Pages, ainsi que sur des applications tierces, a expliqué Federighi.

De plus, Apple Intelligence peut exploiter ses capacités de vision par ordinateur pour créer des images entièrement nouvelles à partir de photos déjà présentes sur la pellicule. Par exemple, "lorsque vous souhaitez un joyeux anniversaire à un ami, vous pouvez créer une image de lui entouré de gâteaux, de ballons et de fleurs pour le rendre encore plus festif", a déclaré Federighi. "Et la prochaine fois que vous direz à maman qu'elle est votre héroïne, vous pourrez envoyer une image d'elle dans une cape de super-héros pour vraiment faire comprendre votre point de vue." L'utilisateur peut même choisir entre un trio de genres artistiques dans lesquels afficher les œuvres générées : croquis, illustration et animation.

La plus grande fonctionnalité d'Apple Intelligence, cependant, sera sa capacité à interagir avec les différentes applications d'un appareil au nom de l'utilisateur, en exploitant les données personnelles de l'utilisateur pour rationaliser les actions quotidiennes. Par exemple, les utilisateurs pourront trouver des photos de groupes et d'individus spécifiques dans leur pellicule en décrivant simplement la prise de vue et les personnes qui y figurent. Ou, plutôt que de fouiller dans vos e-mails ou vos messages pour trouver le fichier qu'un collègue a précédemment partagé, les utilisateurs peuvent simplement dire : « récupérez les fichiers que Joz a partagés avec moi la semaine dernière ».

Le système est « fondé sur vos informations personnelles et votre contexte, avec la capacité de récupérer et d’analyser les données les plus pertinentes de vos applications, ainsi que de référencer le contenu sur votre écran », a déclaré Federighi . C'est ce qui permet au système de prédire avec précision si une réunion d'affaires reprogrammée pourrait empêcher l'utilisateur d'être en retard pour assister au récital de danse de son enfant. Comme l'a illustré Federighi, Apple Intelligence « comprendra qui est ma fille, les détails de la pièce qu'elle a envoyés il y a plusieurs jours, l'heure et le lieu de ma réunion, ainsi que le trafic prévu entre mon bureau et le théâtre ».

Certains utilisateurs pourraient pâlir à l'idée de fournir à Apple Intelligence un tel degré d'accès à leurs données personnelles (et à celles de leurs enfants). Apple a pris des mesures extraordinaires pour garantir que les informations restent confidentielles. La plupart des opérations d'Apple Intelligence se déroulent sur l'appareil, alimenté par les dernières générations de processeurs A17 et de la famille M de l'entreprise, a déclaré Federighi. "Il connaît vos données personnelles, sans collecter vos données personnelles", a-t-il ajouté.

Toutes les opérations qui doivent être effectuées dans le cloud seront effectuées sur les centres de données de calcul cloud d'Apple exécutant le silicium Apple. Ainsi, plutôt que d'utiliser les cloud publics d'hyperscalers comme Google Cloud, Microsoft Azure ou AWS d'Amazon, Apple a construit son propre silo de données privé pour gérer uniquement ces requêtes de calcul d'apprentissage automatique.

"Lorsque vous faites une demande, Apple Intelligence analyse si elle peut être traitée sur l'appareil", a expliqué Federighi. "S'il a besoin d'une plus grande capacité de calcul, il peut s'appuyer sur un cloud privé et envoyer uniquement les données pertinentes à votre tâche pour être traitées sur les serveurs Apple Silicon."

"Vos données ne sont jamais stockées ni rendues accessibles à Apple", a-t-il poursuivi. "Il est utilisé exclusivement pour répondre à votre demande et, tout comme votre iPhone, des experts indépendants peuvent inspecter le code qui s'exécute sur ces serveurs pour vérifier cette promesse de confidentialité." En fait, a-t-il expliqué, l'appareil mobile ou portable d'un utilisateur ne se connectera même pas à un serveur à moins que son logiciel n'ait été enregistré publiquement pour inspection par un expert.

Alors que d'autres sociétés dans le domaine en plein essor de l'IA se sont efforcées d'intégrer des opérations d'apprentissage automatique dans leurs produits existants et de les rendre publics le plus rapidement possible ( avec des résultats parfois désastreux) , Apple a adopté une approche beaucoup plus mesurée dans le développement et la distribution de ses produits. propres capacités d’IA.

"Nous restons très optimistes quant à notre opportunité dans l'IA générative et nous réalisons des investissements importants", a déclaré le PDG d'Apple, Tim Cook, à Reuters dans une interview en mai . Il n’a pas tardé à souligner qu’Apple a dépensé 100 milliards de dollars en recherche et développement en matière d’IA au cours des cinq dernières années.

Bien que l'IA n'ait pas été mentionnée directement dans le discours d'ouverture de l'année dernière, la société a déployé un certain nombre de fonctionnalités améliorées par l'apprentissage automatique au cours de la WWDC 2023. Celles-ci incluent la vidéo en direct de l'écran de verrouillage, « esquiver la correction automatique », les invites d'écriture personnalisées de l'application Journal, le Le test de myopie de l'application Health et la capacité des AirPod à régler les paramètres de lecture en fonction des conditions environnementales dominantes, entre autres.

Apple Intelligence sera disponible pour essai plus tard cet été.