Nvidia et Microsoft résolvent un gros problème avec Copilot+
Lorsque Microsoft a annoncé les PC Copilot+ il y a quelques semaines, une question régnait en maître : pourquoi ne puis-je pas simplement exécuter ces applications d'IA sur mon GPU ? Au Computex 2024 , Nvidia a enfin apporté une réponse.
Nvidia et Microsoft travaillent ensemble sur une interface de programmation d'application (API) qui permettra aux développeurs d'exécuter leurs applications accélérées par l'IA sur des cartes graphiques RTX. Cela inclut les différents modèles de petit langage (SLM) qui font partie du runtime Copilot, qui servent de base à des fonctionnalités telles que le rappel et les sous-titres en direct.
Avec la boîte à outils, les développeurs peuvent autoriser les applications à s'exécuter localement sur votre GPU au lieu du NPU. Cela ouvre la porte non seulement à des applications d'IA plus puissantes, car les capacités d'IA des GPU sont généralement supérieures à celles des NPU, mais également à la possibilité de fonctionner sur des PC qui ne relèvent pas actuellement de Copilot+.
C'est une excellente initiative. Les PC Copilot+ nécessitent actuellement une unité de traitement neuronal (NPU) capable d'effectuer au moins 40 opérations téra par seconde (TOPS). Pour le moment, seul le Snapdragon X Elite répond à ce critère. Malgré cela, les GPU ont des capacités de traitement IA beaucoup plus élevées, avec même des modèles bas de gamme atteignant 100 TOPS, et des options haut de gamme allant encore plus loin.
En plus de fonctionner sur le GPU, la nouvelle API ajoute des fonctionnalités de génération augmentée par récupération (RAG) au runtime Copilot. RAG donne au modèle d'IA accès à des informations spécifiques localement, lui permettant de fournir des solutions plus utiles. Nous avons vu RAG en plein écran avec le chat de Nvidia avec RTX plus tôt cette année.
En dehors de l'API, Nvidia a annoncé le RTX AI Toolkit au Computex. Cette suite de développeurs, arrivée en juin, combine divers outils et SDK permettant aux développeurs d'ajuster les modèles d'IA pour des applications spécifiques. Nvidia affirme qu'en utilisant le RTX AI Toolkit, les développeurs peuvent créer des modèles quatre fois plus rapides et trois fois plus petits par rapport à l'utilisation de solutions open source.
Nous assistons à une vague d'outils permettant aux développeurs de créer des applications d'IA spécifiques pour les utilisateurs finaux. Une partie de cela apparaît déjà dans les PC Copilot+, mais je pense que nous verrons beaucoup plus d'applications d'IA à ce stade l'année prochaine. Après tout, nous avons le matériel nécessaire pour exécuter ces applications ; maintenant nous avons juste besoin du logiciel.