Un ordinateur portable exécutant des dizaines de milliards de modèles ? Pas de problème ici chez AMD

Sur la route vers l’IA PC, chaque entreprise de puces et d’équipements a peur de prendre du retard.

Dans cette compétition, l'écosystème Apple est actuellement largement en tête. Lors de l'évaluation Mac Studio de la semaine dernière, Ai Faner a déployé et exécuté avec succès les versions quantitatives DeepSeek Q4 671B et 70B localement, et les performances de débit des jetons étaient bonnes, démontrant la force de la puce M3 Ultra et jusqu'à 512 Go de mémoire unifiée.

Du côté du camp x86, AMD, « l'équipe » la plus compétitive actuellement, tente d'accélérer les dépassements.

Lors du sommet AMD AI PC Innovation qui s'est tenu le 18 mars, Jack Huynh, vice-président senior et directeur général de l'informatique et des graphiques de la société, a démontré la capacité d'exécuter de grands modèles DeepSeek sur des ordinateurs portables basés sur AMD.

Selon la démonstration sur place, un ordinateur portable équipé du processeur AMD Ryzen AI Max+ 395 a exécuté avec succès le grand modèle DeepSeek-Tongyi Qianwen Fusion 7B. La vitesse du jeton par seconde n'a pas été rendue publique, mais sur la base des résultats d'observations à l'œil nu sur site et de notre expérience passée en matière de tests sur différents modèles, la vitesse sur site devrait être d'au moins 15 tok/s.

Il convient de noter que, selon la zone de démonstration sur site, ces résultats de déploiement et d'exploitation reposent sur le logiciel AMD StrixHalo LLM, un environnement d'exploitation grand modèle développé par AMD. Selon notre compréhension, la logique derrière cela est simplement qu'AMD optimisera en interne les grands modèles pris en charge pour réduire considérablement le coût des paramètres d'activation du jeton unitaire, puis mettra en œuvre les capacités de support sur l'appareil local de l'utilisateur.

La famille de processeurs Ryzen AI Max elle-même prend également en charge des capacités d'allocation de mémoire graphique plus élevées. Nous avons vu sur place qu'AI Max prend en charge jusqu'à 96 Go d'allocation de mémoire vidéo, permettant au processeur graphique intégré d'obtenir des performances qui ne peuvent être obtenues que par des cartes graphiques indépendantes haut de gamme. Ces performances peuvent être utilisées pour l'entraînement et les calculs d'inférence de l'IA, ainsi que pour les jeux.

Après optimisation, quel que soit le nombre de paramètres, il n'y a pas lieu de s'inquiéter. Dans l'exemple de la zone de démonstration, nous voyons que la même puce mentionnée ci-dessus peut fonctionner jusqu'au modèle à grand langage Llama 3.1 70B développé par Meta sur l'ordinateur portable ASUS ROG Magic X 2025.

Bien que le nombre de paramètres soit énorme, les exigences matérielles ont été extrêmement élevées dans le passé, dépassant de loin la limite cognitive supérieure de l'industrie précédente pour les capacités de raisonnement local des appareils informatiques mobiles – les ordinateurs portables peuvent désormais exécuter facilement et en douceur de grands modèles avec des dizaines de milliards de paramètres.

L'objectif d'AMD est de garantir que les applications d'entreprise et les capacités de recherche scientifique basées sur de grands modèles puissent être étendues aux ordinateurs portables x86 et aux appareils informatiques mobiles encore plus légers. Actuellement, l'environnement PC AMD AI prend en charge de grands modèles de modèles grand public tels que DeepSeek 1.5B et 7B.

Si le portable ne suffit pas, AMD propose également aux vrais utilisateurs intensifs une solution de serveur capable d'exécuter le grand modèle à paramètres complets DeepSeek R1, avec une longueur d'avance sur Nvidia (cette dernière pourrait mettre à jour son produit modulaire de cluster informatique AI tôt demain matin).

Deux solutions différentes ont été présentées sur place : l'une est la propre solution d'AMD, basée sur le framework vllm et utilisant 8 cartes graphiques W7900/78000 qui peuvent être déployées entièrement hors ligne et localement pour protéger les droits de propriété intellectuelle et de recherche internes de l'entreprise.

La seconde est la solution aiDAPTIV+ développée conjointement par AMD et Phison Electronics. La logique générale est de permettre à la carte graphique d'étendre sa mémoire via la mémoire flash NAND, éliminant ainsi le goulot d'étranglement de la mémoire vidéo d'une seule carte. Avec les cartes graphiques AMD existantes, les capacités complètes de formation au niveau des paramètres du DeepSeek 671B peuvent également être réalisées sous une forme autonome.

Bien sûr, la plupart des gens ne sont que de purs utilisateurs d’applications d’IA, et non des développeurs. Par conséquent, AMD a également travaillé avec des partenaires OEM lors de ce sommet pour démontrer diverses formes courantes d'applications d'IA grand public.

Ce qui est très intéressant, c'est l'une des démos sur place, qui est un outil de génération d'images de grands modèles "Dream Painter" développé par Lucid Heterogeneous et basé sur la plateforme AMD Ryzen AI. Il prend en charge les modes de génération de dessins, de dessins et de dessins et peut être exécuté localement sans avoir besoin d'une connexion Internet.

Un autre exemple est l'intelligence personnelle « Xiaotian » affichée par Lenovo, qui sert de portail d'IA pour le PC. Le grand modèle derrière lui peut être formé et optimisé en fonction des données personnelles, et possède des capacités de décomposition et de planification de tâches, d'interaction naturelle, de mémoire à long terme et d'invocation d'outils au niveau du front-end.

Au cours de l'année écoulée, la technologie de l'IA s'est développée extrêmement rapidement, la limite supérieure des capacités a été continuellement augmentée et les options pour les grands modèles ont également augmenté de jour en jour. Cependant, l’industrie des PC est également confrontée à de grands défis en raison des capacités informatiques locales des appareils.

Considérant que son plus grand concurrent est actuellement confronté à des difficultés non techniques, AMD, en tant qu'autre fabricant leader de technologies informatiques sous-jacentes dans le camp x86, estime qu'il doit assumer ses responsabilités, relever les défis et diriger les changements afin que l'IA puisse réellement entrer dans des milliers de foyers et d'industries via les PC IA.

Lors du sommet, AMD a donné aux partenaires OEM une excellente occasion de s'exposer. Des partenaires écologiques, notamment Microsoft, Lenovo, Asus, Acer, HP et d'autres, ont introduit de nouveaux produits PC basés sur la dernière famille de processeurs AMD Ryzen AI.

L'étendue des choix de marques et de modèles de PC AI, les capacités informatiques à grande échelle du produit PC AI lui-même et la richesse des applications dans différents scénarios de consommation sont particulièrement importantes pour que les marques de PC et les fabricants de puces maintiennent leur part de marché à l'ère de l'IA.

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo