Des téléphones mobiles aux ordinateurs en passant par les voitures, l’IA qui ne divulgue pas de secrets est l’IA dont les temps ont besoin

Tout produit technologique possède une surface d’attaque et les grands modèles sont inévitables. Les produits modèles et les méthodes d'attaque sont toujours le flux et le reflux du « Tao » et du « Démon ».

Par exemple, l’année dernière, un article a proposé une nouvelle méthode d’attaque permettant de voler avec succès les champs envoyés par d’autres utilisateurs à de grands modèles. Cette vulnérabilité exploite le partage de cache KV, une technologie largement utilisée dans l'industrie des grands modèles de langage (LLM) et utilisée par deux cadres d'inférence traditionnels, SGLang et vLLM.

Les problèmes de sécurité de LLM ne peuvent être sous-estimés. Les fuites de données peuvent être « fatales » tant pour les utilisateurs que pour les entreprises. APPSO a mentionné dans un article précédent que de plus en plus de personnes considèrent Doubao, DeepSeek et ChatGPT comme leurs confidents, et se confient à eux et révèlent par inadvertance leurs informations personnelles privées. Une fois que LLM rencontre une fuite, les acteurs malveillants peuvent identifier des utilisateurs spécifiques et leurs identités correspondantes sur la base des données, qui peuvent être utilisées à des fins illégales.

Afin de répondre aux préoccupations en matière de confidentialité des utilisateurs d'iPhone utilisant des produits d'IA et de maintenir la cohérence de la politique de confidentialité des données de l'entreprise, Apple a annoncé un système appelé Apple PCC (Private Cloud Compute) au second semestre 24 :

Dans le scénario Apple Intelligence, lorsque la puissance de calcul côté client est insuffisante, les données utilisateur sont cryptées avec une clé privée et téléchargées sur le cloud. Le grand modèle déployé dans le module informatique privé du serveur (similaire au compartiment sécurisé de la puce iPhone) effectue une inférence cryptée et n'est que brièvement déchiffré lorsque le processus d'inférence et les résultats sont renvoyés côté client. Toutes les données sur l'ensemble de la liaison sont transférées sous forme de texte chiffré et un modèle informatique sans état est adopté pour garantir que les données sont stockées à temps zéro et détruites après utilisation.

La technologie est très bonne, mais malheureusement, en raison du statut délicat actuel d'Apple Intelligence en Chine, les utilisateurs iOS ne peuvent pas l'utiliser.

Dans le monde des produits technologiques en dehors d’iOS, une autre entreprise s’attaque également au défi du cloud computing privé :

La plate-forme Jeddak PCC (Private Cloud Computing) développée par Volcano Engine devrait être utilisée dans davantage de domaines tels que les téléphones Android, les ordinateurs PC, les véhicules à énergies nouvelles, etc., pour protéger la vie privée de milliards d'utilisateurs utilisant LLM. Les entreprises n'ont pas à s'inquiéter des fuites de données tout en augmentant l'intégration de LLM avec leurs propres scénarios.

En appliquant les capacités de la plate-forme Jeddak PCC à leurs produits matériels respectifs et à leurs piles technologiques LLM, les fabricants de matériel peuvent étendre leur engagement à protéger la confidentialité des données personnelles des utilisateurs, depuis l'appareil jusqu'au cloud.

Le LLM dans la nouvelle ère doit être grand et sûr

Récemment, Volcano Engine a annoncé un dossier de coopération pour l'inférence sécurisée d'IA dans le cloud privé/l'informatique privée basée sur Jeddak PCC. Les partenaires incluent des marques d'équipement telles que Lenovo et Nubia. Cela fait également de Jeddak PCC la première solution de cloud computing privé en Chine ciblant le marché des ordinateurs personnels et des smartphones.

Le contexte n’est pas difficile à comprendre : dans la vie quotidienne, un grand nombre d’utilisateurs et d’entreprises interagissent avec LLM sur des appareils grand public tels que les PC et les smartphones. Les utilisateurs de Lenovo effectuent des travaux basés sur du texte tels que la génération, le peaufinage, la synthèse et la réflexion approfondie de texte sur PC, tandis que les utilisateurs de Nubia utilisent des produits tels que des modèles de poufs multimodaux et Button Space Agent (agents intelligents) sur leurs téléphones mobiles.

Toutes les tâches de l’IA ne peuvent pas être accomplies localement. Pour certaines tâches qui nécessitent une réflexion approfondie, l'établissement d'une base de connaissances et les capacités des agents, la taille du modèle local est trop petite ou la puissance de calcul est insuffisante, un LLM cloud est donc requis.

Le problème est que les interactions des utilisateurs avec LLM et Agent peuvent impliquer des données confidentielles ou des informations personnelles. Cela se heurte au dilemme de la migration des données sensibles vers le cloud. Le modèle cloud est vaste, mais le fournisseur de services ne peut garantir la sécurité. Lorsque les utilisateurs se trouvent dans un environnement de travail très sensible et à haute densité, ils ne peuvent pas facilement télécharger des données vers LLM.

Les fabricants de PC et de téléphones mobiles doivent reconstruire l’architecture des produits et services d’IA pour répondre aux besoins de l’informatique confidentielle. Ils espèrent créer une plate-forme de cloud computing privé de bout en bout qui soit un processus complet et capable d'auto-certifier son innocence pour résoudre les problèmes de sécurité et de confidentialité des données LLM dans le cadre de l'informatique collaborative de bout en bout.

Il existe peu de solutions mieux adaptées à ce problème que le PCC de Jeddak. Il suffit de regarder le cas typique suivant :

Supposons qu'un chercheur en entreprise rédige un article et envisage de le soumettre à une revue de premier plan, mais qu'il doive utiliser un outil LLM pour peaufiner et optimiser l'article. Il doit utiliser un outil LLM fourni par une société externe et exige que les données soient entièrement cryptées – il s'agit d'une tâche typique de génération améliorée de récupération (RAG).

1. Clé : l'utilisateur héberge une clé (BYOK – Bring Your Own Key), que PCC utilise pour le cryptage/déchiffrement pendant tout le processus de la tâche LLM. La clé est stockée sur la machine utilisateur + dans un module d'enclave sécurisée (TEE Trusted Execution Environment) dans le cloud.
2. Création d'une base de connaissances : lorsque les utilisateurs téléchargent des documents, PCC fournit des capacités de communication cryptées de confiance mutuelle dans le cloud pour transmettre en toute sécurité les documents des utilisateurs depuis les appareils finaux vers des compartiments sécurisés ; le service de base de connaissances décrypte et découpe les documents pour générer des vecteurs et des fragments de texte brut ; le service de chiffrement les transforme en vecteurs de texte chiffré et en tranches de texte chiffré, et les stocke dans la base de données de vecteurs (VikingDB) – la création de la base de connaissances d'état dense est terminée.
3. Récupération et rappel de la base de connaissances : l'utilisateur saisit une invite dans le LLM ; le mot d'invite est transmis au compartiment sécurisé par l'intermédiaire d'une communication cryptée de confiance mutuelle de fin de nuage, et un vecteur de texte en clair est généré et crypté dans le compartiment sécurisé ; le vecteur de texte chiffré est utilisé pour effectuer une recherche dans la base de données, et la tranche de texte chiffré est rappelée ; après avoir déchiffré la tranche dans le compartiment sécurisé, un reclassement et d'autres processus sont effectués.
4. Étape d'inférence : les résultats de recherche en texte brut générés par l'épissage + les mots d'invite de l'utilisateur sont transmis au grand modèle (également dans le compartiment sécurisé) pour inférence, et les résultats d'inférence en texte brut sont générés – l'inférence est terminée.
5. Étape de retour : PCC crypte les résultats générés, génère les résultats du texte chiffré et les retransmet à la machine utilisateur ; le service de décryptage du TEE d'extrémité décrypte les résultats et présente les résultats en texte brut à l'utilisateur.

C'est exactement ce que fait Lenovo avec le Jeddak PCC. Le 7 mai, Lenovo a officiellement lancé un produit super intelligent destiné aux utilisateurs individuels et professionnels, et la solution de cloud computing privé de Volcano Engine est devenue la pierre angulaire de cette solution Agent.

Dans le cadre d'un travail de type RAG, Jeddak PCC vectorise divers documents utilisateur, étend les capacités de sécurité de cryptage au niveau de la puce matérielle au cloud et met en œuvre un cryptage complet via des méthodes informatiques privées telles que l'informatique confidentielle et la cryptographie – permettant aux utilisateurs de créer des bases de connaissances privées/de niveau entreprise sans se soucier des fuites de données.

Un certain nombre d'appareils PC commercialisés par Lenovo au cours de la même période, y compris les SKU des marchés grand public et commercial, prennent tous en charge la technologie Jeddak PCC.

Vous pouvez voir de l’ensemble du processus :

• Tous les processus impliquant le transfert de données sont protégés par cryptage à l'aide de clés granulaires utilisateur ;
• Le cloud stocke uniquement les vecteurs de texte chiffré et ne stocke pas le texte ni les vecteurs en clair ;
• Seule l'inférence LLM utilise du texte en clair et le processus d'inférence est effectué dans un compartiment sécurisé ;
• Les opérateurs LLM et les fournisseurs de services de cloud computing n'ont pas accès aux clés utilisateur tout au long du processus et ne peuvent pas voir le texte brut, garantissant ainsi une confidentialité totale.

La question se pose alors : la méthode de chiffrement complet a-t-elle un impact sur l’efficacité de l’inférence et l’expérience côté utilisateur ?

Il n’y a pratiquement aucun impact appréciable. APPSO a appris du Volcano Engine que bien que le processus de cryptage soit compliqué, les utilisateurs ne le remarqueront pas d'un point de vue temporel et que la vitesse n'est que 5 % plus lente ou inférieure à celle de la méthode du texte en clair.

D’après les résultats de l’inférence, en raison de l’utilisation de méthodes de cryptographie hautes performances, il est difficile de perdre des informations lors du processus de cryptage et de déchiffrement. Le travail d'inférence de LLM est effectué dans un compartiment sécurisé sans risque de fuite de données. Le résultat final de l'inférence est infiniment proche du sans perte, et LLM conserve toujours le mode de fonctionnement de la sortie en streaming, permettant aux utilisateurs de voir les jetons générés en continu.

Avec une architecture ouverte et une activité étendue, Jeddak PCC est prêt pour la « 1ère année d'agent »

La confidentialité/informatique confidentielle a été mentionnée pour la première fois devant le public en 2013. Depuis l'iPhone 5s cette année-là, Apple a commencé à intégrer un petit module informatique de confidentialité distinct dans le processeur de la série A, appelé enclave sécurisée, qui est utilisé pour la vérification biométrique, le paiement et d'autres opérations. Les applications, les processeurs et même l'ensemble du système d'exploitation ne peuvent pas voir le texte en clair correspondant à ces données privées.

Les temps changent et les mises à niveau technologiques. Désormais, tout le monde essaie de suivre la tendance de l'IA et de profiter de la commodité et de l'expérience innovante apportées par des technologies telles que LLM et Agent. Cependant, l’informatique confidentielle n’a pas suivi le rythme de la popularisation de l’IA depuis longtemps, jusqu’à l’avènement du PCC de Jeddak.

Le concept de cloud computing privé est une extension de l’informatique confidentielle à l’ère du cloud et de l’IA. Jeddak PCC utilise en fait la même technologie pour étendre le concept au scénario de cloud computing IA, en plaçant les données privées stockées côté utilisateur dans une zone plus grande pour un stockage, un hébergement et un calcul sécurisés.

Tout comme Secure Enclave d'Apple met pour la première fois les utilisateurs en contact avec l'informatique privée, Jeddak PCC met également pour la première fois la puissance du cloud computing privé entre les mains des développeurs d'entreprise, des fabricants d'appareils et de leurs utilisateurs finaux. Et du point de vue de l'ouverture architecturale, des types d'entreprise pris en charge, de l'intégration logicielle et matérielle, Jeddak PCC a également montré des avantages évidents par rapport à Apple PCC.

Selon la compréhension d'APPSO, Jeddak PCC adopte une architecture ouverte, prend en charge le CPU, le GPU et l'informatique hétérogène, prend en charge NVIDIA Hopper, Intel TDX, AMD SEV et d'autres plates-formes informatiques confidentielles pour répondre aux cloud public/privé des clients et à d'autres besoins de déploiement multiples ou intégrés.

Cela crée une différence nette entre l'architecture fermée de Jeddak PCC et d'Apple PCC et la dépendance totale à une mise en œuvre logicielle et matérielle exclusive. Après tout, Apple PCC n'a été lancé que pour mettre en œuvre ses applications internes natives (Apple Intelligence), tandis que Jeddak PCC est le résultat des capacités de cloud computing privé auto-développées par Volcano Engine et popularisé auprès de l'ensemble de l'industrie technologique.

Apple affirme que l'une des raisons pour lesquelles son système PCC adopte une architecture fermée est d'assurer une boucle fermée de sécurité. Mais en fait, avec l’avancée de la technologie et des concepts, le secteur de la sécurité estime désormais généralement que les systèmes fermés ne peuvent pas ralentir le cycle « vulnérabilité-intrusion-correctif » ; les logiciels de sécurité sont développés dans une architecture ouverte et un modèle collaboratif, ce qui permet de garantir que toutes les parties prenantes peuvent découvrir les vulnérabilités en temps opportun et améliorer la sécurité.

C'est pourquoi l'architecture ouverte de la solution Jeddak PCC peut être plus facilement acceptée par l'industrie et peut considérablement accélérer l'amélioration du niveau de sécurité global de l'industrie.

• Volcano Engine a accumulé un grand nombre de talents dans les domaines des bases de données, de la cryptographie et d'autres domaines. Ces domaines sont fortement liés au cloud computing privé. De solides réserves de talents, des capacités de recherche en matière de sécurité et les politiques de sécurité des fournisseurs de services cloud de première ligne peuvent garantir que les dangers cachés sont découverts en temps opportun.
• L'équipe du projet Jeddak détient actuellement un total de 130 brevets de sécurité, avec 62 nouveaux brevets en 2024, impliquant la cryptographie, l'informatique confidentielle, la sécurité des systèmes et d'autres domaines majeurs, couvrant des domaines techniques tels que l'IA, la sécurité LLM et les environnements d'exécution fiables.
• Outre le travail du Volcano Engine, l'architecture ouverte signifie également que les capacités et les améliorations en matière de sécurité du Jeddak PCC reposent également sur une construction conjointe avec les fabricants et les clients finaux.

En termes de types d'activités d'IA pris en charge, Apple PCC n'a actuellement que deux objectifs : 1) servir l'expérience utilisateur des produits Apple Intelligence ; 2) La formation back-end d'Apple, ainsi que les tâches internes des employés au sein de l'entreprise. Les fonctionnalités spécifiques n'impliquent actuellement que le niveau d'inférence et il n'existe aucune prise en charge pour les autres types d'activités LLM classiques.

Jeddak PCC prend déjà en charge le raisonnement fiable de l'IA et le RAG sécurisé, qui ont tous deux été démontrés dans les cas de la section précédente. Derrière cela se cache en fait le fait que l'équipe informatique de confidentialité de Volcano Engine a externalisé ses années d'expérience en matière d'informatique confidentielle et de cryptage homomorphe auprès de clients de services cloud pour les aider à mieux réaliser l'expansion des applications, la réduction des coûts et l'amélioration de l'efficacité dans le cadre de la conformité de sécurité LLM.

Quant au soutien de Jeddak PCC à Agent, il s'agit d'un projet commercial sur lequel Volcano Engine intensifie la recherche, le développement et les tests.

L'industrie considère généralement que 2025 est « l'année des agents ». Du divertissement et des loisirs aux tâches professionnelles, divers types d'agents dotés de diverses capacités émergent dans un flux incessant ; Bytedance, la société à l'origine du Volcano Engine, a également profondément défini le marché des agents à travers des produits tels que Doubao et Button Space. De toute évidence, Agent est devenu la catégorie de produits IA avec les possibilités de scènes les plus riches et le plus de vitalité.

Volcano Engine lancera bientôt une version fiable d'Agent basée sur Jeddak PCC – OS Agent en juin, permettant aux utilisateurs d'effectuer des opérations complexes telles que la commande de plats à emporter et la réservation de billets d'avion via des instructions en langage naturel, et l'ensemble du processus de tâches implémente la logique de cloud computing privé de Jeddak PCC. Avec l'avancement continu de la technologie Agent et l'activité croissante du marché, Jeddak PCC s'est également préparé à l'explosion complète d'Agent.

Sécurité de l'IA perceptible par l'utilisateur

Qu'il touche l'écran ou tape quelque chose, chaque interaction d'un utilisateur avec une application laisse une trace. Dans la structure actuelle des droits des utilisateurs des services Internet, un fait embarrassant est que les utilisateurs ne « possèdent » pas réellement leurs propres données.

À l’ère de l’IA, cette logique perdure. À en juger par la seule forme actuelle du produit LLM, les droits de contrôle de la confidentialité des utilisateurs sont également extrêmement limités et les politiques de confidentialité des fournisseurs de services n'ont pas suivi le rythme. Les utilisateurs envoient souvent des données plus privées et confidentielles aux produits LLM sans s'en rendre compte.

Volcano Engine estime que dans ce contexte, les développeurs LLM et les plates-formes de cloud computing doivent faire davantage d'efforts pour aider les citoyens à améliorer leur sensibilisation à la confidentialité et à la sécurité des données à l'ère de l'IA.

Dans une nouvelle ère où l'IA a complètement décollé et où le LLM est intégré au front, au middle et au back-end de chaque produit, la technologie de cloud computing privé devient de plus en plus importante pour les utilisateurs. Dans le même temps, les avantages de cette technologie doivent également être perçus par les utilisateurs et leur donner un sentiment visible de gain.

Imaginez que dans un avenir proche, il y aura un nouveau module « IA » dans la fonction paramètres système-confidentialité du téléphone mobile :

Par exemple, vous pouvez constater que vous avez interagi avec l’IA 100 fois aujourd’hui, dont 80 ont été effectuées localement et 20 ont été envoyées vers le cloud pour exécution.

Non seulement cela, mais vous pouvez également voir des détails spécifiques sur chaque interaction, tels que l'heure, le contenu de l'invite saisi et s'il a été traité localement ou dans le cloud. Ces informations nécessitent votre empreinte digitale, votre visage ou au moins un mot de passe pour les visualiser, car elles sont protégées par l'enclave sécurisée de la puce du téléphone – l'enclave locale est également protégée par le système PCC de Jeddak.

En allant plus loin, vous pourrez peut-être également voir le nombre d'interactions sur le cloud, comment les données sont cryptées dans le cloud et si elles ont été supprimées après utilisation – être capable de « prouver son innocence » est l'une des exigences les plus fondamentales pour une plate-forme PCC solide.

Un bon design hydrate les choses en silence. Mais en ce qui concerne la question centrale de la confidentialité et de la sécurité des données, il est peut-être vrai que les utilisateurs peuvent réellement percevoir que l'expérience est à la fois fluide et sûre.

Au premier semestre 2025, tous les principaux fabricants nationaux d'Android ajoutent des fonctions liées au LLM et aux agents, et les innovations émergent les unes après les autres. Mais dans le même temps, le risque de fuite de données personnelles a également augmenté à l’ère de l’IA. La demande de technologie de cloud computing privé augmente également de jour en jour.

Volcano Engine espère que le lancement de Jeddak PCC pourra répondre aux besoins de ces fabricants d'équipements et développeurs LLM, et constituer une étape importante dans l'amélioration de la protection de la vie privée et la sensibilisation à la sécurité de toutes les personnes à l'ère de l'IA.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (WeChat ID : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo