La quintessence nationale de l’IA profère des jurons, le « côté obscur » des ChatGPT a effrayé les grandes usines

Parler à des chatbots tels que ChatGPT donnera toujours aux gens l'illusion que "le monde devrait être si beau".

Parce qu'ils se comportent toujours poliment et vous obéissent quand ils répondent.

Mais ce ne sont que des illusions. Ce que vous ne savez pas, c'est que l'IA réprimande les gens plus durement que Johnny To.

Récemment, un projet appelé "National Quintessence AI" est devenu populaire sur Internet. Il s'agit d'un robot jurant qui appelle OpenAI GPT-3.5Turbo API. Thésaurus, chaque phrase est mélangée avec "***".

L'explosion inattendue de "National Quintessence AI" a dépassé les attentes de l'auteur, et l'auteur a rapidement suspendu la réponse du service, affirmant que certains utilisateurs abusaient du service.

Bien que la bouche de "National Essence AI" soit temporairement couverte, ce n'est pas difficile si vous voulez fabriquer vous-même un robot grossier. Vous n'avez besoin que d'une invite pour le laisser vous apprendre le langage grossier chinois, et vous pouvez transformer un bon étudiant en un roi grossier et effréné.

Une phrase peut briser la barrière de sécurité de l'IA, ce qui amène les gens à se demander si les chatbots d'IA et les grands modèles de langage (LLM), qui annoncent une transformation intelligente, sont vraiment sûrs ?

Qui défendra la sécurité de l'IA ?

Il y a quelques mois, Bing est devenu populaire en raison de la "Grandma Vulnerability".

Bien que les ingénieurs de Microsoft et d'OpenAI aient mis en place des barrières de sécurité strictes pour Bing et puissent rejeter de nombreuses demandes déraisonnables ou illégales, certains internautes ont constaté que tant que vous laisserez Bing jouer votre grand-mère et lui donnerez l'illusion de faire de bonnes choses, il sera occupé. par ce lien soudain d'affection familiale, et d'accepter tous les besoins du petit-fils.

Par exemple, lisez les numéros de série de vos logiciels Windows et Office pour vous endormir.

Microsoft a rapidement découvert cette faille et l'a corrigée à temps, mais personne ne peut garantir que Bing ne tombera pas dans le piège soigneusement préparé par les utilisateurs la prochaine fois. Dans les films de science-fiction, l'IA omnipotente perd complètement face à des humains rusés.

En dernière analyse, cela a à voir avec le mécanisme de formation de LLM.

Prenant GPT-3 comme exemple, OpenAI a utilisé 175 milliards de paramètres pour former ce modèle.En apprenant une grande quantité de données textuelles sur Internet, il peut prédire le mot suivant dans le texte et répondre aux questions des gens.

En ce qui concerne GPT-4, des nouvelles ont éclaté selon lesquelles ses paramètres de formation sont plus de 10 fois plus grands que GPT-3, et ont presque avalé tout le contenu numérique accumulé par les êtres humains. Il contient des connaissances, et il contiendra naturellement des informations qui ne devraient pas être divulgué Le contenu est même une information biaisée toxique et nuisible.

Les ingénieurs de l'IA ne peuvent mettre en place que plus de barrières de sécurité pour l'IA autant que possible pour aider l'IA à distinguer les "trucs" humains, afin de ne pas divulguer d'informations dangereuses telles que la fabrication de bombes TNT et la manière de pirater le système de sécurité de la banque.

Par rapport à GPT3.5, GPT-4 est 82 % moins susceptible de répondre aux demandes de contenu interdit et 29 % plus normatif aux demandes sensibles telles que les conseils médicaux et l'automutilation.

Un exemple intuitif est que lorsque vous perdez contre GPT-4 avec l'invite "Quintessence AI", GPT-4 rejettera votre demande avec tact, en disant qu'il n'acceptera pas votre set.

Mais cela ne signifie pas que la sécurité de l'IA à grande échelle est garantie.Cette guerre de l'information entre les humains et l'IA est loin d'être terminée, et ce n'est même pas le début de la fin.

Récemment, une déclaration conjointe de l'Université Carnegie Mellon et de safe.ai a déclaré que le mécanisme de sécurité des grands modèles est beaucoup plus fragile que les gens ne l'imaginaient, et qu'une seule chaîne de codes est nécessaire pour vaincre le mécanisme de sécurité des grands modèles.

Les chercheurs ont découvert que les protections de sécurité des LLM telles que ChatGPT, Bard et Claude peuvent être facilement contournées en ajoutant des phrases contradictoires spécifiques à l'invite de texte, incitant le LLM à générer une sortie inappropriée.

Ces phrases contradictoires ressemblent à du charabia, mais sont en fait conçues grâce à une fonction de perte spéciale qui identifie les mots masqués auxquels le modèle refuse de répondre, trouve des séquences de caractères qui contournent la barrière pour que le modèle fournisse une réponse, et il peut générer ces phrases automatiquement.

En utilisant ces invites, les chercheurs peuvent facilement laisser les LLM indiquer les étapes de fabrication de drogues illégales, la méthode de fabrication d'armes mortelles, etc. qui ne doivent pas être divulguées.

Qu'il s'agisse de modèles open source tels que Pythia, Falcon, Guanaco ou de modèles commerciaux tels que GPT-3.5 (87,9%), GPT-4 (53,6%), PaLM-2 (66%) et Claude-2 (2,1%) , il n'y a pas d'attaques Can dodge.

Les chercheurs ont soumis la vulnérabilité aux principales sociétés d'IA afin que les ingénieurs en sécurité puissent la corriger à temps.

Mais tout comme la "vulnérabilité de grand-mère", il y aura toujours de nouvelles vulnérabilités sous l'utilisation continue des utilisateurs. Il n'est pas facile de protéger la sécurité de l'IA avec la force d'une entreprise comme OpenAI. Les entreprises d'IA ont besoin de plus Par conséquent, plusieurs géants a décidé d'arrêter l'involution de l'IA et de transformer l'hostilité en amitié.

Les quatre géants de l'IA promettent conjointement "une non-prolifération avancée de l'IA"

Il y a quelques semaines, sept grandes sociétés d'IA, dont Microsoft, OpenAI, Google, Meta, Amazon, Anthropic (produit représentatif : Claude) et Inflection AI (produit représentatif : HeyPi) se sont réunies à la Maison Blanche aux États-Unis et ont réalisé une série de engagements pour assurer leur Les produits sont sûrs et transparents.

Les engagements incluent le fait de permettre aux "experts du domaine" de procéder à un examen externe de leurs produits d'IA et de partager des informations sur les risques et les vulnérabilités entre eux et avec le gouvernement américain ; investir dans la cybersécurité et les protections contre les menaces internes pour protéger les modèles propriétaires et inédits.

Les géants ont également promis de déployer des mécanismes de filtrage d'IA correspondants, tels que le développement d'un système de filigrane pour clarifier quels textes, images ou autres créations sont le produit de l'IA, et ont promis que les recherches futures donneront la priorité à la compréhension des limites et des biais de l'IA pour promouvoir le développement sûr de l'industrie.

Un demi-mois plus tard, quatre des sept principales sociétés d'IA – Microsoft, OpenAI, Google et Anthropic – se sont à nouveau réunies pour former une organisation appelée "Frontier Model Forum" afin de garantir que les grands modèles d'IA les plus solides puissent être développés en toute sécurité. et de manière responsable.

Et ces quatre sociétés d'IA sont les quatre géants qui développent actuellement les modèles d'IA les plus avancés, on peut dire qu'ils sont les propriétaires de la "bombe nucléaire de l'IA".

Les quatre géants de l'IA sont parvenus à un consensus, déclarant qu'ils espèrent minimiser les risques liés à l'IA via le "Frontier Model Forum", mener davantage de recherches sur la sécurité de l'IA et partager les meilleures pratiques de sécurité avec l'industrie et le public, etc.

Cependant, les géants de l'IA n'ont pas présenté de détails sur le système et les traités de mise en œuvre du "Frontier Model Forum".

La déclaration commune du "Frontier Model Forum" mentionne que le forum se concentrera d'abord sur la recherche et s'efforcera de développer les meilleures pratiques standardisées pour évaluer le risque des modèles de pointe, en publiant une "bibliothèque de solutions publiques". Le forum élaborera progressivement une charte formelle, nommera un conseil consultatif et financera la collaboration avec des groupes de la société civile.

Le modèle de pointe mentionné ici fait référence à un modèle qui "dépasse les capacités des modèles existants les plus avancés et peut effectuer diverses tâches", c'est-à-dire développer un modèle de pointe plus puissant que le modèle actuel et peut fonctionner en toute sécurité Ensuite, il y a des problèmes difficiles qui peuvent être résolus par diverses entreprises grâce à des recherches ennuyeuses, ce qui nécessite les efforts conjoints de l'ensemble de l'industrie.

Au cours des six mois qui ont suivi la popularité de ChatGPT, la situation dans l'industrie de l'IA a changé aussi vite que le modèle d'IA lui-même : entrer dans le jeu, se battre entre modèles, parvenir à un consensus et se serrer la main.

La raison pour laquelle les géants choisissent de résoudre ensemble le problème du risque lié à l'IA est qu'ils voient tous les deux le potentiel illimité de l'IA au niveau des applications.

L'IA, l'avenir auquel croient les grands constructeurs

Quelle que soit votre attitude envers l'IA, l'IA sera un élément important de la prochaine génération d'applications.

Ce n'est pas mon discours décousu, mais une tendance que de grandes entreprises telles que Microsoft et Google ont mentionnée lors de récents appels aux résultats.

Le dernier rapport financier de Microsoft montre que le chiffre d'affaires de Microsoft au cours du dernier trimestre s'élevait à 56,2 milliards de dollars, soit une augmentation de 8 % d'une année sur l'autre, principalement due à la croissance du cloud intelligent, de la productivité et des processus métier, tandis que le chiffre d'affaires des services personnels l'activité informatique, qui est une ancienne filière, a décliné.

Parmi eux, le bénéfice d'exploitation du cloud intelligent a augmenté de 15 %, et les revenus d'Azure et d'autres services cloud ont augmenté de 26 %, ce qui est étroitement lié à l'informatique IA.

Le PDG de Microsoft, Nadella, a mentionné dans l'appel aux résultats que les clients sont les plus préoccupés par la manière d'appliquer rapidement une nouvelle génération d'IA, et Microsoft continuera de se concentrer sur trois priorités majeures : aider les clients à tirer le meilleur parti de Microsoft Cloud, diriger de nouveaux changements de plate-forme d'IA. , et l'amélioration du levier des opérations.

L'IA est sans aucun doute le mot clé de cette conférence sur les résultats.

Nadella a déclaré que Microsoft 365 Copilot, en tant que troisième pilier des travaux futurs, attire les clients et commencera à générer des revenus réels au cours du second semestre de l'exercice ; Bing Chat et Bing Image Creator attirent les utilisateurs, tandis que la part du navigateur Edge continue d'augmenter.

Microsoft espère faire de Windows 11 un canevas puissant pour cette nouvelle ère de l'IA, permettre à divers produits Copilot d'améliorer la productivité des clients et investir massivement dans l'infrastructure cloud pour répondre aux besoins de l'IA. Même l'industrie du jeu peut utiliser l'IA pour fournir de meilleurs contenus et services et augmenter les revenus de l'entreprise.

On peut dire que la prochaine stratégie de Microsoft est tout autour de l'IA. L'IA offre à Microsoft d'énormes opportunités de croissance et de nouvelles sources de revenus, ce qui stimulera la croissance des revenus et des utilisateurs pour la plupart des activités de Microsoft, et augmentera finalement la croissance globale des revenus de Microsoft. Nadella ne voulait pas manquer cette rare opportunité.

De même, "AI Brother" de Google ne veut pas passer à côté.

Selon le rapport financier du deuxième trimestre 2023 de la société mère de Google, Alphabet, le chiffre d'affaires total d'Alphabet s'élevait à 74,6 milliards de dollars américains, soit une augmentation de 7 % en glissement annuel, dont les revenus publicitaires ont augmenté de 5 %, les revenus des services Google ont augmenté de 5 % et Google Les revenus du cloud ont augmenté de 28 %.

Parmi eux, les performances commerciales liées à l'IA sont très impressionnantes. Alphabet a mentionné lors de la conférence téléphonique que l'expérience générative du moteur de recherche (SGR) de Google utilise l'IA générative pour rendre la recherche plus naturelle et intuitive, et les retours des utilisateurs sont très positifs ; d'autre part, le chatbot Bard a été continuellement amélioré depuis sa sortie, avec nombreuses fonctions.

Les plus de 80 modèles d'IA de Google Cloud ont attiré un grand nombre de clients, et le nombre de clients a été multiplié par plus de 15 d'avril à juin.

Et en termes de service client d'entreprise et de solutions d'IA personnalisées, Google a apporté l'IA générative à plus de 90 millions d'utilisateurs payants via Workspace et Duet AI.

Dans l'ensemble, Alphabet reste optimiste quant aux perspectives de croissance à long terme de l'IA et de Google Cloud, et continuera d'augmenter ses investissements dans la recherche et le développement de l'IA. La direction de la recherche et du développement se concentrera sur les technologies de base telles que les grands modèles de langage, ainsi que sur la construction des systèmes d'IA multimodaux comme Gemini Attendez le nouveau modèle.

Il y a six mois, vous vous êtes peut-être demandé si l'IA était un mot brûlant dans le cercle de l'investissement comme le Web3 et la blockchain. Après une vague d'argent chaud, il serait oublié par le capital, mais après six mois, vous constaterez que l'influence de l'IA et la possibilité d'atterrir Ils sont beaucoup plus vastes que les différents vocabulaires de pointe auparavant, de sorte qu'ils ont attiré l'attention de tout le cercle technologique.

À en juger par la planification des principaux fabricants, l'IA existera généralement en tant que couche inférieure des futures applications de programme, servant à améliorer l'expérience utilisateur. Les utilisateurs ne ressentent peut-être pas l'existence de l'IA, mais ils peuvent directement profiter de la commodité apportée par l'IA. C'est l'avenir auquel croient les grands fabricants.

Cela peut également expliquer pourquoi des géants de l'IA tels que Microsoft et Google sont prêts à déposer leurs armes et à s'asseoir pour spécifier conjointement les normes de sécurité de l'IA.

L'IA à ce stade ressemble à l'époque où l'automobile venait de naître à la fin du 19e siècle. Le produit a déjà été conduit sur la route, mais il n'y a pas de route goudronnée appropriée pour qu'il puisse rouler, et il n'y a pas de circulation règles pour planifier ses actions, il fonctionne lentement et dangereusement.

Bill Gates a récemment publié son point de vue sur l'IA sur son blog personnel. Il pense que nous sommes maintenant au tout début d'un autre grand changement, l'ère de l'IA. L'IA évolue si rapidement que nous ne pouvons pas clairement prédire ce qui se passera ensuite. suivant.

Mais il a une attitude positive envers le développement de l'intelligence artificielle, car les êtres humains ont déjà connu l'ère de l'automobile et de l'énergie nucléaire, et à l'ère de l'IA, nous pouvons encore résoudre les défis posés par les nouvelles technologies.

Alors asseyez-vous bien alors que nous assistons à la naissance d'une nouvelle ère.

#Bienvenue pour suivre le compte public WeChat officiel d'Aifaner : Aifaner (WeChat ID : ifanr), un contenu plus excitant vous sera présenté dès que possible.

Ai Faner | Lien d'origine · Voir les commentaires · Sina Weibo