Quel est le niveau du grand modèle de langage WeChat publié avant ChatGPT ?

L'émergence de ChatGPT a fait de la technologie de l'IA un poulet frit populaire dans le cercle technologique.

Le ChatGPT presque omnipotent rend inutiles les tâches répétitives telles que la rédaction d'e-mails et la rédaction de contrats, et il est encore plus pratique pour écrire du code, écrire des romans et écrire des PPT.

Mais il est obsolète de discuter de ce que ChatGPT peut faire et de ce qu'il peut remplacer. Maintenant, les gens veulent savoir où se trouve le prochain "ChatGPT" ?

Le nouveau Bing de Microsoft ? Maintenant, la file d'attente peut durer éternellement.

Les mots littéraires de Baidu ? Il se rapproche de son lancement officiel le 16 mars.

Barde de Google ? C'est encore plus une inconnue.

N'y a-t-il pas de robot de chat en dehors de ChatGPT maintenant ?

Ne vous inquiétez pas, WeChat, qui connaît un peu tout, ne vous laissera pas tomber facilement.

En octobre de l'année dernière, WeChat a publié un modèle de langage appelé WeLM de manière discrète.À cette époque, la définition de WeLM par WeChat n'était qu'une IA capable de "discuter".

Avec le recul, la capacité de WeLM à "discuter" a été en mesure de répondre à nos attentes en matière d'IA génératrice de texte.

Cependant, WeChat souligne que WeLM n'est pas un robot de chat, mais un modèle génératif qui complète les informations saisies par l'utilisateur.

Selon les commentaires de WeChat, WeLM n'est qu'un projet expérimental innovant au sein de WeChat. Il n'est pas prévu de l'appliquer à des produits réels et il ne sera pas lié à l'expérience de l'application WeChat. À l'avenir, WeLM pourrait être supprimé. des étagères de temps en temps.

Octathlon

Que peut faire WeLM ?

Posez-lui d'abord une question sur le palais d'Efang pour voir sa réserve de connaissances.

Il semble qu'il n'y ait rien de mal avec la réponse, voyons ce qu'il en sait sur la deuxième dimension.

Il semble qu'un peu de bon sens bidimensionnel de base soit encore trop simple pour WeLM.

Puisque le bon sens ne peut pas le vaincre, alors demandez les dernières informations pour voir si WeLM peut y répondre.

Lorsque j'ai demandé s'il connaissait ChatGPT, les réponses de WeLM ont commencé à être fausses et les réponses étaient loin de la vérité.

Ensuite, posez des questions spécifiques, telles que quelle est la première ligne de "Lovely Woman" ?

La performance de WeLM est également insatisfaisante.

C'est aussi la limitation de WeLM. Selon l'explication donnée par l'équipe WeChat, WeLM n'est pas un robot de dialogue direct, mais un modèle génératif qui complète les informations saisies par l'utilisateur.

Le nom complet de WeLM est Well-Read Language Model. La plus grande version du modèle a 10 milliards de paramètres de formation. Sa force réside dans sa capacité à comprendre et à générer le chinois, et il peut effectuer une variété de tâches NLP (y compris des tâches multilingues).

Selon le didacticiel de questionnement officiel, les réponses aux questions de WeLM devraient être axées sur les "phrases complètes".

Par exemple, dans l'exemple de "nommer le chat", le questionneur doit d'abord donner quelques exemples à WeLM, puis laisser WeLM le compléter.

C'est peut-être à cause de la version de test. À l'heure actuelle, la divergence de l'achèvement des réponses de WeLM semble être supérieure à la précision, vous constaterez donc que WeLM peut répondre à tout, mais la réponse n'est pas nécessairement exacte.

Pour certaines de ses "absurdités", je peux seulement dire que tout le monde rigole.

Ce type de mécanisme de réponse pour compléter le contenu peut donner naissance à une variété de modes de jeu. À cette fin, WeChat fournit officiellement un total de huit modes : "dialogue, génération de copie, réécriture de texte, compréhension de lecture, traduction, continuation d'article et tâche libre". ".

Essayons d'abord la génération de copie de produit. Je l'ai utilisée pour générer une copie de produit pour la tête de chargement de bonbons durs de l'usine de sucre. La première moitié semble décente, mais lors de l'écriture de la description du produit plus tard, il semble que le processeur soit surchargé.

Je dois dire que la dernière phrase "un goût sucré juste pour l'amour" est un peu intrigante.

Essayons à nouveau la traduction, qui est la force de WeChat.

Je l'ai utilisé pour traduire une introduction OpenAI à ChatGPT, et WeLM a fait le travail facilement.

Selon l'introduction officielle, WeLM peut non seulement traduire entre plusieurs langues, mais également traduire des textes mélangés à plusieurs langues en même temps.

Par exemple, cette phrase complexe qui contient à la fois du chinois, de l'anglais et du japonais peut être entièrement traduite par WeLM .

Lorsque vous consultez un article long et compliqué comme le rapport financier d'une entreprise, vous pouvez le copier dans WeLM et utiliser la "compréhension de lecture" pour récupérer directement les informations souhaitées.

Cependant, la capacité de compréhension de WeLM est relativement superficielle. Il ne peut fondamentalement répondre qu'aux informations directement récupérables dans l'article. Si vous souhaitez demander le chiffre d'affaires 2021 d'Apple en fonction du chiffre d'affaires et du taux de croissance d'Apple en 2022, il ne peut pas calculer le problème de rotation. un coin.

En d'autres termes, vous devez utiliser une commande d'invite plus précise pour pouvoir répondre.

La fonction de dialogue de WeLM est une fonction très jouable. Vous pouvez configurer une personne pour WeLM grâce à une série de mots rapides (devenir Li Bai, devenir Jobs, devenir Musk) et réaliser un dialogue qui s'étend sur le temps et l'espace.

J'ai essayé de demander à Li Bai, joué par WeLM, de commenter Du Fu. "Li Bai" a commenté que lire les poèmes de Du Fu, c'est comme boire un pot de bon vin, et a également cité "Aijiangtou" de Du Fu.

"Aijiangtou" a été écrit la deuxième année de Zhide (757) et Li Bai est mort la première année de Baoying (762). Peut-être que Li Bai a vraiment lu "Aijiangtou" de Du Fu avant sa mort.

Vous pouvez également laisser WeLM jouer à Musk, le laisser commenter Tesla, Twitter , la conduite autonome et d'autres problèmes, et même interviewer son point de vue sur Li Bai.

Comment WeLM a-t-il procédé ?

Après une certaine expérience, je pense évidemment que WeLM dépend plus de mots rapides précis que ChatGPT.

Bien que les deux aient une bonne compréhension du langage naturel et des capacités expressives, WeLM a des coûts d'apprentissage et d'utilisation plus élevés. Avant de laisser WeLM répondre aux questions, vous devez expliquer clairement la logique de réponse aux questions (par exemple). Les mots rapides doivent également être continuellement affinés, et enfin vous obtiendrez la réponse que vous voulez.

En revanche, ChatGPT est un ermite accessible, qui peut pénétrer dans les montagnes et les rivières et se retirer chez les habitants de Liba. Qu'il s'agisse d'une question simple, d'un résumé d'article ou d'une question de programmation complexe, ChatGPT peut essentiellement y répondre ensemble.

Ceci est bien sûr également lié à l'algorithme du modèle et aux paramètres de formation des deux. L'un des avantages de WeLM est qu'il utilise une page Web chinoise diversifiée et complète, un livre, des actualités, un forum et un ensemble de données académiques pour la formation. comprendre le chinois sera plus important.

La source des données d'apprentissage de WeLM est principalement constituée des données de pages Web chinoises téléchargées depuis Common Crawl au cours des deux dernières années. En outre, il comprend également un grand nombre de livres, d'actualités, de données de forums et d'articles universitaires, avec un volume total de données de 10 To. .

Mis à part les meilleurs étudiants comme ChatGPT, lorsque WeLM est comparé à des modèles du même niveau que CPM, Huawei Pangu et Baidu Ernie 3.0 (prédécesseur de Wenxinyiyan), WeLM surpasse WeLM sur 14 tâches NLP.  Fondamentalement, peut atteindre le plomb.

Dommage qu'il ne s'agisse que d'une tentative expérimentale de WeChat, et qu'il puisse être retiré des étagères de temps en temps à l'avenir. Il devrait être difficile pour nous de voir des fonctions de chat intelligent similaires sur WeChat à court terme. n'est partagée qu'en tant qu'expérience fonctionnelle.

Site Web de l'expérience : https://welm.weixin.qq.com/docs/playground/

Remarque : WeLM n'est qu'un projet expérimental innovant au sein de WeChat. Il n'est pas prévu de l'appliquer à des produits réels et il ne sera pas lié à l'expérience de l'application WeChat. Veuillez garder un esprit ouvert et exploratoire pour en faire l'expérience.

#Bienvenue pour prêter attention au compte public WeChat officiel d'Aifaner : Aifaner (WeChat ID : ifanr), un contenu plus excitant vous sera présenté dès que possible.

Ai Faner | Lien d'origine · Voir les commentaires · Sina Weibo