Le sceau est enfin levé ! Bing a pris les devants dans ChatGPT pour prendre en charge la fonction de reconnaissance d’image, non seulement peut comprendre les mèmes, écrire des pages Web, mais aussi « voir un médecin »

Vous souvenez-vous des capacités multimodales mentionnées par OpenAI lors de la sortie de GPT-4 en mars de cette année ?

GPT-4 prend en charge la saisie d'images et peut comprendre les mèmes, les problèmes de physique et les articles. Une fois publié, il a choqué tout le monde. C'est également le point de mise à niveau le plus important de GPT-4 par rapport à GPT-3.5.

Malheureusement, OpenAI indique que la fonction d'entrée d'image est toujours un aperçu de la recherche et n'est pas encore disponible pour le public.

Cependant, récemment, un internaute de Reddit a découvert que son compte Bing Chat avait discrètement ajouté une entrée pour le téléchargement de photos.

Microsoft a précédemment révélé que Bing Chat utilise le modèle GPT-4 et a mentionné dans le grand journal de mise à jour du mois dernier qu'il ajoutera un support multimodal à Bing. Dans l'ensemble, Bing Chat devrait être progressivement développé pour les utilisateurs Ouvrir la carte test de fonction de reconnaissance.

Cet internaute a fait de nombreux tests sur Bing Chat, voyons à quel point Bing Chat aux "longs yeux" est puissant.

La première est la fonction la plus étonnante de GPT-4 pour visualiser les mèmes. GPT-4 peut non seulement comprendre le contenu de l'image, mais aussi analyser les blagues du mème comme des humains.

Par exemple, dans ce mème, GPT-4 peut voir que l'image veut exprimer qu'il est absurde d'utiliser l'interface obsolète en forme de VGA pour charger l'iPhone, et il est absurde d'introduire un rire.

Les internautes ont téléchargé les mêmes mèmes sur Bing Chat pour les tester, et une chose étrange s'est produite : Bing Chat n'a pas reconnu qu'il s'agissait d'une interface VGA, il n'a donc pas pu "comprendre" la blague, mais Bing Chat a quand même déchiffré les photos. , a même indiqué la marque du câble et a donné des informations plus détaillées.

Il peut s'agir d'une erreur accidentelle de Bing Chat, ou il se peut que Microsoft ait effectué davantage d'ajustements de restriction dans l'application réelle de GPT-4, ce qui a entraîné une déviation dans la réponse.

Les internautes ont mis en ligne un autre dessin animé mème sur l'apprentissage automatique, et cette fois, Bing Chat a pu répondre plus précisément au contenu et aux blagues de l'image.

L'analyse de Bing Chat d'un autre mème du repassage des vêtements dans une voiture est également pertinente.

Quelle est la précision de la reconnaissance d'image de Bing Chat ? Il a téléchargé une photo des personnages de "Nintendo Smash Bros." Il y a beaucoup de personnages disposés sur la même image, et a demandé à Bing Chat de reconnaître tous les personnages un par un.

Du coup, Bing Chat a reconnu 7 des 12 caractères, et il semble que le problème bidimensionnel soit encore un peu difficile pour lui.

Lors de sa sortie, OpenAI montrait également un cas de programmation d'une page Web en prenant une photo à la main.L'internaute a également dessiné une image à la main pour tester Bing.

Ignorons le long lien de code et voyons directement l'effet de cette page en cours d'exécution. On peut voir que le prototype de la page Web de base est toujours construit.

L'ajout de la fonction de reconnaissance d'image ajoute de nombreuses utilisations à Bing Chat. Après tout, de nombreux contenus (tels que des formules et des graphiques) sont en réalité difficiles à exprimer clairement avec des mots. Pour le moment, il suffit de lancer une image à l'IA pour obtenir la réponse.

Laissez-le expliquer, par exemple, le processus par lequel les chromosomes se croisent pendant la méiose.

Laissez-le jouer au professeur de biologie et analysez le fonctionnement de la filtration des néphrons.

Il peut même être utilisé comme médecin en ligne pour diagnostiquer simplement les maladies de la peau.

Auparavant, ChatGPT a été développé pour apprendre des langues étrangères et pratiquer l'anglais oral en raison de son excellente compréhension des textes et de ses capacités d'expression.

Après avoir ajouté la reconnaissance visuelle, Bing Chat peut même jouer le rôle d'un professeur de collège, de lycée ou même d'université pour aider les élèves à résoudre des problèmes mathématiques, physiques et chimiques complexes. Si la fonction de reconnaissance d'image peut être promue à l'avenir, cela pourrait résoudre le problème de l'éducation dans une certaine mesure, le problème du déséquilibre des ressources.

Les utilisateurs peuvent également l'utiliser pour un diagnostic médical de base, économisant ainsi l'argent et le temps nécessaires au traitement médical, reflétant la valeur de l'IA pour le grand public.

Bien sûr, bien que Bing Chat puisse fondamentalement comprendre le contenu du monde réel, ses réponses ne peuvent être utilisées que comme référence après tout et ne peuvent pas être considérées comme des conseils professionnels.

Par conséquent, si la fonction de reconnaissance de carte doit être entièrement ouverte au public, Microsoft doit faire beaucoup de restrictions et de débogage pour s'assurer que le public n'aura pas de problèmes de sécurité dus à la méfiance de la réponse de l'IA.

A court terme, la reconnaissance d'image Bing Chat ne devrait être qu'une fonction de test accessible à un petit nombre d'utilisateurs. Si cela vous intéresse, vous pouvez vous connecter immédiatement à votre compte Microsoft pour voir s'il y en a un de plus sur la barre de chat de Bing. Icône d'image de chat.

Actuellement Bing Chat est ouvert à tous les comptes Microsoft, venez ouvrir la blind box pour voir si vous avez reçu la qualification du test

https://www.bing.com/new

#Bienvenue pour suivre le compte public WeChat officiel d'Aifaner : Aifaner (WeChat ID : ifanr), un contenu plus excitant vous sera présenté dès que possible.

Ai Faner | Lien d'origine · Voir les commentaires · Sina Weibo