Meta dévoile Llama 3.1, son plus grand et meilleur modèle open source à ce jour
La société mère de Facebook, Meta, a annoncé mardi la sortie de son grand modèle de langage open source Llama 3.1 . Le nouveau LLM sera disponible en trois tailles – paramètres 8B, 70B et 405B – cette dernière étant la plus grande IA open source construite à ce jour, que le PDG de Meta, Mark Zuckerberg, décrit comme « le premier modèle d’IA open source de niveau frontière ».
"L'année dernière, Llama 2 n'était comparable qu'à une ancienne génération de modèles derrière la frontière", a écrit Zuckerberg dans un article de blog mardi . « Cette année, Llama 3 est compétitif par rapport aux modèles les plus avancés et leader dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama deviennent les plus avancés du secteur. »
Formé sur 15 000 milliards de jetons utilisant 16 000 GPU H100 , Meta affirme que le modèle 405B est nettement plus grand que son prédécesseur Llama 3. Il rivaliserait avec les meilleurs modèles fermés d'aujourd'hui, tels que GPT-4o d'OpenAI, Gemini 1.5 de Google ou Claude 3.5 d'Anthropic en « connaissances générales, mathématiques, utilisation d'outils et traduction multilingue ». Zuckerberg a prédit mardi sur Instagram que Meta AI dépasserait ChatGPT en tant qu'assistant d'IA le plus utilisé d'ici la fin de l'année.
La société note que les trois versions de Llama 3.1 bénéficieront de longueurs d'invite étendues de 128 000 jetons, permettant aux utilisateurs de fournir un contexte supplémentaire et jusqu'à l'équivalent d'un livre de documentation à l'appui. Ils prendront également en charge huit langues au lancement. De plus, Meta a modifié son accord de licence pour permettre aux développeurs d'utiliser les sorties de Llama 3.1 pour entraîner d'autres modèles.
Meta a également annoncé son partenariat avec plus d'une douzaine d'autres entreprises du secteur pour développer davantage l'écosystème Llama. Amazon, Databricks et Nvidia lanceront des suites logicielles complètes pour aider les développeurs à affiner leurs propres modèles basés sur Llama, tandis que la startup Groq a « construit un service d'inférence à faible latence et à faible coût » pour la nouvelle famille de modèles 3.1. , a écrit Zuckerberg.
Étant open source, Llama 3.1 sera disponible sur tous les principaux services cloud, notamment AWS, Google Cloud et Azure.