Anthropic vise à résoudre l’un des plus gros problèmes actuels de l’IA
Dans la foulée de l'annonce selon laquelle son grand modèle de langage Claude 3.5 Sonnet a battu d'autres modèles phares , notamment GPT-4o et Llama-400B, la startup d'IA Anthropic a annoncé lundi son intention de lancer un nouveau programme pour financer le développement de logiciels indépendants, des tests de référence tiers par rapport auxquels évaluer ses prochains modèles.
Selon un article de blog, la société est prête à payer des développeurs tiers pour créer des références capables de « mesurer efficacement les capacités avancées des modèles d’IA ».
"Notre investissement dans ces évaluations vise à élever l'ensemble du domaine de la sécurité de l'IA, en fournissant des outils précieux qui profitent à l'ensemble de l'écosystème", a écrit Anthropic dans un article de blog publié lundi . « Développer des évaluations de haute qualité et pertinentes en matière de sécurité reste un défi, et la demande dépasse l'offre. »
L’entreprise souhaite que des critères soient soumis pour aider à mesurer le « niveau de sécurité » relatif d’une IA en fonction d’un certain nombre de facteurs, notamment sa résistance aux tentatives de coercition qui pourraient inclure la cybersécurité ; produits chimiques, biologiques, radiologiques et nucléaires (CBRN) ; et le désalignement, la manipulation sociale et d’autres risques pour la sécurité nationale. Anthropic recherche également des points de référence pour aider à évaluer les capacités avancées des modèles et est disposé à financer « le développement de dizaines de milliers de nouvelles questions d'évaluation et de tâches de bout en bout qui mettraient au défi même les étudiants diplômés », testant essentiellement la capacité d'un modèle à synthétiser des connaissances provenant de diverses sources, sa capacité à refuser les demandes d'utilisateurs malveillantes intelligemment formulées et sa capacité à répondre dans plusieurs langues.
Anthropic recherche des tâches « suffisamment difficiles » et à volume élevé pouvant impliquer jusqu'à « des milliers » de testeurs dans un ensemble diversifié de formats de test qui aident l'entreprise à éclairer ses efforts de modélisation des menaces « réalistes et pertinents pour la sécurité ». Tous les développeurs intéressés sont invités à soumettre leurs propositions à l'entreprise, qui prévoit de les évaluer sur une base continue.