Le nouvel outil Guardrails de Nvidia résout le plus gros problème avec les chatbots AI
Nvidia présente son nouvel outil NeMo Guardrails pour les développeurs d'IA, et il promet de rendre les chatbots d'IA comme ChatGPT un peu moins fous. Le logiciel open source est désormais disponible pour les développeurs et se concentre sur trois domaines pour rendre les chatbots IA plus utiles et moins dérangeants.
L'outil se situe entre l'utilisateur et le Large Language Model (LLM) avec lequel il interagit. C'est une sécurité pour les chatbots, qui interceptent les réponses avant qu'elles n'atteignent le modèle de langage pour empêcher le modèle de répondre ou pour lui donner des instructions spécifiques sur la façon de répondre.
Nvidia dit que NeMo Guardrails se concentre sur les limites d'actualité, de sécurité et de sécurité. L'orientation thématique semble être la plus utile, car elle oblige le LLM à rester dans une gamme particulière de réponses. Nvidia a fait la démonstration de Guardrails en montrant un chatbot formé sur la base de données RH de l'entreprise. Lorsqu'on lui a posé une question sur les finances de Nvidia, il a donné une réponse standardisée programmée avec NeMo Guardrails.
Ceci est important en raison des nombreuses soi-disant hallucinations que nous avons vues sur les chatbots IA. Bing Chat de Microsoft , par exemple, nous a fourni plusieurs réponses bizarres et factuellement incorrectes dans notre première démo. Face à une question que le LLM ne comprend pas, il invente souvent une réponse pour tenter de satisfaire la requête. NeMo Guardrails vise à mettre un terme à ces réponses inventées.
Les principes de sûreté et de sécurité se concentrent sur le filtrage des réponses indésirables du LLM et l'empêchent d'être manipulé par les utilisateurs. Comme nous l'avons déjà vu, vous pouvez jailbreaker ChatGPT et d'autres chatbots IA. NeMo Guardrails prendra ces requêtes et les empêchera d'atteindre le LLM.
Bien que NeMo Guardrails soit conçu pour garder les chatbots sur le sujet et précis, ce n'est pas une solution fourre-tout. Nvidia dit que cela fonctionne mieux comme deuxième ligne de défense, et que les entreprises développant et déployant des chatbots devraient toujours former le modèle sur un ensemble de garanties.
Les développeurs doivent également personnaliser l'outil pour l'adapter à leurs applications. Cela permet à NeoMo Guardrails de s'asseoir au-dessus du middleware que les modèles d'IA utilisent déjà, comme LangChain, qui fournit déjà un cadre pour la façon dont les chatbots d'IA sont censés interagir avec les utilisateurs.
En plus d'être open-source, Nvidia propose également NeMo Guardrails dans le cadre de son service AI Foundations . Ce package fournit plusieurs modèles et frameworks pré-formés pour les entreprises qui n'ont pas le temps ou les ressources nécessaires pour former et maintenir leurs propres modèles.