Apple s’attaque aujourd’hui à l’un des aspects les plus frustrants de l’IA

Hibou Gourou
Apple Intelligence sur l'IA
Pomme

À mesure que des entreprises comme Google , Anthropic et OpenAI mettent à jour et mettent à niveau leurs modèles d'IA, la façon dont ces LLM interagissent avec les utilisateurs va certainement changer également. Cependant, s'habituer au nouveau système peut devenir un problème pour les utilisateurs qui doivent ensuite ajuster la façon dont ils posent leurs requêtes afin d'obtenir les résultats qu'ils attendent. Une équipe de recherche Apple a développé une nouvelle méthode pour rationaliser cette transition de mise à niveau tout en réduisant les incohérences entre les deux versions jusqu'à 40 %.

Dans le cadre de leur étude « MUSCLE : A Model Update Strategy for Compatible LLM Evolution », publiée le 15 juillet, les chercheurs affirment que lors de la mise à niveau de leurs modèles, les développeurs ont tendance à se concentrer davantage sur l'amélioration des performances globales, plutôt que de s'assurer que la transition entre les modèles est transparent pour l’utilisateur. Cela implique de s'assurer que les retournements négatifs, dans lesquels le nouveau modèle prédit une sortie incorrecte pour un échantillon de test correctement prédit par l'ancien modèle, sont réduits au minimum.

En effet, selon les auteurs de l’étude, chaque utilisateur a ses propres bizarreries, arguties et façons personnalisées d’interagir avec les chatbots. Devoir continuellement ajuster et adapter la manière dont ils interagissent avec un modèle peut devenir une affaire épuisante, qui va à l'encontre de l'expérience utilisateur souhaitée par Apple.

L’équipe de recherche soutient même que les prédictions incorrectes de l’IA devraient persister entre les versions : « Il est utile d’être cohérent lorsque les deux modèles sont incorrects », ont-ils écrit. "Un utilisateur peut avoir développé des stratégies d'adaptation sur la manière d'interagir avec un modèle lorsqu'il est incorrect."

Pour résoudre ce problème, les chercheurs ont d’abord développé des mesures permettant de mesurer le degré de régression entre les modèles, puis ont développé une stratégie pour minimiser leur apparition. Le résultat est MUSCLE, une stratégie qui n'oblige pas les développeurs à recycler l'intégralité du modèle de base et qui repose plutôt sur l'utilisation d'adaptateurs de formation. Adaptateurs de petits modules d'IA qui peuvent s'intégrer à différents points du LLM global.

Les développeurs peuvent ensuite affiner ces modules spécifiques au lieu du modèle entier. Cela permet au modèle dans son ensemble d'effectuer des tâches distinctes pour une fraction du coût de formation et avec seulement une légère augmentation du nombre de paramètres. Ce sont essentiellement des plug-ins pour de grands modèles de langage qui nous permettent d'affiner des sections spécifiques de l'IA globale au lieu de l'ensemble.

L'équipe de recherche a mis à niveau les LLM, notamment Meta's Llama et Microsoft's Phi, dans le cadre de leur étude, en utilisant des requêtes mathématiques spécifiques comme échantillons, et a constaté que des retournements négatifs se produisaient jusqu'à 60 % du temps. En intégrant la stratégie MUSCLE, l’équipe n’a pas pu éliminer complètement les retournements négatifs, mais elle a réussi à réduire leur apparition jusqu’à 40 % par rapport au contrôle.