vous avez probablement vu l'astuce circuler : dites à l'IA d'agir comme un expert dans un domaine et vous obtiendrez de meilleures réponses. C’est un conseil populaire, et cela fonctionne parfois. Cependant, une nouvelle étude suggère que l’utilisation de personnages IA pourrait ne pas être aussi efficace que nous le pensions.
Des chercheurs de l’Université de Californie ont testé 12 personnalités différentes sur six modèles linguistiques. Les personnages allaient d'experts en mathématiques et en codage à des écrivains créatifs et des moniteurs de sécurité. L’objectif était de découvrir dans quelle mesure l’IA fonctionne lorsqu’on lui demande d’agir en tant qu’expert.
Les résultats ont été mitigés. L'adoption d'un personnage a rendu l'IA plus professionnelle et a mieux suivi les règles. Mais cela a également rendu l’IA moins capable de rappeler les faits. Selon l’étude, l’utilisation d’un personnage IA le fait passer à un mode de suivi d’instructions plutôt qu’à un mode de récupération de connaissances, et ce compromis vous coûte de la précision.
Quelle est la solution ?
Pour résoudre ce problème, les chercheurs ont développé PRISM, qui signifie Persona Routing via Intent-based Self-Modeling. Au lieu de toujours utiliser un personnage ou de ne jamais en utiliser, PRISM apprend à l'IA à décider ce qui lui convient le mieux.
Lorsque vous posez une question, PRISM génère deux réponses : une à partir de son mode par défaut et une à partir de son personnage. Il compare ensuite les deux et fournit la réponse la plus performante pour une requête spécifique.
La réponse de l'expert n'est pas rejetée même lorsque la réponse par défaut l'emporte. Au lieu de cela, le style de raisonnement est enregistré dans un composant léger appelé adaptateur LoRA, sur lequel l’IA peut s’appuyer ultérieurement en cas de besoin. La solution semble simple et pourtant elle est efficace.
Comment PRISM a-t-il fonctionné ?
PRISM a augmenté le score global de l'IA d'un à deux points au MT-Bench, un test qui mesure dans quelle mesure une IA suit les instructions et reste utile. Pour les tâches d'écriture et de sécurité, les personnages ont aidé. Pour les questions de connaissances brutes, ignorer le personnage s’est avéré être la meilleure option.
Les chercheurs prévoient de tester PRISM avec davantage de personnalités et d’affiner sa capacité à fournir de meilleures réponses. Nous n’en sommes qu’à nos débuts, mais cela pourrait changer définitivement la manière dont nous incitons l’IA.
