Veille IA

securiteagentsbenchmarkevaluationrecherche

Injection de prompt : benchmark RAG et entraînement d’agents web

Deux prépublications proposent des approches complémentaires contre l’injection de prompt : un benchmark pour les systèmes RAG et un entraînement adversarial pour les agents web. Les résultats portent respectivement sur 4 876 exemples et 150 tâches web.

Contexte

Les systèmes RAG et les agents web ingèrent des contenus produits par des tiers. Ces contenus peuvent inclure des instructions destinées à détourner le modèle de la demande initiale. Deux prépublications du 6 octobre 2026 abordent ce risque à des niveaux différents : la détection des injections dans les documents récupérés et l’entraînement d’agents face à des attaques adaptatives.

Ce qui change

RAG-PIBench introduit un benchmark de 4 876 exemples contextualisés, répartis entre des ensembles d’entraînement, de validation et de test protégé. Sa construction vise à limiter les fuites entre ces ensembles. Les auteurs comparent des détecteurs par mots-clés, références sémantiques, TF-IDF et transformers. DistilBERT obtient les meilleurs résultats annoncés sur le test protégé, avec un score F1 de 0,896 et une PR-AUC de 0,968. Les régressions logistiques et SVM fondées sur TF-IDF restent toutefois compétitives.

AdvSim2Real cible les agents web. La méthode fait évoluer conjointement un curriculum de tâches, un adversaire générant des injections et un agent de 4 milliards de paramètres, au sein d’un modèle du monde web gelé. Le curriculum privilégie les tâches réussies environ une fois sur deux. L’adversaire est récompensé lorsqu’une injection transforme une réussite en échec. Sur 150 tâches, les auteurs rapportent une hausse relative de 33,6 % du taux d’achèvement sous une attaque issue d’un modèle de pointe non utilisé pendant l’entraînement. Ils indiquent également un transfert du gain de capacité vers un navigateur réel.

Pourquoi c'est important

Ces travaux couvrent deux contrôles complémentaires. RAG-PIBench fournit un protocole pour comparer les filtres placés avant la génération, tandis qu’AdvSim2Real cherche à renforcer directement le comportement d’un agent exposé à des contenus hostiles.

Les résultats rappellent aussi l’intérêt de conserver des baselines simples : sur RAG-PIBench, les méthodes TF-IDF restent concurrentielles malgré la meilleure performance de DistilBERT. Les chiffres des deux études ne sont pas directement comparables, car elles évaluent des systèmes, des attaques et des métriques différents. Il s’agit par ailleurs de prépublications dont les résultats restent à reproduire indépendamment.

Sources