L’intuition est séduisante : si un peu de contexte récupéré aide, en ajouter davantage doit aider davantage. Récupérez cinquante documents plutôt que cinq. Une vaste étude comparative a montré que l’intuition se brise.
TL;DR
- Ajouter davantage de contexte récupéré aide — jusqu’à un certain point, puis cela plafonne.
- Pour de nombreux modèles, l’exactitude décline même une fois que le contexte devient très long.
- Seuls les modèles les plus performants tiennent à très long contexte ; la plupart se dégradent plus tôt.
La tentation du « il suffit d’en récupérer plus »
Dans un système de récupération, vous choisissez la quantité à rapporter. Puisque les longues fenêtres sont peu coûteuses à remplir, pourquoi ne pas récupérer généreusement et laisser le modèle trier ? L’espoir est que davantage de passages récupérés augmente la probabilité que la réponse se trouve quelque part dans le prompt.
Ce que montre la recherche
Dans Long Context RAG Performance of LLMs, des chercheurs de Databricks ont mené des expériences de récupération sur 20 modèles open source et commerciaux — couvrant les grandes familles — à partir de trois jeux de données propres à des domaines spécifiques. Pour chacun, ils ont maintenu le récupérateur fixe et augmenté régulièrement la quantité de contexte récupéré fourni au modèle, de 2 000 à 128 000 tokens (et jusqu’à deux millions lorsque le modèle le permettait), en mesurant l’exactitude des réponses à chaque étape.
Le schéma était constant : l’exactitude s’améliore d’abord à mesure que l’on ajoute du contexte, puis sature, et pour de nombreux modèles décline à mesure que le contexte continue de croître. Fait crucial, seule une poignée des modèles les plus récents et les plus avancés ont maintenu leur exactitude au-delà d’environ 64 000 tokens ; la plupart ont culminé plus tôt puis chuté. Davantage de tokens dans la fenêtre ne se traduisait pas par davantage de réponses correctes.
Remplir la fenêtre est facile. Amener le modèle à tout utiliser est la partie difficile — et passé un certain point, en ajouter davantage joue contre vous.
Cela concorde avec deux choses que nous avons déjà vues : les modèles sous-lisent le milieu d’un long contexte, et le long contexte échange du coût contre de la qualité. Entasser du texte récupéré pousse davantage de signal pertinent dans ce milieu sous-lu et fait payer chaque token supplémentaire.
Ce que cela signifie pour vous
La règle pratique, c’est la précision plutôt que le volume. Quelques passages hautement pertinents et bien placés l’emportent sur un déversement massif de texte vaguement lié — et coûtent moins cher. Si la qualité des réponses de votre système plafonne, le correctif est en général une meilleure sélection, et non davantage de contexte récupéré.
Où FocusLM intervient
FocusLM est construit autour de la précision. Parce que votre contenu est classé sous forme de mémoire structurée plutôt qu’en un tas informe, le système peut faire remonter les quelques passages qui portent réellement sur votre question — avec des citations — au lieu d’inonder le modèle de tout et d’espérer. C’est la leçon même qu’enseigne le benchmark, intégrée au produit : le bon contexte, pas le plus de contexte.