La mémoire de l'IA, expliquée
Qu'est-ce que la mémoire de l'IA — et pourquoi une fenêtre de contexte plus grande ne suffit pas
La « mémoire de l'IA », c'est la capacité d'un assistant à retenir dans la durée ce qui compte pour vous — vos documents, vos décisions, votre histoire — et à ressortir le bon élément quand vous posez la question. La version naïve consiste à tout coller dans un seul très long prompt. La recherche montre que cela échoue en silence. Voici le meilleur modèle.
La fenêtre de contexte n'est pas une mémoire
La fenêtre de contexte d'un modèle est son espace de travail à court terme. Elle est bornée, et dès qu'un élément en sort, le modèle se comporte comme s'il n'avait jamais existé. L'agrandir aide un peu, mais ne transforme pas le contexte court en mémoire durable — et cela crée ses propres problèmes.
- Les modèles lisent moins bien le milieu d'un long contexte : ce qui y est enfoui passe souvent à la trappe.
- Empiler du texte cesse d'aider — et se met à nuire sur beaucoup de modèles — bien avant que la fenêtre soit pleine.
- Le contexte long coûte cher : vous payez le retraitement de tout, à chaque requête.
Une vraie mémoire est structurée et gérée
L'alternative, empruntée à des décennies de conception de systèmes, est une hiérarchie de mémoire : garder un petit ensemble de travail dans la fenêtre et un grand stock organisé en dehors, puis faire remonter les bons morceaux à la demande. La valeur ne tient pas à ce que vous arrivez à entasser dans un prompt, mais à la qualité de la sélection du bon extrait. C'est la structure, pas le volume, qui fait fonctionner la mémoire.
C'est ce que construit FocusLM : un agent vous interroge pour comprendre le sujet, conçoit une ontologie de dossiers, écrit ses propres règles de classement et range tout ce que vous lui donnez dans une mémoire structurée, en markdown inspectable et exportable. Quand vous posez une question, il fait remonter les passages pertinents et sourcés — d'où qu'ils viennent.
La recherche, en clair
Des explications courtes et sourcées des travaux qui sous-tendent tout ceci — chacune avec un schéma original.
Chiffrer la mémoire de l'IA : pourquoi une clé par projet vaut mieux qu'une par base
Une IA qui se souvient de votre vie détient de la matière que vous ne confieriez pas à un inconnu. Nous chiffrons chaque fichier de mémoire et chaque message de chat avec une clé qui appartient à ce seul projet, et la recherche explique pourquoi les alternatives évidentes fuient.
Plus de contexte n’est pas toujours mieux : ce qui se passe au-delà de 64k tokens
Une vaste étude portant sur plus de 20 modèles a constaté qu’entasser davantage de texte récupéré dans le prompt cesse souvent d’aider — et, pour de nombreux modèles, commence à nuire — bien avant que la fenêtre ne soit pleine. Plus grand n’est pas synonyme de mieux.
Et si un LLM gérait la mémoire comme un système d’exploitation ?
La fenêtre de contexte est petite et fixe. MemGPT emprunte une idée vieille de 40 ans aux systèmes d’exploitation — une hiérarchie de mémoire avec pagination — pour permettre à un modèle de travailler avec bien plus d’informations qu’il n’en tient dans la fenêtre.
RAG ou long contexte : lequel devriez-vous vraiment utiliser ?
Quand un modèle peut lire un million de tokens, la récupération est-elle obsolète ? Une étude de Google DeepMind répond non — le long contexte l’emporte sur la qualité quand on peut se le permettre, la récupération l’emporte sur le coût, et un simple routeur récupère l’essentiel des deux.
Perdu au milieu : pourquoi les longues fenêtres de contexte échouent en silence
Les LLM exploitent le début et la fin d’un long contexte bien mieux que son milieu — un effet en U qui persiste même dans les modèles conçus pour le long contexte. Voici ce que montre la recherche et ce que cela implique.