La fenêtre de contexte expliquée : combien une IA locale peut-elle lire d’un coup?
La fenêtre de contexte est la quantité de texte qu’un modèle peut garder en vue pendant qu’il répond : la question, les documents qu’on lui a donnés et sa propre réponse. Elle se compte en jetons, des morceaux de mots. Sur notre carte de 16 Go, le modèle garde environ 113 000 jetons, soit à peu près 250 pages. Ce qui dépasse la fenêtre doit être lu à tour de rôle ou trouvé d’abord par une recherche.
Les jetons
Les modèles ne lisent ni des lettres ni des mots. Ils lisent des jetons, de courts morceaux de texte. En anglais, un jeton vaut environ trois quarts de mot. Le français prend un peu plus de jetons pour le même contenu. Une page pleine de contrat fait environ 450 jetons.
Ce qui occupe la fenêtre
- Les consignes que le système donne au modèle.
- Les documents ou les passages placés devant lui.
- La conversation jusque-là.
- La réponse qu’il est en train d’écrire.
Quand le total dépasserait la limite, il faut laisser quelque chose de côté. Un modèle n’a aucune mémoire hors de cette fenêtre : ce qui n’y est pas n’existe pas pour cette réponse.
Pourquoi ne pas la faire la plus longue possible
- La mémoire. Chaque jeton en vue prend de la mémoire graphique. Sur notre machine, environ 23 Mo par 1 000 jetons.
- La vitesse. Lire un long contexte prend du temps avant le premier mot de la réponse, et l’écriture ralentit à mesure que la fenêtre se remplit : d’environ 41 jetons par seconde à environ 28 sur notre carte.
- L’attention. Les modèles retrouvent un fait plus sûrement au début ou à la fin d’un long contexte qu’au milieu. Une fenêtre pleine n’est pas lue avec autant de soin qu’une courte.
Quand les documents dépassent la fenêtre
- Lire à tour de rôle. Chaque document est lu seul et ses faits clés sont gardés. On répond ensuite à la question à partir des faits. Ça convient à un ensemble de contrats.
- Chercher d’abord. Trouver les passages qui correspondent à la question et ne donner que ceux-là au modèle. Ça convient à une grande bibliothèque.
- Les deux. Chercher pour choisir les documents, puis lire au complet chaque document choisi.
Voir faire répondre une IA locale à partir de vos documents.
Ordres de grandeur
| Texte | Jetons, environ |
|---|---|
| Une page | 450 |
| Un bail commercial de 40 pages | 18 000 |
| Un dossier de 250 pages | 113 000 |
| Un classeur complet | Des millions. Il faut une recherche |
Questions et réponses
- Qu’est-ce qu’une fenêtre de contexte?
- La quantité de texte qu’un modèle d’IA peut garder en vue pendant qu’il répond : la question, les documents qu’on lui donne et sa réponse, comptés en jetons.
- Combien de pages un modèle d’IA local peut-il lire d’un coup?
- Sur une carte graphique de 16 Go, nous faisons entrer environ 113 000 jetons, soit à peu près 250 pages. Les ensembles plus gros sont lus à tour de rôle ou d’abord réduits par une recherche.
- Qu’est-ce qu’un jeton?
- Un court morceau de texte qu’un modèle lit comme une seule unité. En anglais, il vaut environ trois quarts de mot.