Promythicus EN root@promythicus.com

Promythicus / Blogue

La fenêtre de contexte expliquée : combien une IA locale peut-elle lire d’un coup?

Par Bardia Shahrestani, Promythicus Inc. · Publié le

La fenêtre de contexte est la quantité de texte qu’un modèle peut garder en vue pendant qu’il répond : la question, les documents qu’on lui a donnés et sa propre réponse. Elle se compte en jetons, des morceaux de mots. Sur notre carte de 16 Go, le modèle garde environ 113 000 jetons, soit à peu près 250 pages. Ce qui dépasse la fenêtre doit être lu à tour de rôle ou trouvé d’abord par une recherche.

Les jetons

Les modèles ne lisent ni des lettres ni des mots. Ils lisent des jetons, de courts morceaux de texte. En anglais, un jeton vaut environ trois quarts de mot. Le français prend un peu plus de jetons pour le même contenu. Une page pleine de contrat fait environ 450 jetons.

Ce qui occupe la fenêtre

Quand le total dépasserait la limite, il faut laisser quelque chose de côté. Un modèle n’a aucune mémoire hors de cette fenêtre : ce qui n’y est pas n’existe pas pour cette réponse.

Pourquoi ne pas la faire la plus longue possible

Quand les documents dépassent la fenêtre

  1. Lire à tour de rôle. Chaque document est lu seul et ses faits clés sont gardés. On répond ensuite à la question à partir des faits. Ça convient à un ensemble de contrats.
  2. Chercher d’abord. Trouver les passages qui correspondent à la question et ne donner que ceux-là au modèle. Ça convient à une grande bibliothèque.
  3. Les deux. Chercher pour choisir les documents, puis lire au complet chaque document choisi.

Voir faire répondre une IA locale à partir de vos documents.

Ordres de grandeur

TexteJetons, environ
Une page450
Un bail commercial de 40 pages18 000
Un dossier de 250 pages113 000
Un classeur completDes millions. Il faut une recherche

Questions et réponses

Qu’est-ce qu’une fenêtre de contexte?
La quantité de texte qu’un modèle d’IA peut garder en vue pendant qu’il répond : la question, les documents qu’on lui donne et sa réponse, comptés en jetons.
Combien de pages un modèle d’IA local peut-il lire d’un coup?
Sur une carte graphique de 16 Go, nous faisons entrer environ 113 000 jetons, soit à peu près 250 pages. Les ensembles plus gros sont lus à tour de rôle ou d’abord réduits par une recherche.
Qu’est-ce qu’un jeton?
Un court morceau de texte qu’un modèle lit comme une seule unité. En anglais, il vaut environ trois quarts de mot.

Sources