Trois façons de lire un contrat, réunies, font mieux que chacune
Nous avons fait lire des contrats à un seul modèle d’IA local de plusieurs façons. Chacune, seule, citait de 80 à 86 % des clauses marquées par des avocats dans les contrats courts, et de 60 à 70 % dans les longs. Elles ne manquent pas les mêmes clauses. Garder ce que deux ou trois d’entre elles ont trouvé, chaque citation étant découpée dans le fichier par du code, a donné 87 % sur les contrats courts en 2,7 secondes par question et 83 % sur les longs en 25 secondes, en une seule chaîne exécutée de bout en bout. Le modèle ne tape plus ses citations : il nomme des numéros de phrases et du code colle le texte, si bien que chaque citation est mot pour mot. Une note rédigée à partir des passages gardés ne contenait aucun chiffre inventé sur 30 demandes. Rien n’a été entraîné.
Le problème
L’assistant privé d’un cabinet doit faire trois choses avec les documents du cabinet : répondre à une question à leur sujet, montrer le passage sur lequel la réponse repose, et rédiger à partir de ce qu’il a trouvé. Nous mesurons les deux premières sur CUAD, un ensemble public de 510 contrats commerciaux (en anglais) où des avocats ont marqué les clauses qui répondent à 41 questions de révision courantes (y a-t-il un plafond de responsabilité, le contrat peut-il être cédé, quel droit s’applique).
Trois choses restaient ouvertes au début de ce travail :
- Un plafond. Lire le contrat entier pour chaque question citait 82 % des clauses marquées. Un plan que le modèle écrit lui-même donnait 81 %, et le modèle faisant sa propre recherche, 83 %. Des méthodes différentes, le même résultat.
- Les longs contrats. Au-delà de 40 000 caractères (une quinzaine de pages), toutes les méthodes tombaient à 52-55 %.
- Les citations. Le modèle tapait ses citations, et de 5 à 10 % d’entre elles n’étaient pas mot pour mot ce que dit le contrat.
L’essai
- Modèle : une variante à précision mixte de Qwen 3.8 27B qui tourne sur une seule carte graphique de 16 Go. Il fait toutes les étapes. Rien n’a été entraîné ni ajusté sur des contrats.
- Contrats courts : dix contrats, 410 questions, 248 clauses marquées.
- Contrats longs : 117 questions sur des fichiers de 40 000 à 335 000 caractères, 253 clauses marquées.
- Rédaction : 30 demandes de note en quatre points sur un contrat nommé de façon approximative parmi les 510.
- Mesure : une clause marquée compte comme citée quand une citation la contient, y est contenue, ou partage la moitié de ses mots.
1. Copier, ne pas taper
Le contrat est montré au modèle avec chaque phrase numérotée. Le modèle n’écrit pas de citation. Il répond par des plages de numéros, « 41 à 43 », une par endroit, et du code colle le texte même du contrat. Aucune citation ne passe par le modèle; aucune ne peut donc être altérée.
| Contrats courts, contrat entier lu pour chaque question | Citations tapées | Outil de copie |
|---|---|---|
| Clauses marquées citées | 82,3 % | 85,9 % |
| Citations mot pour mot | 90,5 % | 100 % |
| Secondes par question | 3,3 | 1,5 |
C’est plus de deux fois plus rapide, parce que le modèle écrit quelques nombres au lieu de centaines de mots, et c’est la meilleure façon de lire, seule, que nous ayons mesurée. Elle dit « trouvé » un peu plus souvent là où les avocats n’ont rien marqué.
2. Des lectures différentes, réunies
Nous avons comparé, clause par clause, ce que six méthodes avaient cité sur les mêmes contrats. Chacune obtenait de 80 à 83 %. Ensemble, elles avaient cité 89,5 % des clauses : chacune manque des clauses qu’une autre trouve. On peut donc les réunir : garder les passages de deux ou trois méthodes, ramener chacun aux mots du fichier par du code, et fusionner ceux qui se chevauchent.
Les trois que nous avons gardées sont faites de façons différentes, et c’est ce qui compte :
- Une fiche de révision écrite à l’arrivée du contrat. Le modèle lit le contrat une fois et note, pour chacun des 41 points courants, chaque passage qui en traite. Une question ultérieure sur l’un de ces points est une simple consultation : aucune lecture, aucune carte graphique. L’idée de faire écrire une table par le modèle pour la relire ensuite vient d’Ok et Lee (lien plus bas). Seule : 81,5 %, et la meilleure de toutes pour dire si le contrat contient ou non une telle clause.
- Une lecture au moment de la question, avec l’outil de copie. Seule : de 84 à 86 %.
- La recherche du modèle lui-même, pour les longs contrats : il choisit douze passages d’après ses états internes et lit ceux-là.
3. En une seule chaîne, de bout en bout
| Clauses marquées citées | Contrats courts | Contrats longs |
|---|---|---|
| Lecture avec l’outil de copie, seule | 83,9 % | 69,6 % |
| Fiche de révision seule | 81,5 % | 68,8 % |
| Recherche du modèle seule | non utilisée | 60,1 % |
| Lecture et fiche | 87,1 % | 78,7 % |
| Toutes réunies | 87,1 % | 83,0 % |
| Secondes par question | 2,7 | 25 |
Les longs contrats selon leur longueur : 86 % de 40 000 à 80 000 caractères, 89 % de 80 000 à 120 000, et 74 % au-delà de 120 000. Les contrats de quinze à quarante-cinq pages sont maintenant lus aussi bien que les courts. Les plus longs restent le point faible.
Écrire la fiche coûte environ 100 secondes par contrat court, une seule fois, au classement. C’est à peu près le temps de poser les 41 questions l’une après l’autre.
Le prix de la réunion : plus de passages
Une réponse réunie renvoie davantage. Sur les contrats courts, là où les avocats n’ont rien marqué pour une question, la chaîne renvoie quand même un passage plus souvent qu’une seule lecture soignée, et environ un tiers de ses passages sont une clause marquée. Une partie du reste est juste : les avocats ont marqué étroitement, et un passage sur ce qui suit la résiliation n’est pas faux pour une question sur la résiliation. Nous n’avons pas compté combien.
Ce que nous en faisons : on demande au modèle, pour chaque passage pris seul, s’il répond à la question, oui ou non, et on lit à quel point il en est sûr. Écarter les passages dont il doute coûte trop cher (87 % tombe à 80 %). Rien n’est donc écarté. Les passages dont il est sûr sont présentés comme fermes, les autres comme possiblement liés. Les passages fermes sont une clause marquée deux fois sur trois. L’étiquette coûte 0,4 seconde par question.
4. Ce qu’il a fallu pour les longs contrats
- La recherche n’était pas l’étape faible. Pour les fichiers jusqu’à 120 000 caractères, 92 % des clauses marquées se trouvaient dans les douze passages lus par le modèle. Il en citait de 51 à 62 %. Les longs contrats ont plus de clauses par question, et le modèle s’arrêtait après une ou deux.
- Une seule consigne changée, « le point peut être traité à plusieurs endroits; citez-les tous », a fait passer les longs contrats de 52 % à 62 %. Sur les contrats courts, la même consigne ne fait rien ou nuit un peu.
- Lire le fichier entier par parties d’environ 30 000 caractères, chacune avec cette consigne, a donné 68 %, et 70 % avec l’outil de copie.
- Réunir la lecture, la fiche et la recherche a donné 83 %.
5. D’abord, trouver le fichier
Une question nomme d’ordinaire son document de façon approximative : « le contrat d’approvisionnement avec Acme ». Parmi les 510 contrats, 980 questions de ce genre :
- Un simple index de mots sur la première page de chaque fichier, à qui l’on donne seulement le nom et la partie, place le bon fichier en premier 89 % du temps et dans les cinq premiers 98 %. Le modèle sépare « quel fichier » de « ce qui est demandé » en moins de deux secondes.
- Des fiches que le modèle écrit pour chaque fichier n’ont pas fait mieux que la première page du fichier.
- La plupart des erreurs sont des questions qui conviennent à plusieurs fichiers, parce que la même société a signé plusieurs ententes du même genre. Avec un seul candidat, le bon fichier est choisi 93 % du temps; avec plusieurs, 61 %. Le logiciel doit montrer les candidats et demander, pas deviner.
6. Rédiger une note à partir de ce qui a été trouvé
Une demande comme « rédige une courte note sur le contrat d’entretien avec cette société : engagement minimal, cession, échéance, droit applicable » se fait en deux étapes, comme le ferait une personne.
Réunir et garder. Le modèle trouve le fichier et le lit pour chaque point; les passages sont gardés.
| Réunir pour une note en quatre points | Clauses marquées gardées | Secondes par demande |
|---|---|---|
| Quatre points en une lecture, citations tapées | 77,7 % | environ 30 |
| Un point à la fois, citations tapées | 83,4 % | 27 |
| Un point à la fois, outil de copie | 84,1 % | 12 |
Écrire. Au début, le modèle écrivait la note et choisissait les passages à citer. Il ne citait qu’une partie de ce qu’on lui avait donné, et une note sur trente a été coupée. Les rôles ont donc été séparés : le modèle n’écrit que les mots de chaque section, et du code attache à la section chaque passage gardé.
- 30 notes sur 30 écrites, en 8,7 secondes chacune.
- Chaque passage cité est mot pour mot dans le contrat.
- Sur 61 nombres, dates et montants dans le texte même des notes, un seul n’était pas dans les passages cités : un numéro d’article. Aucun chiffre sur un contrat n’a été inventé.
- Les 19 sections sans passage gardé ont toutes dit que rien n’avait été trouvé dans le contrat sur ce point.
Le bon fichier a été lu dans 29 demandes sur 30.
Ce qui n’a pas fonctionné
- Des notes écrites sans question en tête. Le modèle écrivait une ligne sur chaque passage, nommant chaque point de droit qu’il contient, puis choisissait des passages d’après ces lignes : 79,8 %, le plus bas de tous.
- La table écrite pour trouver le fichier : de 76 à 80 % de bons fichiers en premier, contre 88 % pour le simple index de mots.
- Écrire aussi la fiche avec l’outil de copie. Les longs contrats sont tombés de 83 % à 75 %. Deux lectures faites de la même façon manquent les mêmes clauses. La réunion gagne à ce que les méthodes diffèrent.
- Lire en entier ou par parties. Nous pensions que l’outil de copie ferait mieux en lisant un contrat de 100 000 caractères en un seul appel que par parties. Aucune différence : 74,4 % contre 73,9 %, et un résultat identique une fois les lectures réunies.
Limites
- Un seul passage de chaque essai. Avec environ 250 clauses marquées, deux points de plus ou de moins sont du bruit.
- Des contrats commerciaux en anglais et les 41 points de révision de CUAD. La fiche ne répond qu’aux points pour lesquels elle a été écrite, et l’essai tient le point de la question pour connu. Les deux autres lectures acceptent n’importe quelle question.
- Sur les longs contrats, l’étape de recherche reprend les passages de son propre essai antérieur; son temps est compté.
- La vérification de la note porte sur ce qui est cité et sur les chiffres. Une phrase peut citer un vrai passage et mal le rapporter; cela n’est pas mesuré.
- La mesure est la nôtre. Ces chiffres ne se comparent pas aux résultats publiés sur CUAD.
Questions et réponses
- Comment empêcher une IA de mal citer un document?
- En ne la laissant pas taper la citation. Dans notre essai, le contrat est montré avec des phrases numérotées, le modèle répond par des plages de numéros, et du code colle le texte. Chaque citation était mot pour mot, la lecture deux fois plus rapide, et elle trouvait plus de clauses qu’en tapant (85,9 % contre 82,3 %).
- Pourquoi réunir plusieurs lectures plutôt qu’en améliorer une?
- Parce qu’elles manquent des clauses différentes. Six méthodes citaient chacune de 80 à 83 % des clauses marquées sur les mêmes contrats; ensemble, elles en avaient cité 89,5 %. Réunir une fiche de révision écrite à l’arrivée et une lecture au moment de la question a donné 87 % sur les contrats courts, et 83 % sur les longs en ajoutant la recherche du modèle.
- Un modèle d’IA local peut-il lire un long contrat avec exactitude?
- Jusqu’à environ 120 000 caractères, oui : de 86 à 89 % des clauses marquées avec la chaîne réunie, contre 52 à 55 % pour toute méthode seule au début. Au-delà, 74 %.
- Le modèle invente-t-il des chiffres quand il rédige une note?
- Pas dans cet essai. Le modèle n’écrivait que le texte et du code attachait les passages gardés. Sur 61 nombres, dates et montants dans 30 notes, un seul n’était pas dans les passages cités, et c’était un numéro d’article.
