Promythicus EN root@promythicus.com

Promythicus / Blogue

Trois façons de lire un contrat, réunies, font mieux que chacune

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Nous avons fait lire des contrats à un seul modèle d’IA local de plusieurs façons. Chacune, seule, citait de 80 à 86 % des clauses marquées par des avocats dans les contrats courts, et de 60 à 70 % dans les longs. Elles ne manquent pas les mêmes clauses. Garder ce que deux ou trois d’entre elles ont trouvé, chaque citation étant découpée dans le fichier par du code, a donné 87 % sur les contrats courts en 2,7 secondes par question et 83 % sur les longs en 25 secondes, en une seule chaîne exécutée de bout en bout. Le modèle ne tape plus ses citations : il nomme des numéros de phrases et du code colle le texte, si bien que chaque citation est mot pour mot. Une note rédigée à partir des passages gardés ne contenait aucun chiffre inventé sur 30 demandes. Rien n’a été entraîné.

Résumé : trois façons de lire réunies citent 87 % des clauses marquées sur les contrats courts et 83 % sur les longs, contre 60 à 84 % pour chacune seule; chaque citation mot pour mot

Le problème

L’assistant privé d’un cabinet doit faire trois choses avec les documents du cabinet : répondre à une question à leur sujet, montrer le passage sur lequel la réponse repose, et rédiger à partir de ce qu’il a trouvé. Nous mesurons les deux premières sur CUAD, un ensemble public de 510 contrats commerciaux (en anglais) où des avocats ont marqué les clauses qui répondent à 41 questions de révision courantes (y a-t-il un plafond de responsabilité, le contrat peut-il être cédé, quel droit s’applique).

Trois choses restaient ouvertes au début de ce travail :

L’essai

1. Copier, ne pas taper

Le contrat est montré au modèle avec chaque phrase numérotée. Le modèle n’écrit pas de citation. Il répond par des plages de numéros, « 41 à 43 », une par endroit, et du code colle le texte même du contrat. Aucune citation ne passe par le modèle; aucune ne peut donc être altérée.

Contrats courts, contrat entier lu pour chaque questionCitations tapéesOutil de copie
Clauses marquées citées82,3 %85,9 %
Citations mot pour mot90,5 %100 %
Secondes par question3,31,5

C’est plus de deux fois plus rapide, parce que le modèle écrit quelques nombres au lieu de centaines de mots, et c’est la meilleure façon de lire, seule, que nous ayons mesurée. Elle dit « trouvé » un peu plus souvent là où les avocats n’ont rien marqué.

2. Des lectures différentes, réunies

Nous avons comparé, clause par clause, ce que six méthodes avaient cité sur les mêmes contrats. Chacune obtenait de 80 à 83 %. Ensemble, elles avaient cité 89,5 % des clauses : chacune manque des clauses qu’une autre trouve. On peut donc les réunir : garder les passages de deux ou trois méthodes, ramener chacun aux mots du fichier par du code, et fusionner ceux qui se chevauchent.

Les trois que nous avons gardées sont faites de façons différentes, et c’est ce qui compte :

3. En une seule chaîne, de bout en bout

Clauses marquées citéesContrats courtsContrats longs
Lecture avec l’outil de copie, seule83,9 %69,6 %
Fiche de révision seule81,5 %68,8 %
Recherche du modèle seulenon utilisée60,1 %
Lecture et fiche87,1 %78,7 %
Toutes réunies87,1 %83,0 %
Secondes par question2,725

Les longs contrats selon leur longueur : 86 % de 40 000 à 80 000 caractères, 89 % de 80 000 à 120 000, et 74 % au-delà de 120 000. Les contrats de quinze à quarante-cinq pages sont maintenant lus aussi bien que les courts. Les plus longs restent le point faible.

Écrire la fiche coûte environ 100 secondes par contrat court, une seule fois, au classement. C’est à peu près le temps de poser les 41 questions l’une après l’autre.

Le prix de la réunion : plus de passages

Une réponse réunie renvoie davantage. Sur les contrats courts, là où les avocats n’ont rien marqué pour une question, la chaîne renvoie quand même un passage plus souvent qu’une seule lecture soignée, et environ un tiers de ses passages sont une clause marquée. Une partie du reste est juste : les avocats ont marqué étroitement, et un passage sur ce qui suit la résiliation n’est pas faux pour une question sur la résiliation. Nous n’avons pas compté combien.

Ce que nous en faisons : on demande au modèle, pour chaque passage pris seul, s’il répond à la question, oui ou non, et on lit à quel point il en est sûr. Écarter les passages dont il doute coûte trop cher (87 % tombe à 80 %). Rien n’est donc écarté. Les passages dont il est sûr sont présentés comme fermes, les autres comme possiblement liés. Les passages fermes sont une clause marquée deux fois sur trois. L’étiquette coûte 0,4 seconde par question.

4. Ce qu’il a fallu pour les longs contrats

5. D’abord, trouver le fichier

Une question nomme d’ordinaire son document de façon approximative : « le contrat d’approvisionnement avec Acme ». Parmi les 510 contrats, 980 questions de ce genre :

6. Rédiger une note à partir de ce qui a été trouvé

Une demande comme « rédige une courte note sur le contrat d’entretien avec cette société : engagement minimal, cession, échéance, droit applicable » se fait en deux étapes, comme le ferait une personne.

Réunir et garder. Le modèle trouve le fichier et le lit pour chaque point; les passages sont gardés.

Réunir pour une note en quatre pointsClauses marquées gardéesSecondes par demande
Quatre points en une lecture, citations tapées77,7 %environ 30
Un point à la fois, citations tapées83,4 %27
Un point à la fois, outil de copie84,1 %12

Écrire. Au début, le modèle écrivait la note et choisissait les passages à citer. Il ne citait qu’une partie de ce qu’on lui avait donné, et une note sur trente a été coupée. Les rôles ont donc été séparés : le modèle n’écrit que les mots de chaque section, et du code attache à la section chaque passage gardé.

Le bon fichier a été lu dans 29 demandes sur 30.

Ce qui n’a pas fonctionné

Limites

Questions et réponses

Comment empêcher une IA de mal citer un document?
En ne la laissant pas taper la citation. Dans notre essai, le contrat est montré avec des phrases numérotées, le modèle répond par des plages de numéros, et du code colle le texte. Chaque citation était mot pour mot, la lecture deux fois plus rapide, et elle trouvait plus de clauses qu’en tapant (85,9 % contre 82,3 %).
Pourquoi réunir plusieurs lectures plutôt qu’en améliorer une?
Parce qu’elles manquent des clauses différentes. Six méthodes citaient chacune de 80 à 83 % des clauses marquées sur les mêmes contrats; ensemble, elles en avaient cité 89,5 %. Réunir une fiche de révision écrite à l’arrivée et une lecture au moment de la question a donné 87 % sur les contrats courts, et 83 % sur les longs en ajoutant la recherche du modèle.
Un modèle d’IA local peut-il lire un long contrat avec exactitude?
Jusqu’à environ 120 000 caractères, oui : de 86 à 89 % des clauses marquées avec la chaîne réunie, contre 52 à 55 % pour toute méthode seule au début. Au-delà, 74 %.
Le modèle invente-t-il des chiffres quand il rédige une note?
Pas dans cet essai. Le modèle n’écrivait que le texte et du code attachait les passages gardés. Sur 61 nombres, dates et montants dans 30 notes, un seul n’était pas dans les passages cités, et c’était un numéro d’article.

Sources