Promythicus EN root@promythicus.com

Promythicus / Blogue

Un plan que l’IA écrit elle-même fait mieux que la recherche dans le contrat

Par Bardia Shahrestani, Promythicus Inc. · Publié le · Mis à jour le

Au test CUAD de révision de contrats, un modèle local qui écrit d’abord une ligne d’étiquette pour chaque partie du contrat, puis choisit les parties à lire à partir de ce plan, a cité 81 % des clauses que des avocats avaient marquées. La meilleure recherche en a cité 71 % en lisant la même quantité de texte, et la lecture du contrat entier, 82 %. Aucun entraînement n’a été nécessaire. Le plan coûte de 22 à 31 secondes par contrat, une seule fois; une question prend ensuite environ 2,7 secondes. Tout a tourné sur un seul poste de travail, avec une carte graphique de 16 Go, sans nuage.

Résumé des résultats : clauses citées, 71 % avec la recherche, 77 % avec la recherche et le plan, 81 % avec le plan, 82 % en lisant tout le contrat

Où le premier essai s’était arrêté

Dans notre premier essai, chercher dans un contrat et ne lire que les meilleurs passages était rapide, mais coûtait en exactitude : le modèle citait 71 % des clauses marquées par des avocats, contre 82 % en lisant tout le contrat. Le modèle citait presque tout ce que la recherche lui mettait sous les yeux; la perte venait donc de la recherche.

L’idée

Un article récent, STAIR, prend un autre chemin. Au lieu de comparer la question à des passages, il montre à un modèle de langage la table des matières du document et lui demande quelle section contient la réponse. Une personne fait de même devant un long document.

Nous ne pouvions pas reprendre la méthode telle que publiée, pour deux raisons. Elle entraîne un modèle sur chaque collection de documents. Et elle exige une vraie table des matières, que la plupart des contrats de ce test n’ont pas. Nous avons donc essayé la version simple, sans entraînement :

Mêmes données, même machine et même modèle qu’au premier essai : CUAD, un poste de travail avec une carte graphique de 16 Go, une variante à précision mixte de Qwen 3.8 27B qui tourne sur une seule carte graphique de 16 Go. La recherche servant de comparaison est la meilleure du premier essai.

La bonne clause est-elle dans ce qui est lu

Sur 30 des 102 contrats du test (374 questions qui ont une réponse, 820 clauses marquées), nous avons vérifié ce que chaque méthode remettrait au modèle, pour la même quantité de lecture.

Ce qui est luBonne clause trouvée, environ 6 000 caractèresClauses marquées couvertesBonne clause trouvée, environ 12 000 caractères
Meilleure recherche87 %70 %93 %
Plan91 %82 %94 %
Recherche et plan combinés93 %81 %97 %

Le plan trouve le bon endroit un peu plus souvent que la recherche. L’écart le plus net est dans la troisième colonne : quand une question a plusieurs clauses marquées, le plan en ramène beaucoup plus.

Ce que le modèle a ensuite répondu

Puis l’essai complet, sur les dix mêmes contrats et les 410 mêmes questions qu’au premier essai, avec la même notation.

Façon de lireClauses marquées citéesCitations mot pour motTexte lu par question
Meilleure recherche, puis lecture71 %98 %environ 1 200 jetons
Recherche et plan combinés77 %95 %environ 1 200 jetons
Plan, 4 parties81 %95 %environ 1 200 jetons
Plan, 8 parties82 %94 %environ 2 100 jetons
Lecture du contrat entier82 %91 %environ 8 400 jetons

En lisant quatre parties choisies à partir du plan, soit environ le septième du contrat, le modèle a cité 81 % des clauses marquées. En lisant tout le contrat, 82 %.

Combiner les deux méthodes a donné moins que le plan seul, même si la combinaison trouvait le bon passage un peu plus souvent. Le plan fait lire des parties entières du contrat, dans leur ordre; la combinaison fait lire de courts morceaux pris à plusieurs endroits. Notre lecture : le modèle cite plus complètement à partir d’un texte continu.

Ce que cela coûte

Pour un cabinet, le plan s’écrit au classement du document, pas au moment de la question. Mille contrats demanderaient environ neuf heures de machine, une seule fois (environ six après les changements ci-dessous).

Aller plus vite

Nous avons ensuite cherché à réduire ces temps, sur les dix mêmes contrats et les mêmes questions.

ChangementPlan, par contratPar question, choix et réponseClauses marquées citées
Premier essai31 s4,3 s81 %
Le modèle nomme 4 parties au lieu de 8 au plus31 s4,0 s82 %
Le même, avec le réglage rapide du serveur31 s2,6 s82 %
Le même, les étiquettes écrites huit à la fois22 s2,7 s82 %
Un petit modèle (4 milliards de paramètres) écrit les étiquettes3 s3,9 s72 %

Une question est passée de 4,3 secondes à 2,7 avec la même exactitude, et le plan de 31 secondes par contrat à 22. Avec le réglage rapide, le modèle écrit deux mots d’avance et les vérifie, au prix d’un document maximal plus court. Écrire les étiquettes huit à la fois a donné moins que prévu, car une seule requête occupe déjà presque toute la carte graphique.

Le petit modèle a écrit le plan dix fois plus vite, mais ses étiquettes étaient plus vagues, la bonne partie était lue moins souvent (88 % des questions contre 95 %), et le résultat est retombé au niveau de la recherche. Le plan mérite le temps du grand modèle.

Limites

Questions et réponses

Qu’est-ce qu’un plan du contrat, ici?
Le contrat est découpé en parties de 1 500 caractères et le modèle écrit une ligne par partie, qui nomme les sujets traités. Pour chaque question, le modèle lit ces lignes et nomme les parties à lire.
De combien était-ce mieux que la recherche?
Pour la même quantité de lecture, le modèle a cité 81 % des clauses marquées par des avocats avec le plan, contre 71 % avec la meilleure recherche que nous avions trouvée. La lecture du contrat entier donnait 82 %.
Faut-il un entraînement?
Non. L’article STAIR, d’où vient l’idée, entraîne un modèle; nous avons pris le même modèle général pour les étiquettes, le choix des parties et la réponse, sans entraînement.
Qu’est-ce que cela coûte?
Au premier essai, 31 secondes de machine par contrat, une seule fois, pour écrire le plan, et 4,3 secondes par question. Après réglage, 22 secondes par contrat et 2,7 secondes par question, avec la même exactitude.
Un service infonuagique a-t-il servi à quoi que ce soit?
Non. Tout a tourné sur un seul poste de travail, avec une carte graphique de 16 Go.

Sources