Promythicus EN root@promythicus.com

Promythicus / Blogue

Chercher d’abord ou lire tout le contrat? Une IA locale mise à l’essai sur 102 contrats

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Au test de référence en révision de contrats (CUAD), un modèle local qui lit tout le contrat a cité 82 % des clauses que des avocats avaient marquées. En cherchant d’abord et en ne lisant que les meilleurs passages, il en a cité 50 % avec une recherche de base et 71 % avec la meilleure recherche que nous ayons trouvée, en lisant environ le septième du texte. La recherche elle-même est passée de 62 % à 88 % de clauses trouvées grâce à trois changements : des passages plus courts, un modèle de plongement plus récent et un reclasseur. Tout a tourné sur un seul poste de travail, avec une carte graphique de 16 Go, sans nuage.

Résumé des résultats : la recherche passe de 62 % à 88 %, et à 93 % avec deux fois plus de lecture; clauses citées : 50 %, 71 % et 82 %

La question

Un assistant documentaire privé peut répondre à une question sur un contrat de deux façons. Il peut lire tout le contrat à chaque fois. Ou il peut d’abord y faire une recherche et ne lire que les quelques passages qui semblent pertinents. Seule la seconde façon fonctionne sur toute une collection, car aucun modèle ne peut lire cinq cents contrats pour une seule question. Nous voulions savoir ce que la recherche coûte en exactitude, et jusqu’où on peut l’améliorer.

Le test

Quelle recherche trouve la bonne clause

Cette partie ne demande aucun modèle de langage. Pour chacune des 1 244 questions qui ont une réponse, dans les 102 contrats, nous avons vérifié si un passage contenant une partie de la réponse figurait parmi ceux que la recherche renvoyait. Chaque recherche pouvait renvoyer environ 6 000 caractères.

RechercheBonne clause trouvée
De base : un modèle de plongement et des mots-clés, passages de 1 200 caractères62 %
La même, la question réduite au nom de la clause et à sa description69 %
La même, avec des passages de 500 caractères74 %
Un modèle de plongement plus récent (Qwen3-Embedding-0.6B), passages de 500 caractères83 %
La même, avec un reclasseur (Qwen3-Reranker-0.6B) qui réordonne les 30 premiers passages88 %

Avec le double de texte, la meilleure recherche trouve la bonne clause 93 % du temps.

Ce qui n’a rien donné : un modèle de plongement sept fois plus gros (la version 4B n’a pas fait mieux que la 0.6B), l’ajout des mots-clés au modèle plus récent, le titre du contrat placé devant chaque passage, et des passages plus longs (à 2 400 caractères, le résultat tombe à 56 %). Que les passages courts comptent le plus rejoint ce qu’ont rapporté les auteurs de LegalBench-RAG. Contrairement à eux, nous avons constaté qu’un reclasseur aide.

Ce que le modèle a ensuite répondu

Nous avons ensuite laissé le modèle répondre, sur dix contrats assez courts pour être lus en entier (410 questions, 248 clauses marquées), afin que chaque méthode reçoive exactement les mêmes questions.

Façon de lireClauses marquées citéesCitations mot pour motTexte lu par question
Recherche de base, puis lecture50 %99 %environ 1 300 jetons
Meilleure recherche, puis lecture71 %98 %environ 1 200 jetons
Meilleure recherche, deux fois plus de passages73 %95 %environ 2 300 jetons
Lecture du contrat entier82 %91 %environ 8 400 jetons

Sur la question plus simple, « ce contrat contient-il une telle clause », les méthodes se valent : la meilleure recherche a dit oui pour 93 % des questions qui avaient une réponse, la lecture complète pour 89 %. La lecture complète a donné un peu moins de fausses alertes (environ le tiers de ses oui ne correspondaient à aucune clause marquée, contre environ quatre sur dix après une recherche).

Ce que nous en retenons

Un assistant sensé fait donc les deux : il cherche quand la question porte sur plusieurs documents, et lit le document en entier quand elle porte sur un seul qui tient en mémoire.

Limites

Questions et réponses

Vaut-il mieux qu’une IA lise tout le contrat ou qu’elle y cherche d’abord?
Dans notre test, la lecture complète a trouvé davantage : 82 % des clauses marquées par des avocats, contre 71 % pour la meilleure recherche. Mais tout lire ne fonctionne que pour un document qui tient dans la mémoire du modèle. Sur une collection de documents, chercher d’abord est la seule façon.
Qu’est-ce qui a rendu la recherche plus exacte?
Trois choses, dans cet ordre : découper les contrats en passages plus courts (500 caractères au lieu de 1 200), prendre un modèle de plongement plus récent (Qwen3-Embedding-0.6B) et ajouter un reclasseur qui réordonne les 30 premiers passages. Ensemble, elles ont fait passer la recherche de 62 % à 88 % de clauses trouvées.
Un plus gros modèle de plongement cherche-t-il mieux?
Pas dans ce test. La version à 4 milliards de paramètres du même modèle n’a pas fait mieux que celle à 0,6 milliard.
Un service infonuagique a-t-il servi à quoi que ce soit?
Non. Le modèle, la recherche et les contrats étaient tous sur un seul poste de travail, avec une carte graphique de 16 Go.
Peut-on comparer ces chiffres aux résultats publiés sur CUAD?
Non. Nous avons noté selon le recoupement entre les citations du modèle et les clauses marquées par les avocats, ce qui n’est pas la mesure de l’article sur CUAD.

Sources