Promythicus EN root@promythicus.com

Promythicus / Blogue

Un seul modèle d’IA qui cherche et qui répond : sans moteur de recherche à part

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Au test CUAD de révision de contrats, nous avons laissé le modèle qui répond faire sa propre recherche. Ses états internes, lus tels quels, ont trouvé 76 % des clauses marquées; sa propre vérification par oui ou non sur les 30 meilleurs passages a porté ce chiffre à 88 %. De bout en bout, il a cité 83 % des clauses, à égalité avec la lecture du contrat entier (82 %) et avec notre méthode du plan (81 %), en lisant un septième du texte. Rien n’a été entraîné et aucun deuxième modèle n’a été chargé. C’est plus lent : environ 9,5 secondes par question contre 4,3 pour le plan.

Résumé : la recherche du modèle lui-même trouve 76 % des clauses, 88 % avec sa vérification par oui ou non; 83 % des clauses citées de bout en bout

La question

Un serveur d’IA privé fait habituellement tourner deux ou trois modèles : celui qui répond, et un ou deux petits qui cherchent (un modèle de plongement et un reclasseur). Sur une seule carte graphique, ils se disputent la mémoire, et il faut en charger et en décharger. Le modèle qui répond peut-il aussi faire la recherche?

L’essai

Première étape : les états du modèle comme index de recherche

Quand un modèle de langage lit un passage, chacune de ses couches contient une liste de nombres qui décrit ce qu’il a lu. Nous avons pris ces nombres à une couche du milieu, en moyenne sur le passage, et nous les avons comparés aux mêmes nombres pour la question. Les passages les plus proches sont lus. Aucun entraînement, aucun modèle de plus.

La couche a été choisie sur les 40 contrats de mise au point (la couche 36 sur 64), puis utilisée une seule fois sur les 62 autres.

Recherche, sans entraînement sur des contratsClauses marquées trouvées
Un module général publié pour un modèle de 8 milliards de paramètres (CLM)29 %
Modèle de plongement (Qwen3-Embedding-0.6B)67 %
Le même avec son reclasseur74 %
Les états du modèle qui répond76 %
Les mêmes, puis sa propre vérification par oui ou non sur les 30 meilleurs passages88 %

Les couches 36 à 40 et la couche 52 ont donné presque le même résultat. La dernière couche était mauvaise (24 %) : à ce stade, le modèle pense à son prochain mot, plus à ce que dit le passage.

Deuxième étape : le modèle vérifie sa propre liste

Les 30 meilleurs passages sont soumis au même modèle, un à la fois : « Ce passage contient-il une clause de ce genre? » Nous ne lisons pas sa réponse comme du texte. Nous lisons à quel point il penche vers « oui » plutôt que « non », et nous classons les passages ainsi.

Ce que nous avons écarté : les modules ajustés sur des contrats

Nous avons aussi ajusté un petit module sur le modèle de plongement, à partir des contrats de mise au point. Il a obtenu 88 %. Mais CUAD pose les mêmes 41 genres de questions à chaque contrat. Nous l’avons donc ajusté sur la moitié des genres et essayé sur l’autre : 90 % sur les genres qu’il avait vus, 74 % sur ceux qu’il n’avait pas vus (71 % sans lui). Il avait appris la liste de questions, pas les contrats. Nous l’avons écarté. Le résultat à un seul modèle ne demande aucun ajustement : il n’a rien à mémoriser.

De bout en bout

Trouver le passage, c’est la moitié du travail. Sur les dix contrats et les 410 questions de nos articles précédents, avec la même consigne et la même mesure :

Façon de lireClauses marquées citéesSecondes par question
Modèles de recherche à part, 12 passages71 %3,1
Les états du modèle, 12 passages73 %3,0
Plan, 4 parties81 %4,3
Contrat entier82 %3,3 (8,3 pour la première question)
Les états du modèle et sa vérification par oui ou non, 12 passages83 %9,5

Avec 248 clauses marquées, les trois dernières lignes sont à égalité : un point ou deux d’écart, c’est du bruit. Les citations étaient mot pour mot 95 % du temps.

Le prix : la vitesse

La vérification par oui ou non lit 30 passages pour chaque question, soit environ 6 secondes. Nous avons essayé de les envoyer tous ensemble et d’en traiter plusieurs à la fois; cela n’a presque rien changé, parce que la carte est déjà occupée à lire. Vérifier 20 passages au lieu de 30 fait gagner un tiers du temps et perdre trois points. Conserver la lecture de chaque passage faite à l’arrivée du contrat, pour que seule la question soit du travail nouveau, est la prochaine chose à essayer.

Et pour un seul contrat qui tient dans la mémoire du modèle, le lire en entier reste le plus simple : il est lu une fois, puis chaque question prend environ 3 secondes. La recherche compte quand le document est trop long, ou quand la question porte sur plusieurs documents.

Limites

Questions et réponses

Un seul modèle d’IA peut-il faire la recherche et la réponse?
Dans notre essai, oui. Les états internes du modèle qui répond ont trouvé 76 % des clauses marquées, et 88 % avec sa propre vérification par oui ou non, plus qu’un modèle de plongement et un reclasseur à part (74 %). Rien n’a été entraîné.
Pourquoi est-ce important sur un serveur privé?
Une carte graphique a une mémoire limitée. Si un seul modèle fait tout, il n’y a rien à charger et décharger, et un seul modèle à installer, à vérifier et à tenir à jour.
Quel est l’inconvénient?
La vitesse. La vérification par oui ou non sur 30 passages prend environ 6 secondes par question sur une carte de 16 Go. Pour un seul contrat qui tient en mémoire, le lire en entier est plus rapide.
Pourquoi ne pas entraîner un petit module sur des contrats?
Nous avons essayé. Il réussissait sur les genres de questions vus à l’ajustement (90 %) et aidait à peine sur les autres (74 % contre 71 %). Il ne suivrait pas les questions propres à un cabinet.

Sources