Promythicus EN root@promythicus.com

Promythicus / Blogue

Ce que nous avons appris en rendant un modèle local fiable sur des documents juridiques

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Un modèle local a lu nos baux d’essai correctement presque à chaque fois, et s’est trompé à deux endroits précis : comparer des dates, et oublier un document dans une liste. Quatre changements ont réglé ça : une entrée structurée par document, une phrase citée exigée pour chaque fait, le calcul des dates fait par le programme, et aucun hasard. Ensuite, il a répondu correctement à nos 16 questions d’essai sur 16, en six secondes environ chacune.

Ce sont des notes prises en construisant notre propre assistant, sur cinq baux d’exemple et seize questions aux réponses connues. Les chiffres viennent de ce petit essai et ne sont pas un banc d’essai général.

Où il s’est trompé

Ce qui a réglé le problème

  1. Une entrée par document. Le modèle doit renvoyer une structure fixe avec une entrée pour chaque document : le fait, si la question s’applique, la phrase à l’appui, la page. Il ne peut pas sauter un document, parce qu’une entrée vide se voit. Le moteur impose la structure, donc la sortie se lit toujours.
  2. Une phrase citée pour chaque fait. Le programme cherche cette phrase dans le document. Un fait sans phrase correspondante est signalé.
  3. Le calcul dans le code. Le modèle extrait les dates. Le programme compte les jours. Les modèles lisent bien et calculent mal.
  4. Aucun hasard. Le réglage qui fait varier la formulation d’un modèle (la température) est à zéro pour l’extraction, donc la même question donne la même réponse.

Avec tout ça, le mode rapide a eu raison aux seize questions, en six secondes environ chacune, et le mode réflexion lent n’était plus nécessaire.

Ce que nous dirions à quiconque en construit un

Questions et réponses

Les modèles d’IA locaux sont-ils assez exacts pour des documents juridiques?
Pour lire des documents et en extraire des faits, oui, quand le système autour du modèle est fait pour ça. Dans notre essai, un modèle local a répondu correctement à 16 questions sur 16 portant sur cinq baux, une fois les dates calculées par le programme et chaque fait accompagné de sa phrase source.
Pourquoi les modèles d’IA se trompent-ils avec les dates?
Ils lisent les dates correctement, mais ne sont pas fiables en arithmétique, par exemple pour compter les jours entre deux dates. La solution : le modèle extrait les dates et le programme fait le calcul.
Comment empêcher une IA de sauter un document?
En exigeant une entrée structurée par document dans sa réponse. Une entrée manquante ou vide se voit et peut être vérifiée.

Sources