Faire répondre une IA locale à partir de vos documents, en montrant la page
Il y a deux façons. Pour une grande bibliothèque, le système cherche les passages qui correspondent à la question et ne donne que ceux-là au modèle (c’est la génération augmentée par récupération, ou RAG). Pour un petit ensemble de documents qui comptent tous, comme les baux d’un dossier, il fait lire chaque document au modèle à tour de rôle. Dans les deux cas, le modèle doit renvoyer la phrase exacte sur laquelle il s’appuie, pour que l’écran ouvre cette page.
Pourquoi un robot conversationnel ne suffit pas
Un modèle seul répond à partir de ce qu’il a appris à l’entraînement. Il ne sait rien de vos dossiers. Pour y répondre, il faut placer devant lui le texte des bons documents avec la question. Le travail consiste à choisir quel texte, et à prouver d’où vient la réponse.
Première façon : chercher, puis lire (RAG)
- Chaque document est découpé en passages, et chaque passage est converti en une liste de nombres qui représente son sens (un plongement). Ça se fait une fois, sur la même machine.
- Quand une question arrive, le système trouve les passages les plus proches par le sens, en général combinés à une recherche ordinaire par mots-clés.
- Seuls ces passages vont au modèle avec la question.
Bon pour : des milliers de documents, des questions dont la réponse se trouve à un ou deux endroits.
Faible pour : les questions sur l’ensemble. « Lesquels de ces contrats n’ont pas de clause de renouvellement? » ne se règle pas en trouvant des passages, parce que la réponse est dans ce qui manque.
Deuxième façon : lire chaque document
Pour un dossier ou un client, l’ensemble est assez petit pour être lu au complet. Le modèle lit chaque document et renvoie une entrée par document : le fait pertinent, si la question s’applique, et la phrase qui le montre.
Bon pour : les questions « tous », les tableaux sur un ensemble, les échéances.
Coût : le temps augmente avec le nombre de documents. Lire chaque document une fois et garder ses éléments clés en élimine la plus grande partie.
Montrer la source
Une réponse que personne ne peut vérifier n’est pas utilisable dans un dossier professionnel. Ce qui fonctionne :
- Demander au modèle de renvoyer, mot pour mot, la phrase sur laquelle il s’appuie.
- Faire chercher cette phrase dans le texte du document par le programme. Si elle n’y est pas, traiter la réponse comme non appuyée.
- Ouvrir la page et surligner la phrase, pour que le lecteur vérifie en deux secondes.
Extraire le texte
Les PDF tapés donnent leur texte directement. Les documents numérisés ont d’abord besoin de reconnaissance de caractères, et ses erreurs suivent, donc vérifiez un échantillon. Les tableaux et les notes manuscrites sont les points faibles habituels.
Tout garder sur place
Chaque morceau tourne sur le serveur : l’extraction du texte, l’index de recherche, le modèle de plongement et le modèle principal. Rien dans la méthode n’a besoin d’un service extérieur. Si la version d’un produit en appelle un, les documents sortent de vos murs.
Questions et réponses
- Qu’est-ce que le RAG?
- La génération augmentée par récupération : le système cherche dans vos documents les passages qui correspondent à une question et les donne au modèle d’IA pour qu’il y réponde.
- Une IA locale peut-elle montrer d’où vient sa réponse?
- Oui. Le modèle renvoie la phrase sur laquelle il s’appuie, le programme la retrouve dans le document et l’écran ouvre la page avec la phrase surlignée.
- Faut-il entraîner une IA locale sur nos documents?
- Non. Les documents sont placés devant le modèle au moment de la question. Le modèle lui-même n’est pas modifié.