Comment choisir un modèle d’IA à poids ouverts pour un usage privé
Choisissez le plus gros modèle dont le fichier 4 bits entre sur votre carte graphique avec de la place pour le contexte, dont la licence permet l’usage commercial et qui lit bien le français. Testez ensuite deux ou trois candidats sur vos propres documents, avec des questions dont vous connaissez déjà les réponses. C’est l’essai qui décide, pas les classements publics.
Ce que veut dire « à poids ouverts »
L’entreprise qui a entraîné le modèle en a publié le fichier. Vous le téléchargez une fois et vous le faites tourner sur votre propre matériel. Rien ne retourne chez elle. Plusieurs grandes entreprises et laboratoires publient de tels modèles, et il en sort de nouveaux tous les quelques mois.
1. La licence
Chaque modèle a la sienne. Certaines sont entièrement permissives. D’autres limitent l’usage commercial, posent des conditions au-delà d’une certaine taille d’entreprise ou viennent avec une politique d’utilisation. Lisez-la avant de bâtir sur un modèle. C’est l’étape qu’on saute le plus souvent.
2. La taille et la mémoire
Les plus gros modèles lisent avec plus de soin et suivent mieux les consignes. La limite, c’est la carte : voir quel matériel faut-il pour un serveur d’IA privé. Sur une carte de 16 Go, les modèles d’environ 24 à 32 milliards de paramètres en précision 4 bits sont le bon compromis.
3. La précision (quantification)
Les fichiers de modèles existent en plusieurs précisions. Une précision plus basse donne un fichier plus petit et un peu moins exact.
- 4 bits est le choix habituel : peu de perte mesurable pour la plupart des tâches, à environ le tiers de la taille complète.
- Sous 4 bits, la perte se remarque. Un modèle plus petit en 4 bits fait en général mieux qu’un plus gros en 2 ou 3.
- 5, 6 ou 8 bits ne valent la peine que si vous avez de la mémoire en trop.
4. Les langues
Pour un bureau au Québec, le modèle doit lire et écrire le français aussi bien que l’anglais, y compris le vocabulaire juridique et comptable. Les modèles diffèrent beaucoup là-dessus. Testez directement : posez la même question sur le même document dans les deux langues.
5. La longueur du contexte
Vérifiez combien de texte le modèle peut garder en vue, et quelle part la mémoire de votre carte vous laisse utiliser. Un long bail fait de 15 000 à 30 000 jetons.
6. Les réponses structurées
Pour les tableaux et l’extraction, le modèle doit renvoyer une structure fixe de façon fiable. Des moteurs comme llama.cpp peuvent forcer la sortie à suivre une structure, ce qui efface presque toute la différence entre modèles sur ce point.
7. Tester sur vos propres documents
- Prenez dix vrais documents, sans les noms au besoin.
- Écrivez de quinze à vingt questions et les bonnes réponses, à la main.
- Passez chaque modèle candidat à travers toutes les questions, avec les mêmes réglages.
- Comptez les bonnes réponses et lisez les mauvaises. Un modèle qui se trompe d’une façon que vous pouvez attraper vaut mieux qu’un modèle qui se trompe avec assurance.
Gardez l’essai. Quand un nouveau modèle sort, une heure suffit pour savoir s’il faut changer.
Questions et réponses
- Qu’est-ce qu’un modèle d’IA à poids ouverts?
- Un modèle dont le fichier entraîné est publié, de sorte que n’importe qui peut le télécharger et le faire tourner sur son propre matériel sans envoyer de données à son concepteur.
- Peut-on utiliser les modèles à poids ouverts à des fins commerciales?
- Plusieurs le permettent, mais chacun a sa licence. Certaines limitent l’usage commercial ou posent des conditions, donc lisez la licence d’abord.
- La quantification 4 bits nuit-elle à l’exactitude?
- Un peu. Pour la plupart des tâches sur documents, la perte est faible, et un plus gros modèle en 4 bits fait en général mieux qu’un plus petit en pleine précision dans la même mémoire.