Plusieurs personnes peuvent-elles utiliser un serveur d’IA privé en même temps?
Oui. Le moteur d’exécution répond à plusieurs questions côte à côte sur une seule carte graphique. Chaque question en cours prend une part de la mémoire de la carte pour le texte qu’elle lit, et chaque réponse arrive un peu moins vite quand la carte est occupée. Une carte suffit bien à un petit bureau; un grand bureau a besoin de plus de mémoire ou d’une deuxième carte.
Comment ça fonctionne
Le modèle est chargé une seule fois. Le moteur garde ensuite plusieurs places, chacune tenant une conversation. Avec llama.cpp :
llama-server -m modele.gguf -c 65536 -np 4 -ngl 99
-np 4 ouvre quatre places. Le contexte donné par -c est partagé entre elles, donc cet exemple donne à chaque personne environ 16 000 jetons, soit à peu près 35 pages en vue à la fois.
Le compromis
- Plus de places : plus de gens servis en même temps, et moins de texte en vue pour chacun.
- Moins de places : de plus longs documents par question, et une courte attente quand tout le monde demande en même temps.
Quand toutes les places sont prises, la question suivante attend son tour. Pour une question qui prend six secondes, l’attente se remarque rarement.
Ce que l’équipe remarque
Quand la carte répond à une seule personne, le texte apparaît plus vite qu’on ne lit. À plusieurs, la production totale de la carte monte et la part de chacun baisse. Dans un bureau, les gens demandent rarement dans les mêmes secondes, donc la plupart des questions ont toute la carte.
Dimensionnement
| Bureau | Installation |
|---|---|
| Jusqu’à environ cinq personnes | Une carte de 16 ou 24 Go, deux à quatre places |
| Dix à vingt personnes | 24 Go ou plus, quatre à huit places, ou deux cartes |
| De longs documents pour tous | Plus de mémoire plutôt que plus de places : 48 Go ou deux cartes |
Ce sont des points de départ. La façon honnête de dimensionner est de compter, pendant un essai, combien de questions votre bureau pose dans ses dix minutes les plus occupées.
Garder le travail de chacun à part
Les places partagent le modèle, pas les conversations. Les documents et les questions d’une personne ne sont jamais mis dans la place d’une autre. Qui peut interroger quels dossiers se décide par les comptes et les permissions, hors du modèle : voir comment sécuriser un serveur d’IA privé.
Les gros travaux
Lire une archive complète, ou faire la reconnaissance de caractères sur des milliers de pages numérisées, peut occuper la carte pendant des heures. Lancez ça la nuit pour garder les places libres le jour.
Questions et réponses
- Combien de personnes peuvent utiliser un serveur d’IA privé?
- Une seule carte graphique de 16 ou 24 Go sert bien un bureau d’environ cinq personnes. Les plus grands bureaux ont besoin de plus de mémoire graphique ou d’une deuxième carte.
- Une IA privée ralentit-elle avec plus d’utilisateurs?
- Chaque réponse est un peu plus lente quand plusieurs questions tournent en même temps, parce qu’elles partagent la carte. Comme les gens demandent rarement au même moment, la plupart des questions tournent à pleine vitesse.
- Les utilisateurs voient-ils les questions des autres sur un serveur d’IA partagé?
- Non. Chaque conversation reste dans sa propre place, et l’accès aux documents dépend du compte de chaque personne.