Promythicus EN root@promythicus.com

Promythicus / Blogue

Plusieurs personnes peuvent-elles utiliser un serveur d’IA privé en même temps?

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Oui. Le moteur d’exécution répond à plusieurs questions côte à côte sur une seule carte graphique. Chaque question en cours prend une part de la mémoire de la carte pour le texte qu’elle lit, et chaque réponse arrive un peu moins vite quand la carte est occupée. Une carte suffit bien à un petit bureau; un grand bureau a besoin de plus de mémoire ou d’une deuxième carte.

Comment ça fonctionne

Le modèle est chargé une seule fois. Le moteur garde ensuite plusieurs places, chacune tenant une conversation. Avec llama.cpp :

llama-server -m modele.gguf -c 65536 -np 4 -ngl 99

-np 4 ouvre quatre places. Le contexte donné par -c est partagé entre elles, donc cet exemple donne à chaque personne environ 16 000 jetons, soit à peu près 35 pages en vue à la fois.

Le compromis

Quand toutes les places sont prises, la question suivante attend son tour. Pour une question qui prend six secondes, l’attente se remarque rarement.

Ce que l’équipe remarque

Quand la carte répond à une seule personne, le texte apparaît plus vite qu’on ne lit. À plusieurs, la production totale de la carte monte et la part de chacun baisse. Dans un bureau, les gens demandent rarement dans les mêmes secondes, donc la plupart des questions ont toute la carte.

Dimensionnement

BureauInstallation
Jusqu’à environ cinq personnesUne carte de 16 ou 24 Go, deux à quatre places
Dix à vingt personnes24 Go ou plus, quatre à huit places, ou deux cartes
De longs documents pour tousPlus de mémoire plutôt que plus de places : 48 Go ou deux cartes

Ce sont des points de départ. La façon honnête de dimensionner est de compter, pendant un essai, combien de questions votre bureau pose dans ses dix minutes les plus occupées.

Garder le travail de chacun à part

Les places partagent le modèle, pas les conversations. Les documents et les questions d’une personne ne sont jamais mis dans la place d’une autre. Qui peut interroger quels dossiers se décide par les comptes et les permissions, hors du modèle : voir comment sécuriser un serveur d’IA privé.

Les gros travaux

Lire une archive complète, ou faire la reconnaissance de caractères sur des milliers de pages numérisées, peut occuper la carte pendant des heures. Lancez ça la nuit pour garder les places libres le jour.

Questions et réponses

Combien de personnes peuvent utiliser un serveur d’IA privé?
Une seule carte graphique de 16 ou 24 Go sert bien un bureau d’environ cinq personnes. Les plus grands bureaux ont besoin de plus de mémoire graphique ou d’une deuxième carte.
Une IA privée ralentit-elle avec plus d’utilisateurs?
Chaque réponse est un peu plus lente quand plusieurs questions tournent en même temps, parce qu’elles partagent la carte. Comme les gens demandent rarement au même moment, la plupart des questions tournent à pleine vitesse.
Les utilisateurs voient-ils les questions des autres sur un serveur d’IA partagé?
Non. Chaque conversation reste dans sa propre place, et l’accès aux documents dépend du compte de chaque personne.

Sources