Quel matériel faut-il pour un serveur d’IA privé?
C’est la mémoire de la carte graphique qui compte. Le fichier du modèle doit y entrer, avec de la place pour le texte à lire. Une carte de 16 Go fait tourner un modèle de 27 milliards de paramètres en précision 4 bits, ce qui suffit pour un travail exact sur des documents. Le reste de la machine est ordinaire.
La règle simple
Mémoire nécessaire sur la carte = taille du fichier du modèle + mémoire pour le contexte (le texte que le modèle garde en vue).
- Le fichier du modèle. En précision 4 bits, le choix habituel, un modèle prend environ 0,5 à 0,6 Go par milliard de paramètres. Un modèle de 27 milliards de paramètres est un fichier d’environ 14 Go.
- Le contexte. Il grandit avec la quantité de texte que le modèle lit d’un coup. Sur notre machine, il coûte environ 23 à 29 Mo par 1 000 jetons.
Ce que nous avons mesuré
Notre démonstration tourne sur un poste de travail avec une seule carte graphique de 16 Go et un modèle à poids ouverts de 27 milliards de paramètres dans un fichier de 14,3 Go, servi par llama.cpp :
| Valeur | |
|---|---|
| Mémoire utilisée, modèle chargé | Environ 13,2 Go, avant tout contexte |
| Mémoire par 1 000 jetons de contexte | Environ 23 Mo |
| Plus long contexte qui entre | Environ 113 000 jetons, soit à peu près 250 pages |
| Vitesse d’écriture | Environ 41 jetons par seconde, environ 28 quand le contexte est plein |
| Avec l’écriture spéculative activée | Environ 65 jetons par seconde, avec un contexte plus court d’environ 62 000 jetons |
| Au-delà de la limite de la carte | Le moteur s’arrête en pleine réponse. Gardez une marge |
Un jeton vaut environ trois quarts de mot. Quarante jetons par seconde, c’est plus vite qu’on ne lit.
Selon le bureau
- Une à cinq personnes, une question à la fois : une carte de 16 ou 24 Go.
- Un bureau occupé, plusieurs questions à la fois : une carte de 24 Go ou plus, ou deux cartes. Chaque question en cours a besoin de sa part de mémoire de contexte.
- Très longs documents ou modèles plus gros : 48 Go ou plus, sur une carte de classe station de travail ou réparties sur deux.
Le reste de la machine
- Mémoire vive : 32 Go ou plus.
- Disque : un SSD rapide de 1 To ou plus. Les fichiers de modèles font de 10 à 40 Go chacun et vous en garderez plusieurs.
- Processeur : n’importe lequel de récent. Il compte peu une fois le modèle sur la carte.
- Courant et bruit : une carte en charge tire quelques centaines de watts et ses ventilateurs s’entendent. Mettez la machine dans un placard ou une salle de serveurs, pas à côté d’un bureau.
Peut-il tourner sans carte graphique?
Oui, lentement. Sur un processeur seul, un modèle de taille utile écrit quelques jetons par seconde, et lire d’abord un long document peut prendre des minutes. Les ordinateurs à grande mémoire partagée, comme les ordinateurs de bureau Apple récents, se situent entre les deux et sont un choix raisonnable pour un petit bureau.
Questions et réponses
- Combien de mémoire graphique faut-il pour un serveur d’IA privé?
- 16 Go est un minimum pratique pour le travail sur documents : on y fait tourner un modèle de 27 milliards de paramètres en précision 4 bits. 24 Go ou plus laisse de la place pour de plus longs documents et plus d’un utilisateur à la fois.
- Quelle est la vitesse d’un modèle d’IA local?
- Sur notre carte de 16 Go, un modèle de 27 milliards de paramètres écrit environ 41 jetons par seconde, soit une trentaine de mots par seconde, plus vite que la lecture.
- Combien de pages un modèle local peut-il lire d’un coup?
- Sur une carte de 16 Go, nous faisons entrer un contexte d’environ 113 000 jetons, soit à peu près 250 pages. Les ensembles plus gros sont lus à tour de rôle.