Promythicus EN root@promythicus.com

Promythicus / Blogue

Quel matériel faut-il pour un serveur d’IA privé?

Par Bardia Shahrestani, Promythicus Inc. · Publié le

C’est la mémoire de la carte graphique qui compte. Le fichier du modèle doit y entrer, avec de la place pour le texte à lire. Une carte de 16 Go fait tourner un modèle de 27 milliards de paramètres en précision 4 bits, ce qui suffit pour un travail exact sur des documents. Le reste de la machine est ordinaire.

La règle simple

Mémoire nécessaire sur la carte = taille du fichier du modèle + mémoire pour le contexte (le texte que le modèle garde en vue).

Ce que nous avons mesuré

Notre démonstration tourne sur un poste de travail avec une seule carte graphique de 16 Go et un modèle à poids ouverts de 27 milliards de paramètres dans un fichier de 14,3 Go, servi par llama.cpp :

Valeur
Mémoire utilisée, modèle chargéEnviron 13,2 Go, avant tout contexte
Mémoire par 1 000 jetons de contexteEnviron 23 Mo
Plus long contexte qui entreEnviron 113 000 jetons, soit à peu près 250 pages
Vitesse d’écritureEnviron 41 jetons par seconde, environ 28 quand le contexte est plein
Avec l’écriture spéculative activéeEnviron 65 jetons par seconde, avec un contexte plus court d’environ 62 000 jetons
Au-delà de la limite de la carteLe moteur s’arrête en pleine réponse. Gardez une marge

Un jeton vaut environ trois quarts de mot. Quarante jetons par seconde, c’est plus vite qu’on ne lit.

Selon le bureau

Le reste de la machine

Peut-il tourner sans carte graphique?

Oui, lentement. Sur un processeur seul, un modèle de taille utile écrit quelques jetons par seconde, et lire d’abord un long document peut prendre des minutes. Les ordinateurs à grande mémoire partagée, comme les ordinateurs de bureau Apple récents, se situent entre les deux et sont un choix raisonnable pour un petit bureau.

Questions et réponses

Combien de mémoire graphique faut-il pour un serveur d’IA privé?
16 Go est un minimum pratique pour le travail sur documents : on y fait tourner un modèle de 27 milliards de paramètres en précision 4 bits. 24 Go ou plus laisse de la place pour de plus longs documents et plus d’un utilisateur à la fois.
Quelle est la vitesse d’un modèle d’IA local?
Sur notre carte de 16 Go, un modèle de 27 milliards de paramètres écrit environ 41 jetons par seconde, soit une trentaine de mots par seconde, plus vite que la lecture.
Combien de pages un modèle local peut-il lire d’un coup?
Sur une carte de 16 Go, nous faisons entrer un contexte d’environ 113 000 jetons, soit à peu près 250 pages. Les ensembles plus gros sont lus à tour de rôle.

Sources