Comment installer votre propre serveur d’IA privé, étape par étape
Pour installer un serveur d’IA privé, il vous faut un ordinateur avec une carte graphique, un moteur d’exécution (llama.cpp ou Ollama), un fichier de modèle à poids ouverts et un écran de clavardage que votre équipe ouvre dans un navigateur. Installez-les dans cet ordre, puis bloquez l’accès sortant de la machine à Internet. Une personne technique peut en avoir un de base en marche en un après-midi.
1. La machine
N’importe quel ordinateur de bureau ou petit serveur avec une carte graphique NVIDIA récente fait l’affaire. La mémoire de la carte décide des modèles que vous pouvez faire tourner : 16 Go est un minimum pratique pour un travail utile sur des documents, 24 Go ou plus est confortable. Ajoutez 32 Go ou plus de mémoire vive et un disque rapide. Voir quel matériel faut-il pour un serveur d’IA privé.
Installez Ubuntu Server ou un autre Linux. Activez le chiffrement complet du disque à l’installation : la machine contiendra des dossiers de clients.
2. Le pilote graphique
Installez le pilote NVIDIA et vérifiez que la carte est reconnue :
sudo ubuntu-drivers install
sudo reboot
nvidia-smi
nvidia-smi doit afficher la carte et sa mémoire.
3. Le moteur d’exécution
C’est le programme qui charge le modèle et répond aux demandes. Deux choix courants :
- Ollama est le départ le plus rapide. Une commande l’installe, une autre télécharge un modèle.
- llama.cpp donne plus de contrôle sur la mémoire, la longueur du contexte et la vitesse. C’est ce que nous utilisons.
Avec Ollama :
curl -fsSL https://ollama.com/install.sh | sh
ollama pull <nom du modèle>
ollama run <nom du modèle>
Avec llama.cpp, une fois compilé et un fichier de modèle au format GGUF téléchargé :
llama-server -m modele.gguf -c 32768 -ngl 99 --host 127.0.0.1 --port 8080
-c est la longueur du contexte en jetons (la quantité de texte que le modèle peut lire d’un coup) et -ngl 99 place toutes les couches sur la carte graphique. Les deux moteurs répondent à la même sorte d’adresse web que les services d’IA infonuagiques, donc la plupart des logiciels écrits pour ces services peuvent pointer vers votre machine.
4. Le modèle
Choisissez un modèle à poids ouverts dont le fichier entre dans la mémoire de votre carte, avec de la place pour le texte qu’il lit. Vérifiez que sa licence permet l’usage commercial. Puis testez-le sur vos propres documents. Voir comment choisir un modèle à poids ouverts.
5. Un écran de clavardage pour le bureau
Open WebUI donne à l’équipe une page de clavardage familière, avec des comptes. Il tourne sur la même machine :
docker run -d -p 3000:8080 -v open-webui:/app/backend/data \
--name open-webui --restart always ghcr.io/open-webui/open-webui:main
L’équipe ouvre ensuite http://<adresse du serveur>:3000 depuis ses postes. Pointez-le vers votre moteur dans ses réglages.
6. Le couper d’Internet
Faites-le une fois que tout est téléchargé. Laissez entrer le réseau du bureau, et rien sortir :
sudo ufw default deny incoming
sudo ufw default deny outgoing
sudo ufw allow from 192.168.1.0/24 to any port 3000 proto tcp
sudo ufw allow out to 192.168.1.0/24
sudo ufw enable
Remplacez 192.168.1.0/24 par le réseau de votre bureau. Puis vérifiez : voir comment vérifier qu’une IA est vraiment privée.
7. Ce que ça vous donne, et ce que ça ne donne pas
Vous avez maintenant un robot conversationnel privé. Il répond à partir de ce que le modèle sait déjà et du texte que vous y collez. Il ne répond pas encore à partir de vos dossiers, ne montre pas la page d’où vient une réponse et ne dresse pas de tableaux sur un ensemble de documents. C’est la plus grosse partie du travail : voir faire répondre une IA locale à partir de vos documents.
Si vous préférez ne pas le monter vous-même, c’est ce que nous faisons : nous construisons, installons et entretenons des serveurs d’IA privés pour les cabinets professionnels partout au Canada.
Questions et réponses
- Puis-je monter un serveur d’IA privé moi-même?
- Oui. Avec un ordinateur, une carte graphique de 16 Go de mémoire ou plus et des logiciels gratuits comme llama.cpp ou Ollama et Open WebUI, une personne technique peut avoir un robot conversationnel privé en marche en un après-midi.
- Quels logiciels faut-il pour un serveur d’IA privé?
- Un moteur d’exécution (llama.cpp ou Ollama), un fichier de modèle à poids ouverts et une interface de clavardage comme Open WebUI. Les trois sont gratuits.
- Un serveur d’IA privé demande-t-il un abonnement?
- Non. Les modèles à poids ouverts et les logiciels qui les font tourner sont gratuits; vous payez le matériel et l’électricité.