Dans cette page7 parties
Un serveur monté à la main pour que les dossiers ne sortent jamais du cabinet
L’histoire se déroule aux États-Unis. Un avocat spécialisé dans les litiges civils, qui utilise l’intelligence artificielle chaque jour sur ses documents juridiques, a décrit sur Reddit la construction d’un serveur personnel destiné à garder les dossiers de ses clients hors des services cloud. Son objectif, résumé dans ses propres mots : « Nothing goes out the door without a real review », autrement dit rien ne sort du cabinet sans relecture humaine réelle.
Le système est piloté via une interface de type Discord, accessible en SSH depuis un PC Windows, et relié à des bases de récupération documentaire (RAG) ainsi qu’à divers outils. Il lit un dossier de documents, en extrait des faits, des dates et des montants, rédige des résumés et propose de premiers brouillons d’actes. Pour l’instant, le serveur ne traite qu’une requête à la fois, mais l’avocat prépare un mode permettant de gérer deux à trois requêtes simultanées, déjà testé sur une autre machine.
Huit cartes Tesla V100 de 2018 pour 256 Go de mémoire vidéo
Le cœur de la machine repose sur huit Nvidia Tesla V100-SXM2-32GB, des cartes de centre de données commercialisées en 2018 dans la génération Volta. Chacune embarque 32 Go de mémoire HBM2 à 900 Go/s, soit 256 Go de VRAM cumulés. Les cartes sont réparties sur deux cartes-filles SXM2 de quatre GPU chacune, reliées en interne par NVLink pour former 128 Go de mémoire partagée par groupe. Les deux ensembles ne communiquent entre eux que via le PCIe 3.0, au travers de quatre commutateurs PEX reliés en SlimSAS, chaque GPU étant vu en PCIe 3.0 x8 via un lien x16.
Côté plateforme hôte, l’avocat a choisi une carte mère Gigabyte Threadripper Pro, un processeur AMD Ryzen Threadripper Pro 3945WX à 12 cœurs, 256 Go de DDR4 RDIMM répartis en huit barrettes de 32 Go, et deux alimentations totalisant environ 2 800 watts, branchées sur deux circuits électriques distincts du bureau.
| Poste | Montant en dollars | Équivalent en euros indiqué par les sources |
|---|---|---|
| Un lot de quatre Tesla V100-SXM2-32GB (prix d’achat) | environ 2 400 $ | environ 2 200 € |
| Les huit cartes au total (prix d’achat) | environ 4 800 $ | environ 4 400 € |
| Prix unitaire d’une carte seule au moment de la publication de l’article initial | environ 400 $ | non précisé |
| Prix unitaire actuel sur le marché de l’occasion (eBay) | environ 900 $ | environ 840 € |
Ce tableau ne couvre que le coût des cartes graphiques. Les sources précisent qu’aucun total détaillé incluant les cartes-filles, la plateforme hôte, la mémoire, les alimentations, les commutateurs et le câblage n’a été communiqué par l’avocat.
DeepSeek V4.1 Flash, compressé pour tenir dans la mémoire disponible
Le modèle chargé sur le serveur est DeepSeek V4.1 Flash, un modèle ouvert quantifié principalement en 2 bits pour réduire son empreinte mémoire. Malgré cette compression, ses poids totalisent 248,8 Go. Les composants « experts » du modèle restent intégralement en mémoire vidéo, tandis qu’environ 110 Go de tables de correspondance (dites Engram) sont conservées en RAM système classique, ce qui ajoute un temps de lecture marginal à chaque étape.
La répartition des couches a demandé des ajustements. Les vingt premières couches tournent sur la première carte-fille, les vingt suivantes sur la seconde, ce qui limite les échanges entre les deux groupes à un seul transfert par étape de calcul. L’avocat a constaté qu’une répartition de chaque couche sur l’ensemble des huit GPU faisait chuter les performances de façon brutale, ce qu’il décrit comme un effet de falaise.
Des performances mesurées par l’avocat lui-même, pas par un banc d’essai indépendant
Les chiffres de débit proviennent de mesures effectuées par l’avocat le 5 novembre, en décodage glouton et sur 1 024 tokens de sortie, moyennées sur deux passages. Ce ne sont donc pas des résultats issus d’un protocole de test indépendant.
| Configuration | Code (tokens/s) | Rédaction juridique (tokens/s) |
|---|---|---|
| Quatre GPU (mesure antérieure) | non précisé | 36 à 38 |
| Huit GPU (configuration initiale) | jusqu’à 215 | environ 118 |
| Huit GPU + RAM supplémentaire + RTX 3090 (14 novembre) | environ 150 | environ 105 |
L’écart entre code et texte juridique s’explique par le fonctionnement interne de DeepSeek, qui anticipe plusieurs tokens à l’avance : le code, plus prévisible, se prête mieux à cette anticipation que la prose juridique. Le modèle lit les entrées à environ 2 200 tokens par seconde et accepte jusqu’à 524 000 tokens de contexte, ce qui représente près d’une minute d’attente avant le premier token pour un prompt de 128 000 tokens. L’ajout de mémoire et d’une carte RTX 3090 le 14 novembre a amélioré la précision des réponses, au prix d’une baisse de vitesse.
Des pannes réelles et des réglages pour stabiliser la machine
Le montage n’a pas fonctionné du premier coup. Lorsque les cartes dépassaient 180 watts, avec des pics mesurés entre 192 et 232 watts, le système subissait des erreurs PCIe fatales. L’avocat avance comme meilleure hypothèse, non confirmée, qu’une des deux cartes-filles cessait de répondre lors de ces pics de charge. Il a résolu le problème en limitant chaque carte à 150 watts et à une fréquence graphique de 1 522 MHz, et en remplaçant une carte-fille dont le connecteur d’alimentation avait brûlé, avec cette mise en garde : « Check your connectors, people ». Des erreurs de mémoire ECC ont par ailleurs disparu après avoir fait repasser la RAM de DDR4-3200 à DDR4-2666. Au dernier relevé, un GPU restait connecté en PCIe x4 au lieu de x8, en attente d’un rebranchement. L’ensemble tourne sur la branche de pilotes Nvidia R580, la dernière à prendre en charge l’architecture Volta.
Ce que cette expérience change pour les cabinets français soumis au secret professionnel
L’avocat estime que 50 à 60 % de ses usages habituels de modèles de langage tournent désormais en local plutôt que vers des modèles frontières hébergés dans le cloud, le reste étant délégué à un second serveur DeepSeek basé sur deux Nvidia DGX Spark. Cette estimation reste la sienne : aucun chiffrage complet incluant l’électricité, le matériel et les coûts cloud évités n’a été fourni. Il juge la solution moins coûteuse qu’une facturation à l’API une fois « self contained », sans pour autant la qualifier de plus rapide.
Pour un professionnel réglementé en France, soumis au secret professionnel et au RGPD, cette expérience illustre une voie réelle mais exigeante : héberger soi-même un modèle ouvert pour que les dossiers ne transitent jamais par un service tiers. Elle suppose un budget pour le matériel, des compétences avancées de type homelab, et une gestion sérieuse de la consommation électrique, du refroidissement et des pilotes, comme le montrent les pannes rencontrées par l’avocat. Un point mérite d’être souligné : DeepSeek est un modèle chinois, mais dans ce montage, ses poids sont téléchargés et exécutés entièrement hors ligne, sans échange avec les serveurs de son éditeur d’origine. C’est l’exécution locale, et non la nationalité du modèle, qui garantit ici que les documents ne quittent pas le bureau.
Les cabinets qui ne souhaitent pas monter leur propre serveur disposent d’autres options, avec des compromis différents. Des plateformes comme Moon AI, éditée par Stellarr Studio SAS, donnent accès à plus de 100 modèles (dont des modèles ouverts comparables à DeepSeek) via un abonnement unique, avec une fonction appelée Moon Blur qui remplace les données personnelles détectées par des repères avant leur envoi aux modèles tiers, puis restitue les vraies valeurs dans la réponse lue par l’utilisateur. L’application et le stockage de Moon AI sont hébergés chez OVHcloud, à Strasbourg et Roubaix, mais les requêtes envoyées aux modèles tiers partent bien chez leurs fournisseurs respectifs une fois les données masquées. Cette approche ne dispense pas de l’analyse de conformité propre à chaque cabinet, mais elle évite l’investissement et la maintenance matérielle qu’implique un serveur comme celui de l’avocat américain.
Questions fréquentes
Le matériel Nvidia V100 d’occasion reste-t-il une option économique aujourd’hui ?
Pas autant qu’au moment de l’achat initial. Les cartes V100 se trouvaient autour de 400 dollars pièce lors de la publication du premier message Reddit ; elles s’affichent désormais autour de 900 dollars (environ 840 euros) sur eBay, signe que le marché de l’occasion data center s’est tendu. Reproduire ce montage aujourd’hui coûterait sensiblement plus cher que les 4 800 dollars annoncés par l’avocat pour ses huit cartes.
Utiliser DeepSeek, un modèle d’origine chinoise, pose-t-il un problème pour la confidentialité des dossiers ?
Dans ce montage précis, le modèle tourne entièrement hors ligne sur le matériel de l’avocat : ses poids ont été téléchargés une fois, puis exécutés localement, sans connexion aux serveurs de l’éditeur du modèle. La question de la confidentialité se joue donc sur l’exécution locale et non sur l’origine du modèle lui-même.
Un cabinet d’avocats français peut-il reproduire ce type de montage ?
Techniquement oui, mais les sources insistent sur les prérequis : un budget pour le matériel (cartes graphiques, plateforme hôte, alimentations, câblage), des compétences avancées de type homelab, et une disponibilité pour résoudre des pannes matérielles, comme les erreurs PCIe et les connecteurs d’alimentation endommagés rencontrés par l’avocat. Ce n’est pas un produit commercial clé en main, mais un projet personnel qu’il qualifie lui-même en partie de passe-temps.
Existe-t-il des alternatives qui évitent de monter son propre serveur ?
Des plateformes cloud donnant accès à des modèles multiples, avec des mécanismes de masquage des données personnelles avant leur envoi à des modèles tiers, constituent une autre approche. Elles n’exigent pas d’investissement matériel ni de compétences d’administration système poussées, mais reposent par nature sur l’envoi de requêtes vers les infrastructures des fournisseurs de modèles une fois les données sensibles masquées, ce qui diffère d’un hébergement strictement local comme celui décrit ici.
Essayez Moon AI sur vos propres questions.
Claude, GPT, Gemini et plus de 100 modèles dans un seul espace. Moon Blur masque les données sensibles détectées avant l’envoi. La formule gratuite ne demande pas de carte bancaire.