IA locale en entreprise : RGPD, souveraineté et déploiement (2026)

#Serveur IA local en France : à quoi ça sert, pour qui

Un serveur IA local héberge un modèle de langage sur une infrastructure que vous contrôlez : vos locaux, une baie chez un hébergeur ou un serveur GPU loué en Europe. Les collaborateurs y accèdent par une interface web ou une API interne, avec leurs comptes. Pour une PME, la configuration de départ est modeste : une station à GPU de 24 Go, Ollama comme moteur, Open WebUI comme interface, et un modèle de 24 milliards de paramètres comme Mistral Small 3.2, qui occupe environ 14 Go en Q4 selon le catalogue QuelLLM. Vous décidez ensuite, avec un cas d'usage réel, de monter en puissance ou non.

Confidentialité

Contrats, dossiers clients, données RH, code source : les prompts et les fichiers ne partent pas chez un fournisseur d'IA.

Conformité allégée, pas supprimée

Pas de sous-traitant IA à référencer ni de transfert hors UE à documenter pour le modèle lui-même, mais vos obligations de responsable de traitement demeurent.

Coût prévisible

Pas d'abonnement qui grimpe avec les effectifs : le coût est celui du matériel, de l'électricité et du temps d'administration.

Indépendance

Un modèle open-weight téléchargé continue de fonctionner si un fournisseur change ses prix ou ses conditions.

#RGPD et souveraineté : ce que le local change, et ce qu'il ne change pas

La CNIL rappelle que le RGPD protège les données des personnes à trois endroits : dans les bases d'entraînement, dans les modèles qui ont pu les mémoriser et dans l'utilisation des modèles au moyen des invites (les prompts). Votre serveur local règle la troisième question, celle des prompts : ils restent chez vous. Il ne règle pas la deuxième : un modèle de langage peut lui-même contenir des données personnelles, ce qui concerne le choix du modèle et la manière dont vous le documentez.

Côté transferts, la CNIL indique qu'un transfert hors de l'Union européenne et de l'Espace économique européen n'est possible qu'à condition d'assurer un niveau de protection suffisant et approprié. Avec un serveur dans vos murs, la question ne se pose pas. Avec un hébergeur, elle se pose selon sa structure et ses filiales.

• LLM local et RGPD : la conformité données privées en entreprise
• Source : CNIL, IA et RGPD

#LLM privé hébergé en France : les options concrètes

Trois architectures permettent d'héberger un LLM privé, selon le niveau de contrôle voulu. Le tableau les compare sur ce qui compte vraiment : où sont les données, qui administre, et ce que vous devez démontrer à un auditeur.

#Hébergé en France, en Europe, SecNumCloud : trois choses différentes

« Hébergé en France » décrit un lieu, pas une protection juridique. Scaleway, par exemple, met en avant pour ses instances GPU une résidence des données garantie en Europe et une protection contre les lois extraterritoriales : ce sont des engagements commerciaux à lire dans le contrat, pas des faits que ce guide peut vérifier à votre place. Pour les données les plus sensibles, l'ANSSI propose la qualification SecNumCloud, qui vise à protéger les données et les traitements sensibles face à la menace cybercriminelle et à l'application de lois extraterritoriales.

Deux précisions utiles avant de vous en prévaloir. D'une part, l'ANSSI note que cette qualification ne préjuge pas du niveau de sécurité des services que vous portez sur l'offre qualifiée : votre application reste à sécuriser. D'autre part, elle qualifie des offres cloud précises, pas un hébergeur dans son ensemble : consultez le catalogue des produits et services qualifiés pour vérifier que l'offre GPU que vous visez y figure.

#Quel modèle pour une entreprise française, et sous quelle licence

Le choix se fait sur trois critères : la qualité en français, la mémoire nécessaire et la licence. La licence est le critère que l'on oublie : un modèle très bon peut être interdit à un usage commercial. Le catalogue QuelLLM affiche la licence de chaque modèle ; voici quelques repères pour des modèles français ou européens.

Le modèle de 32 milliards de paramètres souvent cité comme « bon compromis » occupe 19 à 20 Go en Q4, poids seuls : sur une carte de 24 Go, il ne laisse presque rien pour le contexte et pour plusieurs utilisateurs à la fois. Pour un premier déploiement, un modèle de 24 milliards de paramètres est une base plus réaliste. Testez le français sur vos propres documents avant de trancher : la qualité affichée dans un classement ne prédit pas la qualité sur votre jargon métier.

#Budget et matériel : dimensionner par utilisateurs simultanés

Le bon dimensionnement ne dépend pas du nombre de salariés, mais du nombre de personnes qui envoient une requête en même temps. D'après la FAQ d'Ollama, un modèle traite par défaut une requête à la fois ; les autres attendent dans une file, et la mémoire requise croît comme le produit du nombre de requêtes parallèles par la longueur du contexte. Autoriser quatre requêtes parallèles sur un contexte de 8 000 tokens alloue donc l'équivalent de 32 000 tokens de mémoire de contexte.

Ces lignes sont des repères d'architecture, pas des mesures : la latence perçue dépend du modèle, de la quantification, du contexte et du profil d'usage. Réalisez un pilote de deux à quatre semaines avec un cas d'usage précis, observez les files d'attente et l'occupation mémoire, puis dimensionnez.

• Combien coûte un serveur GPU pour LLM ?
• SGLang : servir un LLM à plusieurs utilisateurs

#Chatbot interne et RAG documentaire

L'usage le plus rentable est le chatbot connecté à votre base documentaire : le RAG, où l'assistant répond en s'appuyant sur vos procédures, contrats ou documentation technique récupérés à la volée. Open WebUI, AnythingLLM et PrivateGPT proposent ce fonctionnement clé en main. Prenez garde à la licence de l'interface : Open WebUI interdit de retirer sa marque au-delà de cinquante utilisateurs sur trente jours glissants, sauf autorisation ou licence entreprise, ce qui concerne directement un déploiement d'entreprise avec habillage maison.

Deuxième point : le RAG ne remplace pas les droits d'accès. Si tous les salariés interrogent la même base, un document réservé à la direction doit rester inaccessible aux autres. Cloisonnez les collections par groupe et testez avec un compte sans droits.

• Déployer un chatbot IA interne pour PME
• Comparer les frontends de chat

#Sécurité du déploiement

Le point de départ est simple : d'après la FAQ d'Ollama, il écoute par défaut sur 127.0.0.1, port 11434. Tant que vous ne modifiez pas OLLAMA_HOST, il n'est joignable que depuis la machine elle-même. Le danger apparaît quand on l'ouvre au réseau pour que l'interface, sur un autre serveur, puisse l'atteindre, sans rien devant.

Cloisonnement réseau

Serveur sur un réseau interne, accès par l'interface uniquement ; isolement complet (air-gap) pour les données les plus sensibles.

Gestion des accès

Authentification, rôles, désactivation de l'inscription libre, journalisation des requêtes dans l'interface.

Chiffrement

Chiffrez les disques qui contiennent les modèles, les bases documentaires et les historiques de conversation.

Mises à jour

Suivez les versions du moteur, de l'interface et des modèles ; documentez qui est responsable.

Sauvegarde et purge

Décidez de la durée de conservation des conversations et de la procédure d'effacement à la demande d'une personne.

• Sécuriser son serveur Ollama

#Solutions recommandées et déploiement en sept étapes

1. 01
   Cadrer un cas d'usage

   Choisissez un usage précis (support, documentation interne) et la catégorie de données concernées avant de choisir le matériel.
2. 02
   Choisir l'hébergement

   Locaux, hébergeur européen ou poste de travail, selon la sensibilité des données et le tableau d'options.
3. 03
   Choisir le modèle

   Vérifiez la licence, testez le français sur vos documents, gardez la mémoire nécessaire en tête.
4. 04
   Installer le moteur et l'interface

   Ollama et Open WebUI pour un pilote, un serveur à haut débit pour une charge plus forte.
5. 05
   Sécuriser

   Comptes, rôles, HTTPS derrière un reverse proxy, port du moteur non exposé, disques chiffrés.
6. 06
   Documenter

   Registre des traitements, information des personnes, durée de conservation, contrat de sous-traitance si hébergeur.
7. 07
   Mesurer avec un pilote

   Deux à quatre semaines d'usage réel, puis décision de montée en charge.

Cette pile est gratuite en logiciel, mais elle n'est pas conforme « par conception » : c'est l'usage que vous en faites, documenté et contrôlé, qui l'est. Gardez la trace de vos choix ; c'est ce que demandera un auditeur.

• Source : CNIL, transférer des données hors de l'UE
• Source : ANSSI, qualification SecNumCloud
• Source : Scaleway, instances GPU
• Source : FAQ Ollama