IA souveraine : comment héberger une IA générative en interne
Quand un collaborateur colle un contrat dans un assistant en ligne, le document part chez l'éditeur du service. Ce guide explique comment faire tourner une IA générative sur des serveurs que vous contrôlez, du choix du modèle jusqu'à la sécurité du service.
En bref
Héberger une IA générative en interne, c'est installer un modèle téléchargeable (Llama, Mistral, Qwen) sur des serveurs que vous contrôlez : vos documents, les questions posées et les journaux restent chez vous. Il faut vérifier la licence du modèle, prévoir assez de mémoire sur les serveurs et suivre les recommandations de sécurité de l'ANSSI.
Un collaborateur colle un contrat dans un assistant d'IA en ligne pour en obtenir un résumé. Le résumé arrive en quelques secondes, mais le contrat est parti chez l'éditeur du service. L'ANSSI, l'agence nationale chargée de la cybersécurité, estime qu'envoyer un document à un service d'IA grand public revient à le déposer sur un espace de stockage qui appartient à ce service. Ce guide explique comment faire tourner une IA générative sur des serveurs que vous contrôlez, et quelles décisions prendre pour y arriver.
Que veut dire « IA souveraine » ?
Une IA souveraine est un assistant d'IA générative dont vous gardez le contrôle. Le modèle tourne sur des serveurs que vous avez choisis, les vôtres ou ceux d'un hébergeur de confiance, et personne d'autre ne voit les données qu'il traite. Le terme ne désigne donc pas une technologie, mais une façon de l'installer.
Toute la différence avec un assistant en ligne tient au trajet des données. Avec un service en ligne, votre question et vos pièces jointes partent chez l'éditeur, qui calcule la réponse sur ses propres serveurs. Dans la plupart des offres grand public, ces données servent aussi à améliorer les modèles de l'éditeur. Quand le modèle tourne chez vous, ce risque disparaît, car le fournisseur du modèle ne peut plus réutiliser vos données.
Dans une installation souveraine, tout ce que l'IA manipule reste chez vous.
- Le modèle lui-même, c'est-à-dire le fichier qui contient ce qu'il a appris. Les spécialistes parlent de ses « poids ».
- Les documents que l'IA consulte pour répondre. Le plus souvent, l'assistant ne les apprend pas : il cherche les passages utiles dans vos fichiers au moment de la question, puis rédige sa réponse à partir d'eux. Cette méthode s'appelle la génération augmentée par récupération, ou RAG.
- Les questions des utilisateurs et les réponses de l'IA.
- Les journaux, qui gardent la trace de chaque échange.
- Les clés de chiffrement et les mots de passe techniques, rangés dans votre propre coffre-fort numérique.
Reste à choisir entre vos propres serveurs et un cloud de confiance. Ce choix dépend de la sensibilité de vos données et de votre secteur.
Choisir un modèle et lire sa licence
Plusieurs éditeurs publient leurs modèles en libre téléchargement. Meta publie Llama, Mistral AI publie Mistral et Alibaba Cloud publie Qwen. Vous récupérez le fichier du modèle et vous le faites tourner sur vos serveurs, sans aucune connexion avec l'éditeur. Ces modèles sont dits « ouverts » (open-weight, en anglais), parce que l'éditeur publie leurs poids.
Téléchargeable ne veut pas dire libre pour tous les usages. Chaque version a sa licence, et deux tailles d'une même famille peuvent suivre des règles différentes. Le tableau résume la situation de versions courantes.
| Modèle | Usage en entreprise |
|---|---|
| Llama 3.3, 70 milliards de paramètres (Meta) | Autorisé (licence Llama 3.3) |
| Qwen2.5 72B, 72 milliards (Alibaba Cloud) | Autorisé (licence Qwen) |
| Mistral Small 24B, 24 milliards (Mistral AI) | Autorisé, licence libre (Apache 2.0) |
| Qwen2.5 7B et 32B (Alibaba Cloud) | Autorisé, licence libre (Apache 2.0) |
| Mistral Large 2411, 123 milliards (Mistral AI) | Non, réservé à la recherche (licence de recherche Mistral) |
Meta ne demande un accord qu'au-delà de 700 millions d'utilisateurs par mois, et Alibaba Cloud au-delà de 100 millions, des seuils qu'un usage interne n'atteint pas. Le piège de ce tableau est Mistral Large, dont la licence exclut le travail quotidien des salariés. Relisez donc la licence de la version exacte que vous installez, pas seulement celle de la famille. Notre revue des sorties de modèles du trimestre présente les dernières versions.
Prévoir le bon matériel
Un modèle d'IA générative fonctionne sur des cartes graphiques (GPU), des composants conçus pour mener beaucoup de calculs en même temps. Pour répondre vite, il est chargé dans la mémoire de ces cartes. La quantité de mémoire disponible décide donc de la taille du modèle que vous pouvez faire tourner.
La règle de calcul est simple : il faut environ 2 Go de mémoire par milliard de paramètres. Les paramètres sont les réglages internes que le modèle a appris pendant son entraînement. Un modèle de 70 milliards de paramètres demande ainsi environ 140 Go, rien que pour être chargé. Or une carte haut de gamme offre 80 Go : il en faut au moins deux.
| Taille du modèle | Mémoire nécessaire, environ | Exemple |
|---|---|---|
| 7 à 8 milliards de paramètres | 14 à 16 Go | Qwen2.5 7B |
| 24 milliards | 48 Go | Mistral Small 24B |
| 70 à 72 milliards | 140 à 144 Go | Llama 3.3 70B, Qwen2.5 72B |
| 123 milliards | 246 Go | Mistral Large 2411 |
Ces chiffres ne comptent que le modèle. Un long document à analyser ajoute de la mémoire, car le modèle doit garder tout le texte sous la main pendant qu'il répond. À l'inverse, un modèle peut être compressé en stockant chaque paramètre avec moins de précision. Il prend alors moins de place mais peut perdre en qualité, ce que seul un test sur vos documents permet de mesurer.
Le plus gros modèle n'est pas toujours nécessaire. Notre fiche de décision pour un cabinet d'avocats montre qu'un modèle de taille intermédiaire suffit au tri et à la synthèse de dossiers, sur un seul serveur.
Installer et sécuriser le service
Le modèle ne s'utilise pas seul. Un logiciel serveur le charge en mémoire et le met à la disposition de vos applications sur le réseau interne. Des logiciels libres font ce travail, comme vLLM ou llama.cpp. Leur protection intégrée reste partielle : la clé d'accès de vLLM, par exemple, ne protège qu'une partie du service. Placez donc le serveur derrière un contrôle d'accès qui vérifie l'identité de chaque utilisateur.
L'ANSSI a publié un guide de sécurité consacré à l'IA générative. Plusieurs de ses recommandations s'appliquent dès l'installation.
- Décider dès le départ quels documents servent à entraîner le modèle et lesquels restent dans la base qu'il consulte. Les droits d'accès ne s'appliquent qu'aux seconds.
- Ne laisser l'IA mener aucune action critique sans validation humaine, comme un virement bancaire ou la création d'un compte administrateur.
- Prévoir une solution de repli, pour que le travail continue si l'IA tombe en panne ou se trompe.
- Garder une trace de chaque échange, avec la question, les documents consultés et la réponse.
Le premier point mérite un exemple. Prenons un cabinet qui réserve les dossiers du personnel à deux associés. Si ces dossiers servent à entraîner le modèle, celui-ci peut en restituer des passages à n'importe quel collaborateur, car un modèle hérite de la sensibilité des données qui l'ont formé. S'ils restent dans la base documentaire, l'assistant ne les consulte que pour les deux associés.
Ces journaux et cette base documentaire contiennent vite des données personnelles, dès qu'un nom de client ou de patient y apparaît. Associez donc votre délégué à la protection des données dès le début du projet.
En pratique, par où commencer
- Partez d'un besoin concret, comme la synthèse de dossiers ou le tri du courrier entrant, et choisissez l'outil ensuite.
- Classez les données que l'IA lira et repérez celles qui ne doivent jamais sortir. Notre liste de contrôle pour cadrer un déploiement détaille cette étape.
- Choisissez un modèle et lisez la licence de la version exacte.
- Estimez le matériel à partir de la taille du modèle et du nombre de questions attendues.
- Testez le modèle sur vos propres documents, avec vos critères de qualité, avant de l'ouvrir aux équipes.
- Rédigez une charte qui dit à vos équipes quels usages sont permis et lesquels ne le sont pas.
Faire appel à Coplement
Coplement construit des assistants d'IA spécialisés, appelés agents, à partir des modèles Llama, Mistral et Qwen. Ces agents tournent sur l'infrastructure du client, ses propres serveurs ou les hébergeurs OVH et Outscale. L'offre retenue chez OVH porte la qualification de sécurité de l'ANSSI, appelée SecNumCloud. Les clés de chiffrement restent dans le coffre-fort du client. Chaque question posée à l'IA est tracée de bout en bout dans un journal, et l'installation fonctionne aussi sur un réseau coupé d'Internet.
Chaque projet commence par un audit de déploiement gratuit de 2 à 3 semaines, sans engagement : demander un audit de déploiement.
- IA souveraine
- IA générative
- auto-hébergement
- modèles open-weight
- GPU
- ANSSI
Questions fréquentes
Quelle différence entre IA souveraine et IA on-premise ?
On-premise, ou « sur site », désigne un lieu : le modèle tourne sur des serveurs installés dans vos locaux. IA souveraine désigne le contrôle que vous gardez sur le modèle, les données, les journaux et les clés de chiffrement. Un modèle confié à un hébergeur de confiance peut donc être souverain sans être installé chez vous.
Llama, Mistral et Qwen sont-ils gratuits pour une entreprise ?
Les modèles se téléchargent gratuitement, mais chaque version a sa licence. Mistral Small 24B et Qwen2.5 7B ou 32B sont sous une licence libre qui autorise l'usage commercial. Llama 3.3 et Qwen2.5 72B s'utilisent aussi en entreprise : Meta ne demande un accord qu'au-delà de 700 millions d'utilisateurs par mois, et Alibaba Cloud au-delà de 100 millions. Mistral Large 2411, en revanche, est réservé à la recherche non commerciale.
Quel matériel faut-il pour un modèle de 70 milliards de paramètres ?
Comptez environ 140 Go de mémoire sur les cartes graphiques, rien que pour charger le modèle, soit 2 Go par milliard de paramètres. Comme une carte haut de gamme offre 80 Go, il en faut au moins deux. Une version compressée du modèle prend moins de place, mais sa qualité doit être vérifiée sur vos documents.
L'IA peut-elle apprendre sur des documents confidentiels ?
Oui, mais le modèle devient alors aussi sensible que ces documents, car il peut en restituer des passages. Il ne sait pas non plus réserver une information à certains utilisateurs. Les documents dont l'accès dépend de la personne restent donc dans la base que l'IA consulte au moment de la question, où les droits d'accès s'appliquent.
Une IA installée chez vous envoie-t-elle des données à l'éditeur du modèle ?
Non. Le fichier du modèle se télécharge une fois, puis tourne sur vos serveurs sans aucune connexion avec l'éditeur. Vos documents, vos questions et les réponses restent chez vous, et l'éditeur ne peut pas s'en servir pour améliorer ses modèles.

Parlez-nous de votre cas d'usage
Nous revenons avec une architecture qui répond à votre besoin. Installez-la vous-même ou confiez-la-nous.
Dans la même rubrique
How-to
RAG en entreprise : comment une IA répond-elle à partir de vos documents ?
Une IA peut répondre à partir de vos procédures et de vos contrats sans les apprendre, grâce à une recherche dans vos documents. Ce guide explique le principe, la préparation des documents, les droits d'accès, les tests et le lieu où ranger l'index.
How-to
Agent IA en entreprise : qu'est-ce que c'est, et que pouvez-vous lui confier ?
Un agent IA ne se contente pas de répondre : il agit dans vos logiciels, avec les accès que vous lui ouvrez. Ce guide compare agent et assistant, donne trois exemples de tâches et liste les garde-fous à exiger avant de lui confier vos dossiers.
How-to
Déployer une IA dans votre entreprise : quelles étapes, de l'audit à la mise en production ?
Un projet d'IA installée chez vous ne commence pas par le choix d'un modèle. Ce guide suit l'exemple d'une PME qui veut extraire les clauses de ses contrats fournisseurs, en six étapes. Les trois premières portent sur un premier usage, l'inventaire des documents et des risques, puis le lieu et le modèle. Les trois suivantes couvrent les tests sur vos dossiers, l'ouverture à un groupe pilote, puis le suivi après la mise en production.