RAG souverain : héberger l'IA chez vous (self-hosted), quand et comment

En bref

• Le RAG « souverain » garde vos documents dans votre périmètre : aucune donnée n'est envoyée vers un cloud hors UE.
• C'est techniquement à portée : embeddings open-source (BGE, E5), base vectorielle auto-hébergée (Qdrant, Chroma, pgvector), LLM ouvert ou hébergé en UE.
• Le compromis honnête : plus de contrôle, mais un peu plus d'exploitation (GPU, mises à jour, supervision). On le réserve aux données qui le justifient.
• En pratique, le meilleur choix est souvent un mix : le sensible en interne, le reste sur des services managés UE.

Le problème, concrètement

Santé, juridique, RH, secteur régulé, données stratégiques : pour certains clients, « les documents partent sur un cloud américain » est un non catégorique, parfois inscrit dans un contrat ou une obligation réglementaire. La question n'est alors plus « est-ce mieux ? » mais « comment fait-on un RAG sérieux sans que rien ne sorte ? ».

Pourquoi c'est devenu réaliste

Il y a deux ans, faire du RAG sans API américaine signifiait des résultats médiocres. Ce n'est plus vrai : les modèles d'embeddings open-source (familles BGE, E5) rivalisent avec les API propriétaires, et des LLM ouverts performants peuvent tourner sur des GPU loués chez un hébergeur européen. La souveraineté ne coûte plus la qualité.

L'architecture souveraine

• Embeddings open-source exécutés sur vos serveurs ou un hébergeur UE.
• Base vectorielle auto-hébergée : Qdrant, Chroma, ou pgvector dans votre PostgreSQL (voir choix de la base).
• LLM ouvert auto-hébergé, ou via un hébergeur européen avec garanties contractuelles.
• Le tout dans votre VPC ou chez un hébergeur souverain : aucune donnée ne quitte le périmètre.

Le compromis à assumer (la nuance)

Le self-hosted intégral, c'est plus de maîtrise, mais aussi : du GPU à provisionner, des modèles à mettre à jour, une supervision à assurer. Pour beaucoup d'usages non sensibles, une API managée avec résidence UE et zéro-rétention reste plus simple et tout aussi conforme (voir RAG & RGPD). Le bon réflexe n'est pas « tout souverain » par principe, mais « souverain là où la donnée l'exige ».

En pratique

Je conçois l'architecture selon votre niveau d'exigence réel : souvent un mix, où le corpus sensible reste en interne et le reste s'appuie sur des services optimisés. On démarre par cartographier la sensibilité des données, puis on choisit, sans dogme.

Sources

• CNIL · IA & protection des données
• Qdrant · base vectorielle open-source (documentation)
• MTEB · classement des modèles d'embeddings (open-source inclus)