Passerelle LLM : définition, usages et critères de choix

Une passerelle LLM (en anglais LLM gateway) est une couche logicielle placée entre vos applications et les fournisseurs de modèles d'IA. Toutes les requêtes passent par elle : c'est là que l'entreprise choisit le modèle, contrôle les données qui sortent, garde une trace de chaque échange et suit ce que cela coûte. Cet article explique ce que fait une passerelle, à quoi elle sert concrètement et comment la choisir quand on est DSI.

Qu'est-ce qu'une passerelle LLM ?

Sans passerelle, chaque application, chaque équipe et parfois chaque collaborateur se connecte directement à un fournisseur : une clé d'API ici, un abonnement là, un assistant installé dans le navigateur ailleurs. Les règles de sécurité sont appliquées, ou non, au cas par cas, et personne n'a la vue d'ensemble.

La passerelle LLM inverse cette logique. Les applications ne parlent plus aux fournisseurs, elles parlent à la passerelle, qui parle ensuite aux modèles. On retrouve l'idée de la passerelle API qui protège et distribue des services web, mais appliquée aux modèles de langage. Les termes « passerelle IA », « AI gateway » et « LLM gateway » désignent à peu près la même chose ; on parle aussi parfois de proxy ou de routeur de modèles quand la fonction de routage domine.

Une passerelle LLM remplit en général quatre fonctions : un point d'accès unique, le routage entre modèles, un contrôle du contenu des requêtes et des réponses, et une journalisation. Le détail varie d'un produit à l'autre, ce qui rend les critères de choix plus importants que la définition.

À quoi sert une passerelle LLM en entreprise ?

Un point de passage unique

La première valeur est organisationnelle. Quand tout le trafic vers les modèles passe par un seul endroit, la DSI peut dire qui utilise quoi, avec quelles clés et pour quels usages. La gestion des accès et des clés se fait au même endroit. Les clés des fournisseurs ne sont plus recopiées dans des dépôts de code ou des fichiers de configuration : elles sont conservées à un endroit, que l'on peut protéger et renouveler.

Les applications gagnent aussi en simplicité. Si la passerelle expose une API au format que les développeurs connaissent déjà, par exemple celui d'OpenAI ou d'Anthropic, changer de fournisseur ne demande pas de réécrire le code d'intégration. On modifie un réglage côté passerelle.

Le routage entre modèles

Tous les modèles ne se valent pas pour toutes les tâches. Un petit modèle suffit pour classer un email ou résumer une note ; un modèle plus puissant se justifie pour analyser un contrat. Le routage consiste à choisir le modèle selon la tâche demandée, plutôt que d'envoyer systématiquement chaque requête au plus gros et au plus cher. Selon la passerelle, la règle est écrite à la main par l'équipe technique ou déduite du contenu de la requête.

La bascule en cas de panne

Un fournisseur peut être indisponible, limiter le débit ou retirer un modèle de son catalogue. Si l'application est branchée en dur sur lui, le service s'arrête. Avec une passerelle, la requête peut être redirigée vers un autre modèle ou un autre fournisseur, sans intervention des développeurs et sans que l'utilisateur s'en aperçoive. Pour un service utilisé en production, c'est souvent le premier argument qui convainc la direction technique.

Le contrôle des données

Pour une entreprise française, la question centrale est de savoir quelles données quittent son périmètre. Une passerelle qui lit les requêtes avant leur envoi peut repérer des données personnelles, des identifiants ou des secrets, puis les masquer, les retirer ou bloquer la requête. Elle peut aussi analyser ce qui revient : textes, documents et pages web transmis au modèle contiennent parfois des instructions cachées, ce que l'OWASP classe en tête des risques des applications LLM sous le nom d'injection de prompt.

Pour les professions soumises au secret, l'enjeu est direct : l'article 226-13 du code pénal sanctionne la révélation d'une information couverte par le secret professionnel. La CNIL publie des ressources sur l'IA et la protection des données à destination des organisations. Une passerelle ne dispense d'aucune de ces obligations, mais elle fournit l'endroit où les appliquer de façon uniforme.

Le journal et la traçabilité

Quand un DPO ou un auditeur demande qui a envoyé quoi, à quel modèle et quand, la réponse ne doit pas dépendre de la bonne volonté de chaque équipe. Elle consigne chaque échange : l'utilisateur ou l'application, le modèle appelé, la date, et selon les produits les menaces repérées. La durée de conservation de ce journal est un sujet en soi, car un journal complet contient lui-même des données sensibles.

Le suivi des coûts

Les modèles se facturent au volume traité. Sans vue centralisée, la facture se découvre en fin de mois, répartie sur plusieurs abonnements. Elle agrège la consommation par équipe, par application et par modèle, ce qui permet de fixer des plafonds et de repérer les usages coûteux. Le routage joue aussi sur ce poste : envoyer les tâches simples vers des modèles moins chers est la manière la plus directe de réduire la dépense.

Passerelle LLM, passerelle API, proxy : quelles différences ?

Une passerelle API classique gère l'authentification, les quotas et l'orientation du trafic vers des services. Elle ne lit pas le contenu des requêtes pour comprendre ce qu'elles contiennent. Une passerelle LLM s'intéresse justement au contenu : quelle tâche est demandée, quelles données personnelles figurent dans le texte, s'il y a une instruction suspecte, combien de jetons sont consommés.

Un simple proxy transmet les requêtes en ajoutant éventuellement une clé ou un journal. C'est utile, mais cela ne couvre ni le choix du modèle ni la protection des données. La frontière est floue dans le vocabulaire des éditeurs : il vaut mieux regarder les fonctions réellement fournies que le nom du produit. Cette couche d'infrastructure prend de l'importance à mesure que l'utilisation de l'IA s'étend dans l'organisation.

Comment choisir une passerelle LLM : les critères pour un DSI

Voici les questions à poser, dans l'ordre où elles posent le plus souvent problème en entreprise.

1. Que fait la passerelle des données ?

Demandez précisément quelles données sont repérées, ce qui se passe quand l'une d'elles l'est, et si des catégories peuvent être activées ou désactivées. Demandez aussi ce qui n'est pas repéré : aucun filtre ne couvre tout, et un détail du récit peut identifier quelqu'un sans correspondre à aucune catégorie connue. Méfiez-vous des promesses de protection totale.

Distinguez aussi anonymisation et pseudonymisation. Si la passerelle remplace une donnée par un jeton et garde la correspondance pour la restituer dans la réponse, il s'agit de pseudonymisation au sens du RGPD : les données restent des données personnelles pour l'entreprise. La question utile est de savoir où se trouve la table de correspondance, et si elle est transmise ou non au fournisseur du modèle.

2. Où passent les données, et qui les voit ?

Une passerelle voit tout ce qui transite. Vérifiez qui l'exploite, où elle s'exécute, quelles données elle conserve, pendant combien de temps, et si les échanges servent à autre chose qu'à rendre le service. La durée de conservation du journal doit pouvoir être fixée contractuellement. Une passerelle détient aussi les clés de vos fournisseurs : leur stockage chiffré et leur gestion sont un point de sécurité à examiner de près.

3. Quelle protection contre les injections de prompt ?

Interrogez l'éditeur sur ce qui est analysé : seulement le message de l'utilisateur, ou aussi les documents, les emails et les pages web transmis au modèle ? Sur la façon de traiter une instruction repérée : retirée, signalée ou requête bloquée ? Sur les sorties : les images et liens vers l'extérieur peuvent servir à faire fuiter des données, et il est préférable que la passerelle les neutralise. Là encore, aucune détection n'est garantie à 100 %.

4. Comment les équipes s'y connectent-elles ?

Une passerelle utile est une passerelle utilisée. Si elle impose de changer les habitudes, les collaborateurs la contourneront. Regardez les modes de connexion disponibles : API compatible avec les formats existants pour les développements internes, extension de navigateur pour les assistants grand public, connecteurs pour les outils d'IA déjà en place. Vérifiez aussi la liste exacte des outils couverts, car une extension qui ne gère pas un assistant laisse une brèche.

5. Quel routage, quelle bascule ?

Le routage est-il configurable, automatique, ou les deux ? La bascule se déclenche-t-elle sur une indisponibilité, un dépassement de débit, une erreur ? Peut-on limiter les modèles autorisés à ceux que le service juridique a validés ? Ces points déterminent la dépendance réelle à un fournisseur.

6. Journal, audit et coûts

Le journal est-il exportable, interrogeable, et contient-il les informations demandées par un DPO : qui, quel modèle, quand, quelle menace repérée ? Le suivi des coûts descend-il au niveau d'une équipe ou d'une application ?

7. Délai ajouté et robustesse

Elle ajoute un intermédiaire. Mesurez le délai supplémentaire lors d'un essai sur la base de vos propres requêtes, en particulier si le contenu est analysé, et demandez ce qui se passe en cas de panne. Précisez aussi le mode de déploiement : service hébergé ou installation dans votre infrastructure. Un point de passage unique est une force pour le contrôle, et un point de défaillance à anticiper.

8. Réversibilité

Si les applications parlent à la passerelle dans un format standard, revenir en arrière ou changer de passerelle reste possible. Un format propriétaire crée une nouvelle dépendance, celle-là même que l'on voulait éviter avec les fournisseurs de modèles.

Où se situe routtx

routtx est une passerelle d'IA pensée pour les entreprises françaises, en particulier celles où le secret professionnel ou la confidentialité des dossiers pèse lourd. Elle fait le choix de mettre le contrôle des données au centre, avant le routage.

• Données : les données repérées (noms, emails, téléphones, adresses, NIR, IBAN, SIRET, pièces d'identité, références cadastrales, numéros propres aux notaires, motifs personnalisés par compte) sont remplacées par des jetons comme [PERSON_1] avant l'envoi au modèle, puis les vraies valeurs sont remises dans la réponse. Il s'agit de pseudonymisation : l'entreprise garde la correspondance, qui n'est jamais transmise au fournisseur du modèle. Ce qui n'est pas repéré part tel quel. Le détail est sur la page sécurité.
• Injections : 396 motifs d'attaque répartis en 23 familles, le texte étant scanné en entier. Les documents (PDF, Word, emails) et les pages web sont analysés, et dans les réponses obtenues par l'API les images et liens vers l'extérieur sont retirés.
• Routage et bascule : avec model="auto", routtx choisit le modèle selon la tâche et bascule vers un autre si le premier est indisponible. Les clés de vos fournisseurs sont stockées chiffrées.
• Connexion : API compatible OpenAI et Anthropic, extension Chrome, connecteur Claude et extensions Claude Code. Les modes d'intégration précisent les outils couverts et ceux qui ne le sont pas.
• Journal : chaque échange est consigné (qui, quel modèle, quand, menace repérée), avec une durée de conservation fixée au contrat.

L'ensemble des fonctionnalités est décrit sur leur page, et la documentation donne les détails d'utilisation de l'API. Les offres Pro, Business et Enterprise se distinguent notamment par le traitement par lots de documents, réservé à Business et Enterprise.

routtx n'est pas la seule façon de bâtir une passerelle : certaines équipes assemblent la leur à partir de briques existantes, d'autres choisissent un service généraliste centré sur le routage. Le bon choix dépend de ce que vous devez maîtriser en priorité. Si votre contrainte principale est la protection des données et le secret professionnel, c'est là qu'il faut regarder en premier.

Questions fréquentes

Qu'est-ce qu'une passerelle LLM ?

Une passerelle LLM (LLM gateway) est une couche placée entre vos applications et les fournisseurs de modèles d'IA. Toutes les requêtes passent par elle, qui peut choisir le modèle, contrôler les données envoyées, basculer en cas de panne et consigner chaque échange.

Quelle différence entre une passerelle LLM et une passerelle API classique ?

Une passerelle API classique gère l'authentification, les quotas et le routage de services. Une passerelle LLM ajoute ce qui est propre aux modèles de langage : choix du modèle selon la tâche, lecture du contenu des requêtes, protection des données personnelles, détection des injections de prompt, suivi des jetons et des coûts.

Une passerelle LLM est-elle utile si l'on n'utilise qu'un seul modèle ?

Oui, car l'intérêt ne se limite pas au choix du modèle. Le contrôle des données, le journal des échanges et la gestion centralisée des clés valent aussi pour un seul fournisseur. La bascule devient un atout le jour où ce fournisseur est indisponible ou change ses conditions.

Une passerelle LLM ralentit-elle les réponses ?

Elle ajoute un intermédiaire, donc un délai, qui doit rester faible par rapport au temps de génération du modèle. C'est un critère à mesurer lors d'un essai, en particulier si la passerelle analyse le contenu des requêtes.

Une passerelle LLM remplace-t-elle une politique d'usage de l'IA ?

Non. Elle applique techniquement des règles que l'entreprise doit d'abord définir : quels outils sont autorisés, quelles données ne doivent jamais sortir, qui peut utiliser quel modèle. Sans ces règles, la passerelle n'a rien à faire respecter.