Comment reduire vos couts LLM de 95% avec le routing intelligent

Il y a 3 mois, notre app chatbot interne cramait 120EUR/mois chez OpenAI pour 10 000 requêtes. Après migration vers un setup multi-provider avec Routtx, la facture est tombee a 6EUR. Voici exactement comment.

Le problème : tout chez OpenAI

Notre chatbot interne (assistant support clients, 10 000 req/mois) utilisait uniquement gpt-4o. Simple, fiable, mais cher. Au prix de $2.50 input + $10 output par million de tokens, avec une moyenne de 2 000 tokens par requête, la facture mensuelle tournait autour de 120EUR.

Le problème n'est pas tant le prix que le gaspillage : 80% de nos requêtes etaient des taches simples (reformulation, classification, extraction) qu'un modèle 10x moins cher ferait aussi bien.

L'hypothese : multi-provider avec free tiers

Les free tiers des providers LLM sont aujourd'hui extremement genereux :

• Groq : 1000 req/jour sur Llama 3.3 70B (gratuit)
• Gemini : 1500 req/jour sur Gemini 2.0 Flash (gratuit)
• Mistral : 60 req/min sur Mistral Small (gratuit)
• Cerebras : 30 req/min (gratuit, ultra-rapide)

Fait le calcul : si je route intelligemment mes requêtes, je peux absorber 10 000 req/mois sans jamais payer un centime. OpenAI ne sert qu'en fallback pour les cas complexes.

L'implementation avec Routtx

La migration s'est faite en 3 étapes. Aucun changement de code backend — juste la base_url.

Étape 1 — Recuperer les clés free tier

J'ai créé des comptes sur Groq, Gemini et Mistral. 2 minutes par provider. Pas de carte bancaire. Les clés sont ajoutees dans Provider Keys.

Étape 2 — Changer la base_url

Dans le code de l'app :

# Avant
client = OpenAI(api_key="sk-...")

# Après
client = OpenAI(
    base_url="https://api.routtx.fr/v1",
    api_key="sk-gw-...",
)

Étape 3 — Passer en mode "auto"

L'option magique : model="auto". Routtx classifie la requête et route vers le provider optimal.

response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": user_input}],
)

Les resultats, chiffres a l'appui

La latence : une bonne surprise

Non seulement la facture a baisse, mais la latence aussi. Groq et Cerebras sont beaucoup plus rapides qu'OpenAI (respectivement ~200ms et ~150ms en p50). Nos utilisateurs ont meme remarque la difference.

Seuls les cas complexes (~6% des requêtes) tombent sur GPT-4o en fallback. Pour ces requêtes la, la latence remonte a 1.8s. Mais c'est compense par le fait que 94% des requêtes repondent en moins de 500ms.

La fiabilité : multi-provider = redondance

Bonus inattendu : zero downtime depuis la migration. Quand Groq a un pic de charge (il arrive), Routtx bascule automatiquement sur Gemini ou Mistral. L'utilisateur ne voit rien.

Avec OpenAI only, chaque panne 429 ou 503 etait visible en production. Maintenant, la chaine de retry absorbe la majorite des echecs.

Ce qui ne marche pas bien

Soyons honnetes. 3 limitations que j'ai observees :

• Les providers gratuits ont des quotas reels. Si votre volume est gros (100K+ req/mois), il faut upgrader au moins un provider en payant.
• Les modèles free tier sont moins bons sur les taches de raisonnement complexe. Llama 3.3 70B est excellent pour du code ou de la reformulation, moins pour des analyses nuancees.
• Le classifier Routtx fait parfois des erreurs. Dans ~5% des cas, une tache "reasoning" est classifiee en "writing" et finit sur un modèle sous-dimensionne. A surveiller.

Conclusion : faites le switch

Si vous payez plus de 50EUR/mois chez OpenAI ou Anthropic, la migration est rentable. Le temps d'implementation : 30 minutes. Le ROI : immédiat.

Le code ne change pas. Vos providers existants continuent de marcher (Routtx les utilise en fallback). Et si ca ne vous convient pas, vous re-remplacez la base_url en 10 secondes.

← Retour au blog