Routage des modèles d'IA et coûtsLe bon modèle pour la bonne tâche, et s'il est gratuit, c'est encore mieux.
Avec model="auto", routtx classe chaque demande, choisit le modèle dans une table et passe à un autre fournisseur quand un appel échoue. Il suit le quota de chaque fournisseur et ressert une réponse déjà donnée quand la demande est quasi identique.
- Même fonctionnement dans les offres Pro, Business et Enterprise (sur devis)
- Un autre fournisseur essayé quand un appel échoue, avec
model="auto" - Quota de chaque fournisseur suivi dans le tableau de bord
Photo : Nate / Unsplash
Chaque demande est classée, puis confiée à un modèle de la table
routtx range la demande dans l'un de sept types : code, rédaction, résumé, raisonnement, questions sur documents, traduction, maths. Ce classement repose sur des mots-clés. Quand il hésite, la demande est traitée comme de la rédaction.
Avec model="auto", routtx prend ensuite le modèle dans la table du type de tâche. Il tourne parmi les candidats qui ont une clé et du quota disponible. La table contient des modèles gratuits et des modèles payants selon le type de tâche, sans garantie qu'un modèle gratuit soit pris en premier. Le tableau de bord montre la répartition par fournisseur et par type de tâche.
Fonction par fonction
Ces fonctions sont les mêmes dans les offres Pro, Business et Enterprise (sur devis).
Classement de la demande
Sept types de tâche, reconnus par mots-clés. Le type décide de la table de modèles utilisée.
Choix avec
model="auto"Votre application n'a pas à nommer un modèle. routtx tourne parmi les candidats du type de tâche qui ont une clé et du quota.
Bascule vers un autre fournisseur
Avec
model="auto", quand l'appel échoue, quelle que soit l'erreur, routtx essaie un autre fournisseur disposant d'une clé et de quota. En continu, une seule bascule est tentée. Un modèle nommé explicitement n'a pas de bascule.Quota suivi par fournisseur
Chaque fournisseur a son compteur. Un fournisseur épuisé est ignoré au choix suivant.
Cache sémantique
Une réponse est resservie pour une demande quasi identique à une demande déjà posée, par le même compte, et dans la même conversation quand la demande en a une. Le cache ne joue pas en streaming, ni quand la demande contient des outils.
Réponse en continu
La réponse peut arriver au fil de l'eau. Les valeurs masquées y sont rétablies quand l'anonymisation est active, et les liens neutralisés.
Économie estimée
Le tableau de bord chiffre une économie estimée au tarif d'un modèle de référence. C'est une estimation, pas une facture.
Un fournisseur épuisé n'est plus choisi
Certains fournisseurs limitent leur offre gratuite par un quota. routtx compte les appels de chacun, affiche l'utilisation et le délai de réinitialisation, et laisse de côté un fournisseur épuisé le temps qu'il se rétablisse.
Ces compteurs sont ceux de la passerelle, partagés entre toutes les demandes. Ils ne sont pas propres à un client.
Ce que routtx couvre, et ce qu'il ne couvre pas
Quatre points à vérifier avant de laisser routtx choisir.
La qualité dépend du modèle choisi
routtx choisit un modèle, il n'en garantit pas la réponse. Pour une tâche où un modèle précis compte, testez la table sur vos propres demandes.
Le classement est approximatif
Il repose sur des mots-clés, pas sur une lecture du sens. Une demande ambiguë est traitée comme de la rédaction.
La bascule dépend des fournisseurs disponibles
routtx n'essaie que les fournisseurs disposant d'une clé et de quota, et seulement avec
model="auto". En continu, une seule bascule est tentée : si la panne survient pendant la réponse, le texte du second fournisseur s'ajoute au texte déjà reçu.Le cache ne couvre pas tous les cas
Il ne répond qu'à une demande quasi identique, et jamais en streaming ni avec des outils. Une reformulation large part vers le modèle.
Choisir sans nommer le modèle
Le routage consiste à choisir, pour chaque demande, le fournisseur et le modèle qui y répondent. Dans routtx, le type de tâche détermine la table de candidats, le quota restant écarte les fournisseurs épuisés, et, avec model="auto", un autre fournisseur est essayé quand un appel échoue. Votre application appelle routtx avec model="auto", comme elle appellerait un seul modèle.
Questions fréquentes
Comment routtx choisit-il le modèle ?
Avec model="auto", routtx classe la demande par mots-clés dans l'un de sept types, puis choisit le modèle dans la table de ce type. Il tourne parmi les candidats qui ont une clé et du quota disponible.
Que se passe-t-il quand un fournisseur est épuisé ou en erreur ?
Un fournisseur dont le quota est épuisé est ignoré. Avec model="auto", si un appel échoue, quelle que soit l'erreur, routtx essaie un autre fournisseur disposant d'une clé et de quota. En continu, une seule bascule est tentée. Un modèle nommé explicitement n'a pas de bascule.
Quand le cache ressert-il une réponse ?
Quand la demande est quasi identique à une demande déjà posée, par le même compte, et dans la même conversation quand la demande en a une, pendant une heure. Le cache ne joue pas en streaming, ni quand la demande contient des outils.
Les modèles utilisés sont-ils gratuits ?
Cela dépend du fournisseur et de son quota. La table contient des modèles gratuits et des modèles payants selon le type de tâche. routtx tourne parmi les candidats disponibles, sans garantie qu'un modèle gratuit soit pris en premier. Le tableau de bord affiche une économie estimée au tarif d'un modèle de référence : c'est une estimation, pas une facture.
Voyez le routage sur des demandes de votre métier.
Une démo de 30 minutes : nous envoyons quelques demandes de votre métier à routtx, et vous regardez quel fournisseur répond à chacune.