Model Routing
Routage de modèle
Le routage de modèle choisit quel modèle ou quelle trajectoire de modèle traite chaque requête. Le choix suit des règles claires concernant la qualité, la compétence, le coût, le délai ou la politique de sécurité.
Un autre exemple
Une plateforme utilise les types de requêtes, les scores de test, les prix et les objectifs de délai pour choisir un modèle. Les résumés simples vont vers un modèle plus petit, tandis que les cas à haut risque utilisent un chemin révisé. La répartition aléatoire de la charge sans règles de compétence n'est pas un routage de modèle.
Parties principales
- 01classificateur de requête
- 02politique de routage
- 03chemin de secours
Utilisez-le lorsque
Utilisez ce terme lorsque des limites mesurables guident une requête vers l’une des plusieurs voies du modèle.
Ne l'utilisez pas lorsque
Ne vous fiez pas seulement au nom du modèle ou au prix pour le routage sans un plan de secours, des tests et des vérifications de politique.
Nom utilisé dans le code
request features → routing policy → model Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Routage de modèle (Model Routing). User context: Une plateforme utilise les types de requêtes, les scores de test, les prix et les objectifs de délai pour choisir un modèle. Les résumés simples vont vers un modèle plus petit, tandis que les cas à haut risque utilisent un chemin révisé. La répartition aléatoire de la charge sans règles de compétence n'est pas un routage de modèle. AI method or concept: Routage de modèle (Model Routing). Why it fits: Utilisez ce terme lorsque des limites mesurables guident une requête vers l’une des plusieurs voies du modèle. Do not use it when: Ne vous fiez pas seulement au nom du modèle ou au prix pour le routage sans un plan de secours, des tests et des vérifications de politique. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Aucun standard officiel unique ne régit l’ensemble du terme. Sa signification peut varier selon les équipes, plateformes ou frameworks. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how Routage de modèle (Model Routing) is used now. Definition: Le routage de modèle choisit quel modèle ou quelle trajectoire de modèle traite chaque requête. Le choix suit des règles claires concernant la qualité, la compétence, le coût, le délai ou la politique de sécurité. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.