Model Routing
Instradamento del modello
L’instradamento del modello sceglie quale modello o percorso del modello gestisce ogni richiesta. La scelta segue regole chiare per qualità, competenza, costo, ritardo o politica di sicurezza.
Un altro esempio
Una piattaforma utilizza tipi di richieste, punteggi dei test, prezzi e obiettivi di ritardo per scegliere un modello. Sommari semplici vanno a un modello più piccolo, mentre i casi ad alto rischio seguono un percorso revisionato. Il bilanciamento del carico casuale senza regole di competenza non è instradamento del modello.
Parti principali
- 01classificatore di richieste
- 02politica di routing
- 03percorso di ripiego
Usalo quando
Usa questo termine quando limiti misurabili guidano una richiesta verso uno dei diversi percorsi del modello.
Non usarlo quando
Non instradare solo per nome del modello o prezzo senza una soluzione di riserva, test e controlli della politica.
Nome usato nel codice
request features → routing policy → model Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Instradamento del modello (Model Routing). User context: Una piattaforma utilizza tipi di richieste, punteggi dei test, prezzi e obiettivi di ritardo per scegliere un modello. Sommari semplici vanno a un modello più piccolo, mentre i casi ad alto rischio seguono un percorso revisionato. Il bilanciamento del carico casuale senza regole di competenza non è instradamento del modello. AI method or concept: Instradamento del modello (Model Routing). Why it fits: Usa questo termine quando limiti misurabili guidano una richiesta verso uno dei diversi percorsi del modello. Do not use it when: Non instradare solo per nome del modello o prezzo senza una soluzione di riserva, test e controlli della politica. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Nessun singolo standard ufficiale controlla l'intero termine. Il suo significato può cambiare tra team, piattaforme o framework. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how Instradamento del modello (Model Routing) is used now. Definition: L’instradamento del modello sceglie quale modello o percorso del modello gestisce ogni richiesta. La scelta segue regole chiare per qualità, competenza, costo, ritardo o politica di sicurezza. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.