Output Tokens per Second
Jetons de sortie par seconde
Les jetons de sortie par seconde mesurent la vitesse à laquelle un modèle crée des jetons de sortie après le début du décodage. Le rapport doit nommer le tokenizer, la plage de temps, la méthode de regroupement et le nombre de requêtes en cours simultanément.
Un autre exemple
Un test envoie 500 requêtes avec une version du tokenizer. Il enregistre le nombre de sorties et le temps après le premier jeton. Il teste la concurrence à 1 et 32. Le rapport montre les jetons par seconde par requête et au total avec les percentiles. La vitesse d’entrée, les requêtes par seconde et le TTFT sont des mesures différentes.
Parties principales
- 01nombre de jetons de sortie
- 02Intervalle de décodage
- 03concurrence et agrégation
Utilisez-le lorsque
Utilisez ce terme lorsque vous comparez la vitesse de décodage avec le même modèle, matériel, tokenizer, longueur de sortie, regroupement et simultanéité.
Ne l'utilisez pas lorsque
Ne donnez pas de tokens par seconde sans préciser si c'est pour une seule requête ou toutes les requêtes. Différents tokenizers peuvent mettre différentes quantités de texte dans un token.
Nom utilisé dans le code
output token count / decode seconds Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Jetons de sortie par seconde (Output Tokens per Second). User context: Un test envoie 500 requêtes avec une version du tokenizer. Il enregistre le nombre de sorties et le temps après le premier jeton. Il teste la concurrence à 1 et 32. Le rapport montre les jetons par seconde par requête et au total avec les percentiles. La vitesse d’entrée, les requêtes par seconde et le TTFT sont des mesures différentes. AI method or concept: Jetons de sortie par seconde (Output Tokens per Second). Why it fits: Utilisez ce terme lorsque vous comparez la vitesse de décodage avec le même modèle, matériel, tokenizer, longueur de sortie, regroupement et simultanéité. Do not use it when: Ne donnez pas de tokens par seconde sans préciser si c'est pour une seule requête ou toutes les requêtes. Différents tokenizers peuvent mettre différentes quantités de texte dans un token. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): C'est officiel pour cette source. D'autres plateformes ou équipes peuvent utiliser le terme d'une autre manière. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how Jetons de sortie par seconde (Output Tokens per Second) is used now. Definition: Les jetons de sortie par seconde mesurent la vitesse à laquelle un modèle crée des jetons de sortie après le début du décodage. Le rapport doit nommer le tokenizer, la plage de temps, la méthode de regroupement et le nombre de requêtes en cours simultanément. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.