Output Tokens per Second
Tokens de salida por segundo
Los tokens de salida por segundo miden qué tan rápido un modelo crea tokens de salida después de que comienza la decodificación. El informe debe nombrar el tokenizador, el rango de tiempo, el método de agrupamiento y el número de solicitudes ejecutándose simultáneamente.
Otro ejemplo
Una prueba envía 500 solicitudes con una versión del tokenizador. Registra el recuento de salidas y el tiempo después del primer token. Prueba concurrencia en 1 y 32. El informe muestra tokens por solicitud y totales por segundo con percentiles. Velocidad de entrada, solicitudes por segundo y TTFT son medidas diferentes.
Partes principales
- 01conteo de tokens de salida
- 02Intervalo de decodificación
- 03Concurrencia y agregación
Úsalo cuando
Use este término al comparar la velocidad de decodificación con el mismo modelo, hardware, tokenizador, longitud de salida, agrupamiento y concurrencia.
No lo uses cuando
No des tokens por segundo sin especificar si es para una solicitud o para todas. Diferentes tokenizadores pueden poner diferentes cantidades de texto en un token.
Nombre usado en código
output token count / decode seconds Antes de lanzarlo
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Tokens de salida por segundo (Output Tokens per Second). User context: Una prueba envía 500 solicitudes con una versión del tokenizador. Registra el recuento de salidas y el tiempo después del primer token. Prueba concurrencia en 1 y 32. El informe muestra tokens por solicitud y totales por segundo con percentiles. Velocidad de entrada, solicitudes por segundo y TTFT son medidas diferentes. AI method or concept: Tokens de salida por segundo (Output Tokens per Second). Why it fits: Use este término al comparar la velocidad de decodificación con el mismo modelo, hardware, tokenizador, longitud de salida, agrupamiento y concurrencia. Do not use it when: No des tokens por segundo sin especificar si es para una solicitud o para todas. Diferentes tokenizadores pueden poner diferentes cantidades de texto en un token. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Es oficial para esa fuente. Otras plataformas o equipos pueden usar el término de otra manera. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Revisa esta petición
Review how Tokens de salida por segundo (Output Tokens per Second) is used now. Definition: Los tokens de salida por segundo miden qué tan rápido un modelo crea tokens de salida después de que comienza la decodificación. El informe debe nombrar el tokenizador, el rango de tiempo, el método de agrupamiento y el número de solicitudes ejecutándose simultáneamente. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.