Output Tokens per Second
Tokens de Saída por Segundo
Tokens de saída por segundo medem a rapidez com que um modelo cria tokens de saída após o início da decodificação. O relatório deve nomear o tokenizador, intervalo de tempo, método de agrupamento e número de requisições rodando em conjunto.
Outro exemplo
Um teste envia 500 solicitações com uma versão de tokenizador. Ele registra a contagem de saídas e o tempo após o primeiro token. Ele testa concorrência em 1 e 32. O relatório mostra tokens por segundo por solicitação e total com percentis. Velocidade de entrada, solicitações por segundo e TTFT são medidas diferentes.
Partes principais
- 01contagem de tokens de saída
- 02Intervalo de decodificação
- 03concorrência e agregação
Use-o quando
Use este termo ao comparar a velocidade de decodificação com o mesmo modelo, hardware, tokenizador, comprimento de saída, agrupamento e concorrência.
Não o use quando
Não forneça tokens por segundo sem informar se é para uma requisição ou para todas as requisições. Diferentes tokenizadores podem colocar diferentes quantidades de texto em um token.
Nome usado no código
output token count / decode seconds Antes de lançar
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Tokens de Saída por Segundo (Output Tokens per Second). User context: Um teste envia 500 solicitações com uma versão de tokenizador. Ele registra a contagem de saídas e o tempo após o primeiro token. Ele testa concorrência em 1 e 32. O relatório mostra tokens por segundo por solicitação e total com percentis. Velocidade de entrada, solicitações por segundo e TTFT são medidas diferentes. AI method or concept: Tokens de Saída por Segundo (Output Tokens per Second). Why it fits: Use este termo ao comparar a velocidade de decodificação com o mesmo modelo, hardware, tokenizador, comprimento de saída, agrupamento e concorrência. Do not use it when: Não forneça tokens por segundo sem informar se é para uma requisição ou para todas as requisições. Diferentes tokenizadores podem colocar diferentes quantidades de texto em um token. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): É oficial para essa fonte. Outras plataformas ou equipes podem usar o termo de outra maneira. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Conferir este pedido
Review how Tokens de Saída por Segundo (Output Tokens per Second) is used now. Definition: Tokens de saída por segundo medem a rapidez com que um modelo cria tokens de saída após o início da decodificação. O relatório deve nomear o tokenizador, intervalo de tempo, método de agrupamento e número de requisições rodando em conjunto. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.