Output Tokens per Second
Token di output per secondo
I token di output per secondo misurano quanto velocemente un modello crea token di output dopo l'inizio della decodifica. Il rapporto deve indicare il tokenizer, l'intervallo di tempo, il metodo di raggruppamento e il numero di richieste in esecuzione contemporaneamente.
Un altro esempio
Un test invia 500 richieste con una versione del tokenizer. Registra il conteggio degli output e il tempo dopo il primo token. Testa la concorrenza a 1 e 32. Il rapporto mostra token per secondo per richiesta e totali con percentile. La velocità di input, le richieste per secondo e TTFT sono misure differenti.
Parti principali
- 01conteggio dei token di output
- 02Intervallo di decodifica
- 03concorrenza e aggregazione
Usalo quando
Usa questo termine quando si confronta la velocità di decodifica con lo stesso modello, hardware, tokenizer, lunghezza dell'output, batching e concorrenza.
Non usarlo quando
Non indicare token per secondo senza specificare se è per una singola richiesta o per tutte le richieste. Diversi tokenizer possono inserire quantità diverse di testo in un token.
Nome usato nel codice
output token count / decode seconds Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Token di output per secondo (Output Tokens per Second). User context: Un test invia 500 richieste con una versione del tokenizer. Registra il conteggio degli output e il tempo dopo il primo token. Testa la concorrenza a 1 e 32. Il rapporto mostra token per secondo per richiesta e totali con percentile. La velocità di input, le richieste per secondo e TTFT sono misure differenti. AI method or concept: Token di output per secondo (Output Tokens per Second). Why it fits: Usa questo termine quando si confronta la velocità di decodifica con lo stesso modello, hardware, tokenizer, lunghezza dell'output, batching e concorrenza. Do not use it when: Non indicare token per secondo senza specificare se è per una singola richiesta o per tutte le richieste. Diversi tokenizer possono inserire quantità diverse di testo in un token. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): È ufficiale per quella fonte. Altre piattaforme o team potrebbero usare il termine in modo diverso. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how Token di output per secondo (Output Tokens per Second) is used now. Definition: I token di output per secondo misurano quanto velocemente un modello crea token di output dopo l'inizio della decodifica. Il rapporto deve indicare il tokenizer, l'intervallo di tempo, il metodo di raggruppamento e il numero di richieste in esecuzione contemporaneamente. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.