Output Tokens per Second
Ausgabetoken pro Sekunde
Ausgabetoken pro Sekunde misst, wie schnell ein Modell Ausgabetoken erstellt, nachdem das Decodieren begonnen hat. Der Bericht muss den Tokenizer, den Zeitraum, die Gruppierungsmethode und die Anzahl der gleichzeitig laufenden Anfragen nennen.
Ein weiteres Beispiel
Ein Test sendet 500 Anfragen mit einer Tokenizer-Version. Dabei werden die Anzahl der Ausgaben und die Zeit nach dem ersten Token aufgezeichnet. Es wird die Gleichzeitigkeit bei 1 und 32 getestet. Der Bericht zeigt Tokens pro Sekunde pro Anfrage und insgesamt mit Perzentilen. Eingabegeschwindigkeit, Anfragen pro Sekunde und TTFT sind unterschiedliche Messgrößen.
Hauptteile
- 01Ausgabetoken-Anzahl
- 02Dekodierintervall
- 03Nebenläufigkeit und Aggregation
Verwenden Sie es, wenn
Verwenden Sie diesen Begriff, wenn Sie die Dekodiergeschwindigkeit mit demselben Modell, derselben Hardware, demselben Tokenizer, derselben Ausgabelänge, derselben Stapelverarbeitung und derselben Gleichzeitigkeit vergleichen.
Nutze es nicht, wenn
Geben Sie keine Tokens pro Sekunde an, ohne zu sagen, ob dies für eine einzelne Anfrage oder alle Anfragen gilt. Verschiedene Tokenizer können unterschiedliche Textmengen in einem Token haben.
In Code verwendeter Name
output token count / decode seconds Vor dem Ausliefern
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Ausgabetoken pro Sekunde (Output Tokens per Second). User context: Ein Test sendet 500 Anfragen mit einer Tokenizer-Version. Dabei werden die Anzahl der Ausgaben und die Zeit nach dem ersten Token aufgezeichnet. Es wird die Gleichzeitigkeit bei 1 und 32 getestet. Der Bericht zeigt Tokens pro Sekunde pro Anfrage und insgesamt mit Perzentilen. Eingabegeschwindigkeit, Anfragen pro Sekunde und TTFT sind unterschiedliche Messgrößen. AI method or concept: Ausgabetoken pro Sekunde (Output Tokens per Second). Why it fits: Verwenden Sie diesen Begriff, wenn Sie die Dekodiergeschwindigkeit mit demselben Modell, derselben Hardware, demselben Tokenizer, derselben Ausgabelänge, derselben Stapelverarbeitung und derselben Gleichzeitigkeit vergleichen. Do not use it when: Geben Sie keine Tokens pro Sekunde an, ohne zu sagen, ob dies für eine einzelne Anfrage oder alle Anfragen gilt. Verschiedene Tokenizer können unterschiedliche Textmengen in einem Token haben. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Es ist offiziell für diese Quelle. Andere Plattformen oder Teams können den Begriff auf andere Weise verwenden. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Diese Anfrage prüfen
Review how Ausgabetoken pro Sekunde (Output Tokens per Second) is used now. Definition: Ausgabetoken pro Sekunde misst, wie schnell ein Modell Ausgabetoken erstellt, nachdem das Decodieren begonnen hat. Der Bericht muss den Tokenizer, den Zeitraum, die Gruppierungsmethode und die Anzahl der gleichzeitig laufenden Anfragen nennen. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.