TTFT & TPS — Learning Bundle
Temps jusqu’au premier jeton & Jetons par seconde — Pack d’apprentissage
Ce bundle compare deux mesures de vitesse de l'IA. TTFT est le temps jusqu'au premier token. TPS est le nombre de tokens générés chaque seconde ensuite. Ce n'est pas une métrique standard unique.
Un autre exemple
Un assistant vocal réduit le TTFT pour des échanges naturels. Un outil de document a besoin d'un TPS stable et suit les deux par modèle et par région.
Parties principales
- 01User intent and context
- 02Model or tool decision
- 03Grounded result and fallback
Utilisez-le lorsque
Utilisez les deux lorsque la vitesse de streaming affecte les utilisateurs ou la capacité du système. Rapportez les percentiles de bout en bout et nommez la tâche mesurée.
Ne l'utilisez pas lorsque
Ne comparez pas des invites ou des longueurs de sortie inégales. Les moyennes cachent les extrêmes, et un TPS élevé ne prouve pas la qualité.
Nom utilisé dans le code
request start → first token; generated tokens / decode seconds Avant d'expédier
Check that every member concept has its own name and link. Show all members in the same situation. Give a visible rule for when each one applies and which groups are valid. Never present the bundle as one canonical pattern or as parts that can be swapped freely.
Outcome: Complete the task with Temps jusqu’au premier jeton & Jetons par seconde — Pack d’apprentissage (TTFT & TPS — Learning Bundle). User context: Un assistant vocal réduit le TTFT pour des échanges naturels. Un outil de document a besoin d'un TPS stable et suit les deux par modèle et par région. Learning bundle to unpack: Temps jusqu’au premier jeton & Jetons par seconde — Pack d’apprentissage (TTFT & TPS — Learning Bundle). Canonical members: Temps jusqu'au premier jeton (Time to First Token), Jetons de sortie par seconde (Output Tokens per Second) Why this comparison helps: Utilisez les deux lorsque la vitesse de streaming affecte les utilisateurs ou la capacité du système. Rapportez les percentiles de bout en bout et nommez la tâche mesurée. Do not treat the bundle as one pattern when: Ne comparez pas des invites ou des longueurs de sortie inégales. Les moyennes cachent les extrêmes, et un TPS élevé ne prouve pas la qualité. Comparison requirements: Name every member concept on its own. Explain its job and limits. Show every member in the same real situation. Give a visible sign for when to use, combine, or leave out each member. Decision quality: Keep platform and evidence limits clear. Show which members can work together. Point out false matches, unsafe swaps, and cases that need another concept. Acceptance criteria: A reader can explain each member in one sentence and tell them apart in the example. They can defend the chosen member or valid group and open every canonical guide. Evidence and limits (evidence boundary): Ce n'est pas une norme normative. Son nom, ses limites et son comportement attendu peuvent varier d'une source à l'autre. Unknowns to confirm: Target platform, decision setting, limits, and evidence needed to use, combine, or leave out members.
Vérifiez cette demande
Review how Temps jusqu’au premier jeton & Jetons par seconde — Pack d’apprentissage (TTFT & TPS — Learning Bundle) is used now. Definition: Ce bundle compare deux mesures de vitesse de l'IA. TTFT est le temps jusqu'au premier token. TPS est le nombre de tokens générés chaque seconde ensuite. Ce n'est pas une métrique standard unique. Release checks: Check that every member concept has its own name and link. Show all members in the same situation. Give a visible rule for when each one applies and which groups are valid. Never present the bundle as one canonical pattern or as parts that can be swapped freely. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.