Temps jusqu'au premier jeton

Outcome: Complete the task with Temps jusqu'au premier jeton (Time to First Token). User context: Un ingénieur mesure 1 000 requêtes en streaming avec des longueurs de prompt égales, des groupes chauds et froids, et des temps de serveur. Le rapport donne les p50 et p95 TTFT pour chaque groupe et nomme les deux points de mesure. Le temps total de réponse et le temps de pré-remplissage du modèle sans mise en file d'attente sont des mesures différentes. AI method or concept: Temps jusqu'au premier jeton (Time to First Token). Why it fits: Utilisez ce terme lorsque l’on mesure combien de temps la sortie en continu semble prendre pour commencer dans un environnement reproductible. Do not use it when: Ne comparez pas le TTFT lorsque la taille de l'invite, le regroupement, la mise en file d'attente, la limite réseau, l'état du cache ou les règles de percentile diffèrent. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): C'est officiel pour cette source. D'autres plateformes ou équipes peuvent utiliser le terme d'une autre manière. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.