Output Tokens per Second
초당 출력 토큰
초당 출력 토큰은 디코딩이 시작된 후 모델이 출력 토큰을 생성하는 속도를 측정합니다. 보고서에는 토크나이저 이름, 시간 범위, 그룹화 방법 및 동시에 실행되는 요청 수를 포함해야 합니다.
다른 예시
테스트는 한 가지 토크나이저 버전으로 500개의 요청을 보냅니다. 첫 번째 토큰 이후 출력 개수와 시간을 기록합니다. 동시성은 1과 32에서 테스트합니다. 보고서에는 요청당 및 초당 전체 토큰 수와 백분위수가 표시됩니다. 입력 속도, 초당 요청 수 및 TTFT는 다른 측정치입니다.
주요 부분
- 01출력 토큰 수
- 02디코드 간격
- 03동시성과 집계
사용할 때
동일한 모델, 하드웨어, 토크나이저, 출력 길이, 배치 처리, 동시성을 비교할 때 이 용어를 사용하세요.
다음 경우에는 사용하지 마세요
요청당인지 전체 요청 기준인지 말하지 않고 초당 토큰 수를 제공하지 마세요. 서로 다른 토크나이저는 하나의 토큰에 서로 다른 양의 텍스트를 넣을 수 있습니다.
코드에서 사용된 이름
output token count / decode seconds 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with 초당 출력 토큰 (Output Tokens per Second)。 User context：테스트는 한 가지 토크나이저 버전으로 500개의 요청을 보냅니다. 첫 번째 토큰 이후 출력 개수와 시간을 기록합니다. 동시성은 1과 32에서 테스트합니다. 보고서에는 요청당 및 초당 전체 토큰 수와 백분위수가 표시됩니다. 입력 속도, 초당 요청 수 및 TTFT는 다른 측정치입니다. AI method or concept：초당 출력 토큰 (Output Tokens per Second)。 Why it fits：동일한 모델, 하드웨어, 토크나이저, 출력 길이, 배치 처리, 동시성을 비교할 때 이 용어를 사용하세요. Do not use it when：요청당인지 전체 요청 기준인지 말하지 않고 초당 토큰 수를 제공하지 마세요. 서로 다른 토크나이저는 하나의 토큰에 서로 다른 양의 텍스트를 넣을 수 있습니다. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：해당 출처에 대해 공식적인 것입니다. 다른 플랫폼이나 팀은 그 용어를 다른 방식으로 사용할 수 있습니다. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how 초당 출력 토큰 (Output Tokens per Second) is used now. Definition: 초당 출력 토큰은 디코딩이 시작된 후 모델이 출력 토큰을 생성하는 속도를 측정합니다. 보고서에는 토크나이저 이름, 시간 범위, 그룹화 방법 및 동시에 실행되는 요청 수를 포함해야 합니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.