Output Tokens per Second
每秒输出 Token 数
每秒输出 Token 数是模型开始解码后的输出速度。报告要说明分词器和测量时间。也要说明汇总方式和同时运行的请求数。
另一个例子
测试包含 500 个请求、同一版分词器、输出 token 数、第一个 token 后的解码时间，以及同时运行 1 和 32 个请求两种情况。报告要分开列出单个请求和整体的每秒 token 数与百分位；输入速度、每秒请求数和 TTFT 都是不同指标。
主要部分
- 01输出 token 数
- 02decode 区间
- 03并发度与聚合方式
什么时候用
模型、硬件和分词器都相同时，可以比较解码速度。输出长度、批处理和同时请求数也要受控制。
什么时候不要用
引用每秒 token 数时，要说明是单个请求还是全部请求；不同分词器的一个 token，也可能代表不同长度的文字。
代码里的名称
output token count / decode seconds 上线前要检查
检查模型与提示词版本、参考数据、有版本号的评估集与指标。验证答案能否连回来源证据，也要检查工具权限与隐私。再检查常见失败、拒答、安全备用做法与人工复核。也要检查监控、成本、速度与恢复方式。
预期结果：使用或评估 每秒输出 Token 数 (Output Tokens per Second)，让 AI 行为可以衡量，也能连回证据。 用户场景：测试包含 500 个请求、同一版分词器、输出 token 数、第一个 token 后的解码时间，以及同时运行 1 和 32 个请求两种情况。报告要分开列出单个请求和整体的每秒 token 数与百分位；输入速度、每秒请求数和 TTFT 都是不同指标。 AI 方法或概念：每秒输出 Token 数 (Output Tokens per Second)。 适用理由：模型、硬件和分词器都相同时，可以比较解码速度。输出长度、批处理和同时请求数也要受控制。 不应使用的情况：引用每秒 token 数时，要说明是单个请求还是全部请求；不同分词器的一个 token，也可能代表不同长度的文字。 AI 要求：定义输入与参考证据。设置模型和工具权限。使用有版本号的评估数据与指标。说明失败、拒答、隐私、速度与成本限制。 运营防护：保留可查询记录，并隐藏其中的敏感数据。提供用户看得懂的安全备用做法。标出必须由人工复核的步骤，并定义模型或提示词的恢复方式。 验收标准：在有版本号的评估集上记录当前基线与目标。测试边界案例与恶意输入。验证安全备用做法、监控、权限与恢复方式。 证据与限制（证据边界）：它只代表该来源的官方说法。其他平台或团队可能有不同用法。 待确认：目标任务、模型与版本、评估负责人、参考数据、风险阈值、工具权限，以及生产环境的安全备用做法。
检查这份需求
请 AI 编程助手检查当前如何使用 每秒输出 Token 数 (Output Tokens per Second)。 定义：每秒输出 Token 数是模型开始解码后的输出速度。报告要说明分词器和测量时间。也要说明汇总方式和同时运行的请求数。 生产环境检查：检查模型与提示词版本、参考数据、有版本号的评估集与指标。验证答案能否连回来源证据，也要检查工具权限与隐私。再检查常见失败、拒答、安全备用做法与人工复核。也要检查监控、成本、速度与恢复方式。 修改程序前，先列出看到的证据、缺口、严重程度，以及最小且安全的修正。