Output Tokens per Second
每秒輸出 Token 數
每秒輸出 Token 數是模型開始解碼後的輸出速度。報告要說明分詞器和量測時間。也要說明彙整方式和同時執行的請求數。
另一個例子
測試包含 500 個請求、同一版分詞器、輸出 token 數、第一個 token 後的解碼時間，以及同時執行 1 和 32 個請求兩種情況。報告要分開列出單一請求和整體的每秒 token 數與百分位；輸入速度、每秒請求數和 TTFT 都是不同指標。
主要部分
- 01輸出 token 數
- 02decode 區間
- 03並行度與聚合方式
什麼時候用
模型、硬體和分詞器都相同時，可以比較解碼速度。輸出長度、批次和同時請求數也要受控制。
什麼時候不要用
引用每秒 token 數時，要說明是單一請求還是全部請求；不同分詞器的一個 token，也可能代表不同長度的文字。
程式裡的名稱
output token count / decode seconds 上線前要檢查
檢查模型與提示詞版本、參考資料、有版本編號的評估集與指標。驗證答案能否連回來源證據，也要檢查工具權限與隱私。再檢查常見失敗、拒答、安全退路與人工覆核。也要檢查監控、成本、速度與回復方式。
預期成果：使用或評估 每秒輸出 Token 數 (Output Tokens per Second)，讓 AI 行為可以衡量，也能連回證據。 使用者情境：測試包含 500 個請求、同一版分詞器、輸出 token 數、第一個 token 後的解碼時間，以及同時執行 1 和 32 個請求兩種情況。報告要分開列出單一請求和整體的每秒 token 數與百分位；輸入速度、每秒請求數和 TTFT 都是不同指標。 AI 方法或概念：每秒輸出 Token 數 (Output Tokens per Second)。 適用理由：模型、硬體和分詞器都相同時，可以比較解碼速度。輸出長度、批次和同時請求數也要受控制。 不應使用的情況：引用每秒 token 數時，要說明是單一請求還是全部請求；不同分詞器的一個 token，也可能代表不同長度的文字。 AI 要求：定義輸入與參考證據。設定模型和工具權限。使用有版本編號的評估資料與指標。說明失敗、拒答、隱私、速度與成本限制。 營運防護：保留可查詢記錄，並隱藏其中的敏感資料。提供使用者看得懂的安全退路。標出必須由人員覆核的步驟，並定義模型或提示詞的回復方式。 驗收條件：在有版本編號的評估集上記錄目前基準與目標。測試邊界案例與惡意輸入。驗證安全退路、監控、權限與回復方式。 證據與限制（證據邊界）：它只代表該來源的官方說法。其他平台或團隊可能有不同用法。 待確認：目標任務、模型與版本、評估負責人、參考資料、風險門檻、工具權限，以及正式環境的安全退路。
檢查這份需求
請 AI 程式助手檢查目前如何使用 每秒輸出 Token 數 (Output Tokens per Second)。 定義：每秒輸出 Token 數是模型開始解碼後的輸出速度。報告要說明分詞器和量測時間。也要說明彙整方式和同時執行的請求數。 正式環境檢查：檢查模型與提示詞版本、參考資料、有版本編號的評估集與指標。驗證答案能否連回來源證據，也要檢查工具權限與隱私。再檢查常見失敗、拒答、安全退路與人工覆核。也要檢查監控、成本、速度與回復方式。 修改程式前，先列出看到的證據、缺口、嚴重程度，以及最小且安全的修正。