TTFT & TPS — Learning Bundle
首 Token 延遲與每秒 Token 數（教學組合）
這組教材比較兩種 AI 速度。TTFT 是等到第一個 Token 的時間。TPS 是之後每秒產生的 Token 數。它不是單一標準指標。
另一個例子
語音助理降低 TTFT，讓輪流說話更自然。文件工具需要穩定 TPS，也會依模型和地區追蹤兩者。
主要部分
- 01使用者意圖與脈絡
- 02模型或工具決策
- 03有根據的結果與退路
什麼時候用
串流速度影響使用者體驗或系統容量時，兩者都要量測。要回報端到端百分位數和任務。
什麼時候不要用
不要比較不同 Prompt 或輸出長度。只看平均值會漏掉最慢情況，高 TPS 也不能證明品質。
程式裡的名稱
request start → first token; generated tokens / decode seconds 上線前要檢查
確認每個成員概念都有自己的名稱與指南，並放在同一個情境中比較。用看得到的規則說明各成員何時適用、哪些組合合理。不可把整組說成單一正式模式，也不可說成能任意互換的做法。
預期成果：用 首 Token 延遲與每秒 Token 數（教學組合） (TTFT & TPS — Learning Bundle) 比較其中不同的概念。說清楚各自邊界，再判斷哪些成員適用、哪些可以一起使用。 使用者情境：語音助理降低 TTFT，讓輪流說話更自然。文件工具需要穩定 TPS，也會依模型和地區追蹤兩者。 要拆解的教學組合：首 Token 延遲與每秒 Token 數（教學組合） (TTFT & TPS — Learning Bundle)。 正式成員指南：首個 Token 延遲 (Time to First Token)、每秒輸出 Token 數 (Output Tokens per Second) 這項比較的價值：串流速度影響使用者體驗或系統容量時，兩者都要量測。要回報端到端百分位數和任務。 不可把整組當成單一模式的情況：不要比較不同 Prompt 或輸出長度。只看平均值會漏掉最慢情況，高 TPS 也不能證明品質。 比較要求：分別列出每個成員概念，說明各自的工作與邊界。把所有成員放進同一個真實情境。指出哪些看得到的訊號會決定採用、組合或排除每個成員。 決策品質：說清楚平台與證據的限制。指出哪些概念可以共存，也要標出錯誤類比、不安全替代，以及應改用其他概念的情況。 驗收條件：讀者能用一句話解釋每個成員，在範例中看出差異，說明採用某個成員或合理組合的理由，並開啟每個成員的正式指南。 證據與限制（證據邊界）：這不是正式規範標準。不同來源使用的名稱、範圍和預期做法可能不同。 待確認：目標平台、決策情境、限制，以及採用、組合或排除成員所需的證據。
檢查這份需求
請 AI 程式助手檢查目前如何使用 首 Token 延遲與每秒 Token 數（教學組合） (TTFT & TPS — Learning Bundle)。 定義：這組教材比較兩種 AI 速度。TTFT 是等到第一個 Token 的時間。TPS 是之後每秒產生的 Token 數。它不是單一標準指標。 正式環境檢查：確認每個成員概念都有自己的名稱與指南，並放在同一個情境中比較。用看得到的規則說明各成員何時適用、哪些組合合理。不可把整組說成單一正式模式，也不可說成能任意互換的做法。 修改程式前，先列出看到的證據、缺口、嚴重程度，以及最小且安全的修正。