Prompt Caching
プロンプトキャッシング
プロンプトキャッシングは、モデルサービスが入力の同じ開始部分に対する作業を再利用できるようにします。これにより繰り返し処理が減る場合がありますが、古い答えを再利用するわけではありません。
stable prefix → cache write/read → usage4,096個の安定した入力トークンサポートアプリは、新しい質問の前に同じルールとツールリストを送信します。サービスはそのプレフィックスを再利用し、ルールが変更されると新しい作業が始まります。prefix_42安定 | 変動書く → 読むstable input prefix → cache write/read → usage recordOPSもう一つの例
サポートアプリは、新しい質問の前に同じルールとツールリストを送信します。サービスはそのプレフィックスを再利用し、ルールが変更されると新しい作業が始まります。
主な部分
- 01再利用可能な入力プレフィックス
- 02一致または改行ルール
- 03キャッシュ書き込み
- 04キャッシュヒットまたはミス
- 05寿命と無効化
- 06利用状況、遅延、およびコスト
以下の場合に使用します
多くのリクエストが長く安定した接頭辞を共有し、選択したモデルサービスがキャッシュをサポートする場合に使用します。
以下の場合は使用しないでください
プライベートユーザーデータを共有プレフィックスに入れないでください。プロンプトキャッシュを保存された回答やHTTPキャッシュと混同しないでください。
コードで使用する名前
stable input prefix → cache write/read → usage record 出荷前に
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome:Complete the task with プロンプトキャッシング (Prompt Caching)。 User context:サポートアプリは、新しい質問の前に同じルールとツールリストを送信します。サービスはそのプレフィックスを再利用し、ルールが変更されると新しい作業が始まります。 AI method or concept:プロンプトキャッシング (Prompt Caching)。 Why it fits:多くのリクエストが長く安定した接頭辞を共有し、選択したモデルサービスがキャッシュをサポートする場合に使用します。 Do not use it when:プライベートユーザーデータを共有プレフィックスに入れないでください。プロンプトキャッシュを保存された回答やHTTPキャッシュと混同しないでください。 AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary):その情報源にとって公式です。他のプラットフォームやチームはその用語を別の方法で使用する場合があります。 Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
このリクエストを確認する
Review how プロンプトキャッシング (Prompt Caching) is used now. Definition: プロンプトキャッシングは、モデルサービスが入力の同じ開始部分に対する作業を再利用できるようにします。これにより繰り返し処理が減る場合がありますが、古い答えを再利用するわけではありません。 Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.