Prompt Caching
Mise en cache de prompt
La mise en cache de prompt permet à un service de modèle de réutiliser le travail pour le même début d'entrée. Cela peut réduire le traitement répété, mais ne réutilise pas l'ancienne réponse.
stable prefix → cache write/read → usage4 096 jetons d'entrée stablesUne application de support envoie les mêmes règles et la même liste d'outils avant chaque nouvelle question. Le service réutilise ce préfixe ; une règle modifiée lance un nouveau travail.prefix_42stable | variableécrire → lirestable input prefix → cache write/read → usage recordOPSUn autre exemple
Une application de support envoie les mêmes règles et la même liste d'outils avant chaque nouvelle question. Le service réutilise ce préfixe ; une règle modifiée lance un nouveau travail.
Parties principales
- 01Préfixe d'entrée réutilisable
- 02Règle de correspondance ou de point de rupture
- 03écriture dans le cache
- 04succès ou échec du cache
- 05Durée de vie et invalidation
- 06Utilisation, latence et coût
Utilisez-le lorsque
Utilisez-le lorsque de nombreuses requêtes partagent un préfixe long et stable et que le service de modèle choisi prend en charge la mise en cache.
Ne l'utilisez pas lorsque
Ne mettez pas de données privées de l'utilisateur dans un préfixe partagé. Ne confondez pas la mise en cache des invites avec les réponses sauvegardées ou la mise en cache HTTP.
Nom utilisé dans le code
stable input prefix → cache write/read → usage record Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Mise en cache de prompt (Prompt Caching). User context: Une application de support envoie les mêmes règles et la même liste d'outils avant chaque nouvelle question. Le service réutilise ce préfixe ; une règle modifiée lance un nouveau travail. AI method or concept: Mise en cache de prompt (Prompt Caching). Why it fits: Utilisez-le lorsque de nombreuses requêtes partagent un préfixe long et stable et que le service de modèle choisi prend en charge la mise en cache. Do not use it when: Ne mettez pas de données privées de l'utilisateur dans un préfixe partagé. Ne confondez pas la mise en cache des invites avec les réponses sauvegardées ou la mise en cache HTTP. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): C'est officiel pour cette source. D'autres plateformes ou équipes peuvent utiliser le terme d'une autre manière. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how Mise en cache de prompt (Prompt Caching) is used now. Definition: La mise en cache de prompt permet à un service de modèle de réutiliser le travail pour le même début d'entrée. Cela peut réduire le traitement répété, mais ne réutilise pas l'ancienne réponse. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.