Prompt Caching
Cache de Prompt
O cache de prompt permite que um serviço de modelo reutilize o trabalho para o mesmo início de uma entrada. Pode reduzir o processamento repetido, mas não reutiliza a resposta antiga.
stable prefix → cache write/read → usage4.096 tokens de entrada estáveisUm aplicativo de suporte envia as mesmas regras e lista de ferramentas antes de cada nova pergunta. O serviço reutiliza esse prefixo; uma regra alterada inicia um novo trabalho.prefix_42estável | variávelescrever → lerstable input prefix → cache write/read → usage recordOPSOutro exemplo
Um aplicativo de suporte envia as mesmas regras e lista de ferramentas antes de cada nova pergunta. O serviço reutiliza esse prefixo; uma regra alterada inicia um novo trabalho.
Partes principais
- 01Prefixo de entrada reutilizável
- 02Regra de correspondência ou ponto de interrupção
- 03gravação em cache
- 04acerto ou erro de cache
- 05Vida útil e invalidação
- 06Uso, latência e custo
Use-o quando
Use-o quando muitas solicitações compartilham um prefixo longo e estável e o serviço de modelo escolhido suporta cache.
Não o use quando
Não coloque dados privados do usuário em um prefixo compartilhado. Não confunda cache de prompt com respostas salvas ou cache HTTP.
Nome usado no código
stable input prefix → cache write/read → usage record Antes de lançar
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Cache de Prompt (Prompt Caching). User context: Um aplicativo de suporte envia as mesmas regras e lista de ferramentas antes de cada nova pergunta. O serviço reutiliza esse prefixo; uma regra alterada inicia um novo trabalho. AI method or concept: Cache de Prompt (Prompt Caching). Why it fits: Use-o quando muitas solicitações compartilham um prefixo longo e estável e o serviço de modelo escolhido suporta cache. Do not use it when: Não coloque dados privados do usuário em um prefixo compartilhado. Não confunda cache de prompt com respostas salvas ou cache HTTP. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): É oficial para essa fonte. Outras plataformas ou equipes podem usar o termo de outra maneira. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Conferir este pedido
Review how Cache de Prompt (Prompt Caching) is used now. Definition: O cache de prompt permite que um serviço de modelo reutilize o trabalho para o mesmo início de uma entrada. Pode reduzir o processamento repetido, mas não reutiliza a resposta antiga. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.