Prompt Caching
Caché de Prompt
La caché de prompt permite que un servicio de modelo reutilice trabajo para el mismo inicio de una entrada. Puede reducir el procesamiento repetido, pero no reutiliza la respuesta anterior.
stable prefix → cache write/read → usage4,096 tokens de entrada establesUna aplicación de soporte envía las mismas reglas y lista de herramientas antes de cada nueva pregunta. El servicio reutiliza ese prefijo; una regla cambiada inicia un nuevo trabajo.prefix_42estable | variableescribir → leerstable input prefix → cache write/read → usage recordOPSOtro ejemplo
Una aplicación de soporte envía las mismas reglas y lista de herramientas antes de cada nueva pregunta. El servicio reutiliza ese prefijo; una regla cambiada inicia un nuevo trabajo.
Partes principales
- 01Prefijo de entrada reutilizable
- 02Regla de coincidencia o punto de ruptura
- 03Escritura en caché
- 04acierto o fallo de caché
- 05Vida útil e invalidación
- 06Uso, latencia y costo
Úsalo cuando
Úsalo cuando muchas solicitudes compartan un prefijo largo y estable y el servicio de modelo elegido soporte almacenamiento en caché.
No lo uses cuando
No pongas datos privados del usuario en un prefijo compartido. No confundas la caché de indicaciones con respuestas guardadas o caché HTTP.
Nombre usado en código
stable input prefix → cache write/read → usage record Antes de lanzarlo
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Caché de Prompt (Prompt Caching). User context: Una aplicación de soporte envía las mismas reglas y lista de herramientas antes de cada nueva pregunta. El servicio reutiliza ese prefijo; una regla cambiada inicia un nuevo trabajo. AI method or concept: Caché de Prompt (Prompt Caching). Why it fits: Úsalo cuando muchas solicitudes compartan un prefijo largo y estable y el servicio de modelo elegido soporte almacenamiento en caché. Do not use it when: No pongas datos privados del usuario en un prefijo compartido. No confundas la caché de indicaciones con respuestas guardadas o caché HTTP. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Es oficial para esa fuente. Otras plataformas o equipos pueden usar el término de otra manera. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Revisa esta petición
Review how Caché de Prompt (Prompt Caching) is used now. Definition: La caché de prompt permite que un servicio de modelo reutilice trabajo para el mismo inicio de una entrada. Puede reducir el procesamiento repetido, pero no reutiliza la respuesta anterior. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.