Prompt Caching
Caching dei Prompt
Il caching dei prompt permette a un servizio di modello di riutilizzare il lavoro per lo stesso inizio di un input. Può ridurre l'elaborazione ripetuta, ma non riutilizza la vecchia risposta.
stable prefix → cache write/read → usage4.096 token di input stabiliUn'app di supporto invia le stesse regole e la lista degli strumenti prima di ogni nuova domanda. Il servizio riutilizza quel prefisso; una regola cambiata avvia nuovo lavoro.prefix_42stabile | variabilescrivere → leggerestable input prefix → cache write/read → usage recordOPSUn altro esempio
Un'app di supporto invia le stesse regole e la lista degli strumenti prima di ogni nuova domanda. Il servizio riutilizza quel prefisso; una regola cambiata avvia nuovo lavoro.
Parti principali
- 01Prefisso di input riutilizzabile
- 02Regola di corrispondenza o interruzione
- 03Scrittura cache
- 04Colpo o mancata cache
- 05Durata e invalidazione
- 06Utilizzo, latenza e costo
Usalo quando
Usalo quando molte richieste condividono un prefisso lungo e stabile e il servizio modello scelto supporta la cache.
Non usarlo quando
Non mettere dati privati dell'utente in un prefisso condiviso. Non confondere la cache dei prompt con le risposte salvate o la cache HTTP.
Nome usato nel codice
stable input prefix → cache write/read → usage record Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Caching dei Prompt (Prompt Caching). User context: Un'app di supporto invia le stesse regole e la lista degli strumenti prima di ogni nuova domanda. Il servizio riutilizza quel prefisso; una regola cambiata avvia nuovo lavoro. AI method or concept: Caching dei Prompt (Prompt Caching). Why it fits: Usalo quando molte richieste condividono un prefisso lungo e stabile e il servizio modello scelto supporta la cache. Do not use it when: Non mettere dati privati dell'utente in un prefisso condiviso. Non confondere la cache dei prompt con le risposte salvate o la cache HTTP. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): È ufficiale per quella fonte. Altre piattaforme o team potrebbero usare il termine in modo diverso. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how Caching dei Prompt (Prompt Caching) is used now. Definition: Il caching dei prompt permette a un servizio di modello di riutilizzare il lavoro per lo stesso inizio di un input. Può ridurre l'elaborazione ripetuta, ma non riutilizza la vecchia risposta. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.