Prompt Caching
프롬프트 캐싱
프롬프트 캐싱은 모델 서비스가 입력의 동일한 시작 부분에 대해 작업을 재사용할 수 있게 합니다. 반복 처리를 줄일 수 있지만, 이전 답변을 재사용하지는 않습니다.
stable prefix → cache write/read → usage4,096 안정 입력 토큰지원 앱은 새로운 질문을 받기 전에 동일한 규칙과 도구 목록을 보냅니다. 서비스는 그 접두사를 재사용하며, 규칙이 변경되면 새로운 작업이 시작됩니다.prefix_42안정적 | 가변적쓰기 → 읽기stable input prefix → cache write/read → usage recordOPS다른 예시
지원 앱은 새로운 질문을 받기 전에 동일한 규칙과 도구 목록을 보냅니다. 서비스는 그 접두사를 재사용하며, 규칙이 변경되면 새로운 작업이 시작됩니다.
주요 부분
- 01재사용 가능한 입력 접두사
- 02일치 또는 중단 규칙
- 03캐시 쓰기
- 04캐시 적중 또는 미스
- 05수명 및 무효화
- 06사용량, 지연 시간, 비용
사용할 때
여러 요청이 길고 안정적인 접두사를 공유하고 선택한 모델 서비스가 캐싱을 지원할 때 사용하세요.
다음 경우에는 사용하지 마세요
개인 사용자 데이터를 공유 접두사에 넣지 마세요. 프롬프트 캐싱을 저장된 답변이나 HTTP 캐싱과 혼동하지 마세요.
코드에서 사용된 이름
stable input prefix → cache write/read → usage record 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with 프롬프트 캐싱 (Prompt Caching)。 User context：지원 앱은 새로운 질문을 받기 전에 동일한 규칙과 도구 목록을 보냅니다. 서비스는 그 접두사를 재사용하며, 규칙이 변경되면 새로운 작업이 시작됩니다. AI method or concept：프롬프트 캐싱 (Prompt Caching)。 Why it fits：여러 요청이 길고 안정적인 접두사를 공유하고 선택한 모델 서비스가 캐싱을 지원할 때 사용하세요. Do not use it when：개인 사용자 데이터를 공유 접두사에 넣지 마세요. 프롬프트 캐싱을 저장된 답변이나 HTTP 캐싱과 혼동하지 마세요. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：해당 출처에 대해 공식적인 것입니다. 다른 플랫폼이나 팀은 그 용어를 다른 방식으로 사용할 수 있습니다. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how 프롬프트 캐싱 (Prompt Caching) is used now. Definition: 프롬프트 캐싱은 모델 서비스가 입력의 동일한 시작 부분에 대해 작업을 재사용할 수 있게 합니다. 반복 처리를 줄일 수 있지만, 이전 답변을 재사용하지는 않습니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.