같은 프롬프트를 두 번 보내면 90%를 돌려받는다 — 캐싱 단가 읽는 법

AI API 청구서에서 입력 토큰이 차지하는 비중은 생각보다 크다. 시스템 프롬프트, 문서 컨텍스트, 대화 이력 — 매 요청마다 같은 내용이 반복 전송되기 때문이다. 3사 모두 이 반복분에 할인 요금을 두고 있는데, 구조가 조금씩 다르다. 공식 단가표 기준으로 정리했다(1M 토큰당, 세전 USD).

3사 캐싱 단가

	일반 입력	캐시된 입력	할인율
Claude Sonnet 5	$2.00	$0.20 (캐시 읽기)	90%
OpenAI gpt-5.6-sol	$5.00	$0.50 (cached input)	90%
Gemini 3.5 Flash	$1.50	$0.15 (context caching)	90%

할인율은 셋 다 90% 수준으로 수렴했다. 다만 과금 방식의 차이가 실속을 가른다.

Claude — 캐시에 "쓰는" 비용이 따로 있다. Sonnet 5 기준 5분 캐시 쓰기 $2.50, 1시간 캐시 쓰기 $4.00 (일반 입력의 1.25~2배). 즉 한 번 쓰고 말 프롬프트를 캐시하면 오히려 손해고, 같은 프리픽스로 여러 번 호출할 때 이득이 시작된다. 5분 캐시는 2회차부터, 1시간 캐시는 3회차부터 대략 본전이다.

OpenAI — 별도의 쓰기 비용 없이, 반복된 프리픽스를 자동으로 할인한다. 신경 쓸 게 가장 적지만, 캐시 유지 시간을 개발자가 통제하지도 못한다.

Gemini — 캐시 읽기 할인에 더해 저장료($1.00/1M 토큰/시간)가 붙는다. 큰 컨텍스트를 오래 잡아두면 저장료가 할인분을 갉아먹는 구조라, 호출 빈도가 낮은 캐시는 청산이 답이다.

실무 감각: 언제 효과가 큰가

• 시스템 프롬프트가 길고 트래픽이 잦은 서비스 — 챗봇, 고객응대. 입력의 대부분이 반복 프리픽스라 캐시 히트율이 80~90%까지 나온다. 이 경우 실질 입력 단가는 표시가의 5분의 1 이하로 내려간다.
• 문서 하나를 놓고 여러 질문 — RAG·문서 분석. 문서를 캐시에 올리고 질문만 바꾸는 패턴이 정석.
• 9월 1일 Sonnet 5 인상 이후엔 더 중요해진다 — 인상 예고 분석에서 썼듯, 캐시 히트 비중이 높은 서비스는 인상의 체감폭이 절반 이하로 줄어든다.

함정 하나

캐시는 프리픽스(앞부분) 일치가 조건이다. 시스템 프롬프트에 현재 시각, 사용자 이름 같은 가변 값을 앞쪽에 넣으면 매 요청이 캐시 미스가 된다. 가변 값은 프롬프트의 뒤쪽으로 — 캐싱 설계의 첫 번째 수칙이다.

참고

• 단가: 각 사 공식 요금 문서 (2026-07-10 수집). 모델·기간에 따라 캐시 정책이 다르므로 적용 전 해당 모델 문서 확인을 권한다.