AI의 '생각'에도 요금이 붙는다 — 보이지 않는 추론 토큰 청구서

요즘 모델들은 답하기 전에 "생각"한다. 문제를 뜯어보고, 계획을 세우고, 중간 계산을 하는 내부 추론 과정이다. 품질에는 도움이 되는데, 문제는 이 생각이 출력 토큰으로 과금된다는 것이다. 화면에는 보이지 않는데 청구서에는 있다.

실측: 생각값이 답변값의 5배

본지의 건당 비용 실측에서 나온 숫자를 다시 보자. 고객 문의 하나에 대한 Gemini Flash의 응답이다.

	토큰
화면에 보인 답변	449자 (약 250토큰)
추론(thinking)	1,439토큰
과금된 출력 합계	1,689토큰

같은 질문에 추론 없이 답한 Claude Sonnet 5의 출력은 540토큰이었다. 추론형 설정의 모델은 답변보다 생각에 5배 이상을 썼고, 그 결과 명목 단가가 더 쌌는데 건당 비용은 2.5배 비쌌다.

회사별로 다르게 청구된다

공식 문서 기준으로 3사의 처리 방식은 이렇다.

• Google (Gemini) — 요금표에 "출력가는 thinking 토큰 포함"이라고 명시한다. 추론량은 모델이 문제 난도에 따라 스스로 정하며, 사용자는 usage 응답의 thoughtsTokenCount로 사후 확인할 수 있다.
• OpenAI — 추론 토큰(reasoning tokens)이 출력 요금으로 청구되며, usage 응답에 별도 항목으로 표시된다. 추론 강도를 옵션으로 조절할 수 있다.
• Anthropic (Claude) — 확장 사고(extended thinking)를 켜면 사고분이 출력 토큰에 포함된다. 켜지 않으면 발생하지 않는다 — 위 실측에서 Claude의 추론 토큰이 0이었던 이유다.

실무 수칙 세 가지

1. usage를 로깅하라. 추론 토큰은 요청 전에 예측할 수 없고, 사후에만 보인다. 건당 비용을 관리하려면 응답의 usage 필드(추론 항목 포함)를 남기는 것부터다.

2. 작업 난도와 추론 강도를 맞춰라. 고객 문의 답변에 수학 올림피아드급 추론은 필요 없다. 추론 강도를 조절할 수 있는 모델이라면 낮은 단계부터, 추론이 꺼지는 모델이라면 꺼서 비교해보라. 품질이 같다면 그 차액은 전부 낭비였던 것이다.

3. "싼 단가 + 긴 생각"을 경계하라. 단가표는 토큰당 가격만 말해준다. 생각이 긴 모델은 토큰을 더 쓴다. 모델 선정 때는 단가가 아니라 자기 작업으로 실제 호출한 건당 비용으로 비교해야 한다.

참고

• 실측 데이터: 2026-07-10, 시나리오 1건 × 2모델 × 3회 중앙값. 청구 방식 설명은 각 사 공식 문서 기준이며, 정책은 바뀔 수 있다 — 바뀌면 이 사이트의 관측이 잡아낸다.