AI 구독은 왜 값싼 API가 아닌가#

2026-08-20

AI를 잘 쓸수록 비용이 문제가 됩니다#

AI를 처음 사용할 때는 모델의 성능이 가장 중요했습니다. 어떤 모델이 코드를 더 잘 작성하는지, 긴 문서를 더 정확하게 읽는지, 추론을 얼마나 깊게 하는지를 비교했습니다. 그런데 AI가 실제 업무의 일부가 되고 사용량이 늘어나자 관심사가 달라졌습니다. 이제는 얼마나 잘 쓰느냐만큼 얼마나 지속 가능하게 쓰느냐가 중요해졌습니다.

프롬프트 캐싱을 제대로 파고들었더니, 히트율은 목표가 아니었습니다#

2026-08-05

시작은 “이게 대체 어디서 일어나는 거지"였습니다#

프롬프트 캐싱이 비용을 줄여준다는 건 알고 있었습니다. 같은 시스템 프롬프트를 반복해서 보낼 때 두 번째부터는 싸진다, 정도의 이해였습니다.

그런데 곰곰이 생각해 보니 이상했습니다. 캐싱이 모델 바깥의 어떤 중계 레이어에서 일어나는 거라면, 모델 입장에서는 절약되는 게 없어야 합니다. 그런데 절감 폭이 90%에 달한다고 합니다. 그렇다면 LLM(Large Language Model, 대규모 언어 모델) 사용 비용의 대부분이 모델 자체가 아니라 그 바깥 레이어에서 나온다는 뜻일까요.