https://tedfactory.com/tags/%EC%BD%94%EB%94%A9-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8/Recent content in 코딩 에이전트 on Ted FactoryHugokoThu, 20 Aug 2026 01:41:07 +0900https://tedfactory.com/notes/essays/prompt-caching-deep-dive/Wed, 05 Aug 2026 00:00:00 +0900https://tedfactory.com/notes/essays/prompt-caching-deep-dive/<h1 id="프롬프트-캐싱을-제대로-파고들었더니-히트율은-목표가-아니었습니다">프롬프트 캐싱을 제대로 파고들었더니, 히트율은 목표가 아니었습니다<a class="anchor" href="#%ed%94%84%eb%a1%ac%ed%94%84%ed%8a%b8-%ec%ba%90%ec%8b%b1%ec%9d%84-%ec%a0%9c%eb%8c%80%eb%a1%9c-%ed%8c%8c%ea%b3%a0%eb%93%a4%ec%97%88%eb%8d%94%eb%8b%88-%ed%9e%88%ed%8a%b8%ec%9c%a8%ec%9d%80-%eb%aa%a9%ed%91%9c%ea%b0%80-%ec%95%84%eb%8b%88%ec%97%88%ec%8a%b5%eb%8b%88%eb%8b%a4">#</a></h1> <p>2026-08-05</p> <p><img src="https://tedfactory.com/images/notes/prompt-caching-deep-dive-cover.png" alt="프롬프트가 변경 주기에 따라 지층처럼 쌓이고, 아래층이 캐시에서 재사용되는 구조" /></p> <h2 id="시작은-이게-대체-어디서-일어나는-거지였습니다">시작은 &ldquo;이게 대체 어디서 일어나는 거지&quot;였습니다<a class="anchor" href="#%ec%8b%9c%ec%9e%91%ec%9d%80-%ec%9d%b4%ea%b2%8c-%eb%8c%80%ec%b2%b4-%ec%96%b4%eb%94%94%ec%84%9c-%ec%9d%bc%ec%96%b4%eb%82%98%eb%8a%94-%ea%b1%b0%ec%a7%80%ec%98%80%ec%8a%b5%eb%8b%88%eb%8b%a4">#</a></h2> <p>프롬프트 캐싱이 비용을 줄여준다는 건 알고 있었습니다. 같은 시스템 프롬프트를 반복해서 보낼 때 두 번째부터는 싸진다, 정도의 이해였습니다.</p> <p>그런데 곰곰이 생각해 보니 이상했습니다. 캐싱이 <strong>모델 바깥의 어떤 중계 레이어</strong>에서 일어나는 거라면, 모델 입장에서는 절약되는 게 없어야 합니다. 그런데 절감 폭이 90%에 달한다고 합니다. 그렇다면 LLM(Large Language Model, 대규모 언어 모델) 사용 비용의 대부분이 모델 자체가 아니라 그 바깥 레이어에서 나온다는 뜻일까요.</p>