https://tedfactory.com/tags/%EB%B9%84%EC%9A%A9-%EC%B5%9C%EC%A0%81%ED%99%94/Recent content in 비용 최적화 on Ted FactoryHugokoThu, 20 Aug 2026 01:41:07 +0900https://tedfactory.com/notes/essays/why-ai-subscriptions-are-not-cheap-apis/Thu, 20 Aug 2026 00:00:00 +0900https://tedfactory.com/notes/essays/why-ai-subscriptions-are-not-cheap-apis/<h1 id="ai-구독은-왜-값싼-api가-아닌가">AI 구독은 왜 값싼 API가 아닌가<a class="anchor" href="#ai-%ea%b5%ac%eb%8f%85%ec%9d%80-%ec%99%9c-%ea%b0%92%ec%8b%bc-api%ea%b0%80-%ec%95%84%eb%8b%8c%ea%b0%80">#</a></h1> <p>2026-08-20</p> <p><img src="https://tedfactory.com/images/notes/why-ai-subscriptions-are-not-cheap-apis-cover.png" alt="개인 구독 경로와 종량제 API 경로가 하나의 AI로 향하지만 서로 다른 출입구와 과금 체계로 나뉜 모습" /></p> <h2 id="ai를-잘-쓸수록-비용이-문제가-됩니다">AI를 잘 쓸수록 비용이 문제가 됩니다<a class="anchor" href="#ai%eb%a5%bc-%ec%9e%98-%ec%93%b8%ec%88%98%eb%a1%9d-%eb%b9%84%ec%9a%a9%ec%9d%b4-%eb%ac%b8%ec%a0%9c%ea%b0%80-%eb%90%a9%eb%8b%88%eb%8b%a4">#</a></h2> <p>AI를 처음 사용할 때는 모델의 성능이 가장 중요했습니다. 어떤 모델이 코드를 더 잘 작성하는지, 긴 문서를 더 정확하게 읽는지, 추론을 얼마나 깊게 하는지를 비교했습니다. 그런데 AI가 실제 업무의 일부가 되고 사용량이 늘어나자 관심사가 달라졌습니다. 이제는 <strong>얼마나 잘 쓰느냐만큼 얼마나 지속 가능하게 쓰느냐</strong>가 중요해졌습니다.</p>https://tedfactory.com/notes/essays/prompt-caching-deep-dive/Wed, 05 Aug 2026 00:00:00 +0900https://tedfactory.com/notes/essays/prompt-caching-deep-dive/<h1 id="프롬프트-캐싱을-제대로-파고들었더니-히트율은-목표가-아니었습니다">프롬프트 캐싱을 제대로 파고들었더니, 히트율은 목표가 아니었습니다<a class="anchor" href="#%ed%94%84%eb%a1%ac%ed%94%84%ed%8a%b8-%ec%ba%90%ec%8b%b1%ec%9d%84-%ec%a0%9c%eb%8c%80%eb%a1%9c-%ed%8c%8c%ea%b3%a0%eb%93%a4%ec%97%88%eb%8d%94%eb%8b%88-%ed%9e%88%ed%8a%b8%ec%9c%a8%ec%9d%80-%eb%aa%a9%ed%91%9c%ea%b0%80-%ec%95%84%eb%8b%88%ec%97%88%ec%8a%b5%eb%8b%88%eb%8b%a4">#</a></h1> <p>2026-08-05</p> <p><img src="https://tedfactory.com/images/notes/prompt-caching-deep-dive-cover.png" alt="프롬프트가 변경 주기에 따라 지층처럼 쌓이고, 아래층이 캐시에서 재사용되는 구조" /></p> <h2 id="시작은-이게-대체-어디서-일어나는-거지였습니다">시작은 &ldquo;이게 대체 어디서 일어나는 거지&quot;였습니다<a class="anchor" href="#%ec%8b%9c%ec%9e%91%ec%9d%80-%ec%9d%b4%ea%b2%8c-%eb%8c%80%ec%b2%b4-%ec%96%b4%eb%94%94%ec%84%9c-%ec%9d%bc%ec%96%b4%eb%82%98%eb%8a%94-%ea%b1%b0%ec%a7%80%ec%98%80%ec%8a%b5%eb%8b%88%eb%8b%a4">#</a></h2> <p>프롬프트 캐싱이 비용을 줄여준다는 건 알고 있었습니다. 같은 시스템 프롬프트를 반복해서 보낼 때 두 번째부터는 싸진다, 정도의 이해였습니다.</p> <p>그런데 곰곰이 생각해 보니 이상했습니다. 캐싱이 <strong>모델 바깥의 어떤 중계 레이어</strong>에서 일어나는 거라면, 모델 입장에서는 절약되는 게 없어야 합니다. 그런데 절감 폭이 90%에 달한다고 합니다. 그렇다면 LLM(Large Language Model, 대규모 언어 모델) 사용 비용의 대부분이 모델 자체가 아니라 그 바깥 레이어에서 나온다는 뜻일까요.</p>