AI 주요 개념 (3)#

이번 장에서는 “어떻게 질문/지시를 구성할지”에 대한 프롬프트 엔지니어링, 그리고 “답을 만들 때 참고할 재료(배경정보)를 어떻게 제공할지”에 대한 컨텍스트 엔지니어링을 다룹니다.

프롬프트 엔지니어링(Prompt Engineering)#

프롬프트는 AI 모델에게 질의(질문/지시)하는 텍스트를 의미합니다. 예를 들어 ChatGPT를 사용할 때 사용자가 입력창에 쓰는 내용이 바로 프롬프트인 것이죠. 그리고 프롬프트 엔지니어링은 AI 모델로부터 원하는 결과를 얻어내기 위해 프롬프트를 작성하는 기술을 의미합니다. 채팅창에 글을 입력하는 것일 뿐인데 이것을 프롬프트 엔지니어링이라고 거창하게 명명한 이유는, 그만큼 어떻게 입력하는가에 따라 AI 모델로부터 얻는 결과물의 품질이 달라지기 때문입니다. 또한 이는 기본적인 원칙을 지키면서도 경험 및 노하우가 필요한 기술이기도 하기에 “엔지니어링”이라 칭하게 된 것이죠.

프롬프트 캐싱을 제대로 파고들었더니, 히트율은 목표가 아니었습니다#

2026-08-05

시작은 “이게 대체 어디서 일어나는 거지"였습니다#

프롬프트 캐싱이 비용을 줄여준다는 건 알고 있었습니다. 같은 시스템 프롬프트를 반복해서 보낼 때 두 번째부터는 싸진다, 정도의 이해였습니다.

그런데 곰곰이 생각해 보니 이상했습니다. 캐싱이 모델 바깥의 어떤 중계 레이어에서 일어나는 거라면, 모델 입장에서는 절약되는 게 없어야 합니다. 그런데 절감 폭이 90%에 달한다고 합니다. 그렇다면 LLM(Large Language Model, 대규모 언어 모델) 사용 비용의 대부분이 모델 자체가 아니라 그 바깥 레이어에서 나온다는 뜻일까요.