AWS Bedrock은 모델을 중계하는 줄 알았는데, 알고 보니 직접 돌리고 있었습니다#

시작은 작은 의문이었습니다#

AWS Bedrock을 쓰면 Claude나 GPT 같은 외부 LLM(Large Language Model, 대규모 언어 모델) 모델을 불러 쓸 수 있다는 건 알고 있었습니다. 그런데 곰곰이 생각해 보니 이상했습니다. Claude는 Anthropic 소유의 모델이고, GPT는 OpenAI 소유의 모델입니다. 남의 회사 핵심 자산인데, AWS는 대체 무슨 수로 그걸 자기 서비스 안에서 제공하는 걸까요.

필자는 막연히 이렇게 생각하고 있었습니다.

AWS가 Anthropic이나 OpenAI와 계약을 맺고, 일종의 전용선을 연결해서 요청을 그쪽으로 넘겨주는 중계(proxy) 방식일 것이다.

즉 Bedrock은 창구일 뿐이고, 실제 연산은 모델 주인 회사의 서버에서 일어난다고 상상한 것입니다. 그런데 찾아보니 “Bedrock이 해당 모델들을 자사 인프라에서 직접 구동한다“는 이야기가 나왔습니다. 둘은 완전히 다른 그림입니다. 무엇이 맞는지 제대로 파고들어 봤고, 그 과정에서 필자의 상식 몇 가지가 깨졌습니다. 이 글은 그 기록입니다.

결론부터: 직접 구동이 맞았습니다#

조사 결과, 필자의 기존 가정은 틀렸습니다. Bedrock은 외부로 요청을 넘기는 중계소가 아니라, 모델 가중치(weights)를 AWS가 라이선스 / 계약을 통해 받아서 AWS 자체 인프라에 올려놓고 직접 추론(inference)을 수행하는 완전 관리형 서비스였습니다.

다시 말해, Bedrock으로 Claude를 호출하면 그 요청이 Anthropic 서버로 건너가는 것이 아닙니다. AWS 데이터센터 안에 배포된 Claude 모델이 바로 그 자리에서 응답을 만들어 돌려줍니다. 각 모델은 Bedrock 서비스팀이 단독으로 운영하는 격리된 계정 안에서 구동되고, 정작 모델을 만든 회사조차 그 환경에 접근하지 못합니다.

가장 강력한 근거는 데이터가 밖으로 안 나간다는 것이었습니다#

만약 필자의 생각대로 전용선 중계 방식이었다면, 사용자가 입력한 프롬프트가 결국 Anthropic이나 OpenAI 서버로 흘러가야 합니다. 그런데 AWS의 공식 입장은 정반대였습니다.

• “Bedrock에서 여러분의 콘텐츠는 기반 모델 개선에 사용되지 않으며, 어떤 모델 제공사와도 공유되지 않습니다.” (Amazon Bedrock FAQ )
• Anthropic 공식 문서 역시 “Claude in Amazon Bedrock은 AWS 관리 인프라에서 운영되며, Anthropic 직원은 추론 인프라에 접근할 수 없다"고 못 박고 있습니다.

이런 보장이 가능한 이유 자체가, 모델이 AWS 보안 경계(security boundary) 안에서 직접 돌아가기 때문입니다. 외부로 요청을 넘기는 구조였다면 애초에 성립할 수 없는 약속입니다. 이 대목에서 “아, 내가 거꾸로 알고 있었구나” 하고 확신이 섰습니다.

계약이라는 단어에 담긴 오해#

흥미롭게도, 필자의 가정이 완전히 틀린 건 아니었습니다. AWS가 모델 회사들과 계약을 맺는다는 부분은 맞습니다. 다만 그 계약의 내용이 상상과 달랐을 뿐입니다.

• 필자의 상상: “요청을 전용선으로 연결해주는 계약”
• 실제: “모델을 AWS 인프라에서 호스팅하고 판매할 권리(라이선스) 계약”

비유하자면 이렇습니다. 필자가 생각한 AWS는 “전화를 Anthropic에 연결해주는 교환원"이었는데, 실제 AWS는 “Anthropic의 모델을 받아다 자기 매장에서 직접 운영하는 프랜차이즈 가맹점” 에 가까웠습니다. (참고로 AWS는 Anthropic의 주요 투자자이기도 합니다.)

Bedrock에는 어떤 모델들이 올라와 있나#

그렇다면 Bedrock에서 실제로 어떤 모델들을 쓸 수 있을까요. 현재 시점 기준 라인업은 대략 다음과 같습니다.

여기서 한 가지 패턴이 보였습니다. 가중치가 공개된 오픈 웨이트 모델(Llama, Gemma, Mistral 등)은 AWS가 자연스럽게 호스팅할 수 있고, 비밀로 유지되는 폐쇄형 모델(Claude, GPT)은 별도 상업 계약을 통해 가중치를 받아 호스팅한다는 점입니다. 참고로 같은 Google 모델이라도 오픈 웨이트인 Gemma는 올라와 있지만, 폐쇄형 플래그십인 Gemini는 (상업적 / 경쟁적 이유로) 빠져 있습니다. 그리고 바로 이 “폐쇄형 모델을 받아 호스팅한다"는 지점에서 더 큰 의문이 생겼습니다.

진짜 궁금했던 것: 그럼 OpenAI의 핵심 자산이 AWS로 넘어간 건가?#

GPT-5.5 같은 프론티어(frontier, 최첨단) 모델은 OpenAI가 가진 가장 비밀스러운 자산입니다. 그런데 “가중치를 받아서 AWS가 직접 돌린다"면, 결국 OpenAI의 핵심 자산이 경쟁사일 수도 있는 AWS로 통째로 넘어간 것 아닌가? 하는 의문이 들었습니다. (AWS는 자체 모델 Nova도 가지고 있으니, OpenAI 입장에선 경쟁사에 금고를 맡기는 셈입니다.)

이걸 파고든 끝에, 가장 흥미로운 사실을 알게 됐습니다. 가중치가 AWS 하드웨어 위에서 돌긴 하지만, AWS조차 그 가중치를 꺼내 볼 수 없도록 설계되어 있다는 것입니다.

먼저, 두 종류의 모델을 구분해야 했습니다#

혼동의 출발점은 이것이었습니다. AWS에 올라온 OpenAI 모델은 성격이 전혀 다른 두 종류입니다.

1. 오픈 웨이트 모델 (gpt-oss-120b, gpt-oss-20b): OpenAI가 Apache 2.0 라이선스로 의도적으로 공개한 모델입니다. 누구나 내려받아 자기 인프라에 돌릴 수 있으니, 이건 “빼앗길 핵심 자산"이 아닙니다.
2. 프론티어 모델 (GPT-5.5, GPT-5.4, Codex): 진짜 비밀 자산입니다. 그리고 이건 가중치가 평문 상태로 AWS에 “넘어가는” 것이 아니었습니다.

필자의 우려는 2번에 해당하므로, 여기에 답을 찾아야 했습니다.

핵심: 가중치는 AWS도 못 여는 금고 안에서 돕니다#

AWS는 Mantle이라는 추론 엔진과 Nitro Enclaves(기밀 컴퓨팅) 기술로 이 문제를 해결하고 있었습니다. 작동 방식이 꽤 영리합니다.

• 모델 제공사(OpenAI)는 가중치를 AWS KMS(Key Management Service, 키 관리 서비스)로 암호화(envelope encryption) 해서 전달합니다.
• 이 암호화된 가중치는 특정 검증된 실행 환경(enclave)에서만 복호화되도록 봉인(seal) 됩니다. 그 환경의 암호학적 측정값(attestation)과 일치할 때만 KMS가 복호화 키를 내줍니다.
• 복호화된 가중치는 오직 그 enclave의 메모리 안에서만 존재하며, 경계 밖으로는 절대 노출되지 않습니다.

여기에 Zero Operator Access (ZOA, 무운영자접근) 설계가 더해집니다. AWS의 Mantle 설계 문서는 이렇게 설명합니다.

Mantle에는 어떤 AWS 운영자도 기반 컴퓨팅 시스템에 로그인하거나 고객 데이터에 접근할 기술적 수단이 없다. SSH, Session Manager, 시리얼 콘솔 같은 도구가 어디에도 설치되어 있지 않다.

즉 SSH도 없고, 콘솔 접근도 없고, 데이터에 닿는 API 자체가 존재하지 않습니다. AWS 직원이 마음먹어도 가중치를 메모리에서 빼낼 경로가 설계상 막혀 있는 것입니다.

금고 비유로 정리하면#

OpenAI가 AWS에 한 일은 “금고 열쇠를 통째로 넘긴 것"이 아니었습니다.

• 암호화된 금고 자체를 AWS 건물(데이터센터)에 들여놓되, 그 금고는 검증된 무인 로봇팔만 열 수 있게 봉인한 것입니다.
• 건물주(AWS)는 공간과 전기(GPU / 하드웨어)를 제공하지만, 금고 안을 들여다볼 수 없습니다.
• 손님(사용자)이 요청을 보내면 로봇팔이 금고 안에서 작업해 결과만 돌려줍니다.

그래서 AWS는 “고객 데이터는 물론, 모델 제공사조차 추론 환경에 접근할 수 없다"는 양방향 보장을 할 수 있는 것입니다. 이 기술적 격리가 없었다면 애초에 OpenAI 같은 회사가 경쟁 모델을 가진 AWS에 자기 모델을 올릴 이유가 없었을 겁니다.

상업적으로도 자산은 여전히 OpenAI 것#

기술적 격리뿐 아니라 비즈니스 구조도 같은 방향을 가리켰습니다.

• Bedrock의 GPT 가격은 OpenAI 직접 API 요금과 동일하게 책정됩니다. AWS가 모델을 “가져가서 싸게 파는” 게 아니라, OpenAI의 수익 모델을 그대로 유지하는 유통 채널 역할입니다.
• 이는 2026년 초 OpenAI-Microsoft 독점 계약이 풀리면서 OpenAI가 멀티클라우드(AWS, Google Cloud) 유통을 시작한 전략의 일부입니다. OpenAI 입장에선 자산을 넘긴 게 아니라 판매 채널을 넓힌 셈입니다.

정리하며 — 무엇을 잘못 알고 있었나#

이번 조사를 통해 필자가 바로잡은 생각을 정리하면 다음과 같습니다.

1. 중계가 아니라 직접 구동 : Bedrock은 외부로 요청을 넘기는 창구가 아니라, 모델을 AWS 인프라에서 직접 돌리는 서비스입니다.
2. 계약은 맞지만 내용이 달랐다 : 전용선 연결 계약이 아니라, 모델을 호스팅 / 판매할 라이선스 계약이었습니다.
3. 호스팅 방식은 모델 성격에 따라 다르다 : 오픈 웨이트 모델(Llama, Gemma 등)은 자연스럽게, 폐쇄형 모델(Claude, GPT)은 별도 상업 계약을 통해 가중치를 받아 호스팅합니다. 같은 Google이라도 Gemma는 있지만 Gemini는 없는 이유입니다.
4. 자산이 넘어간 게 아니다 : 가중치는 AWS 하드웨어 위에서 돌지만, 암호학적 봉인과 무운영자접근 설계 덕분에 AWS조차 그것을 추출 / 열람할 수 없습니다.

처음엔 “남의 모델을 어떻게 자기 서비스에서 제공하지?“라는 단순한 호기심이었는데, 답을 따라가다 보니 결국 클라우드 시대의 신뢰가 어떻게 기술적으로 설계되는가라는 더 큰 주제와 만났습니다. “믿어 주세요"라는 정책이 아니라, “접근할 경로 자체를 없앴습니다"라는 구조로 신뢰를 만든다는 점이 가장 인상 깊었습니다.

남의 핵심 자산을 자기 데이터센터에서 돌리면서도 그 주인과 고객 모두에게 “아무도 못 본다"고 보장하는 일. 그 모순처럼 보이는 약속을 암호학으로 풀어낸 것이 Bedrock이었습니다.