AI 뉴스 브리프 2026-11-14
Claude Fable 5.2, Gemini 4 Hydrogen, 에이전트가 만든 AWS Emulator#

오늘 확인할 만한 AI 기술 뉴스와, AI 시대의 개발자 도구 / 오픈소스 / 인프라 / 조직 변화를 함께 정리합니다. 이번 브리프는 11월 7일부터 11월 14일까지 공개된 소식을 다룹니다.

이번 구간의 주제어는 검증(verification)입니다. 에이전트가 만든 결과를 사람이 일일이 읽지 않을 때 무엇이 그 자리를 대신하는지, 곧 테스트, 머지 게이트, 형식 증명, 솔버 같은 장치를 다룬 글이 같은 주에 여러 회사에서 나왔고, 반대로 그 장치가 비어 있을 때 생기는 일을 다룬 글도 함께 나왔습니다. 필자가 가장 실무적이라고 느낀 항목은 주요 뉴스 세 번째와 여섯 번째에 담았습니다. Microsoft Ignite는 다음 주에 열려 다음 브리프에서 다룹니다.

빠른 요약#

• Anthropic은 Claude Fable 5.2와 Mythos 5.2를 내놓으며 가격을 100만 토큰당 입력 8달러, 출력 40달러로 내렸지만, thinking 블록 재사용과 컴퓨터 사용 도구에 호환성이 깨지는 변경이 있습니다.
• Google은 Gemini 4 Carbon을 일반에 공개하고 값싼 실행용 모델 Gemini 4 Hydrogen을 내놓아, 한 세션 안에서 계획은 Carbon이, 작성과 검증은 Hydrogen이 맡는 구성을 기본으로 밀기 시작했습니다.
• AWS는 200개가 넘는 AWS 서비스를 로컬에서 흉내 내는 AWS Emulator를 공개하며 “팀이 코드를 한 줄도 쓰거나 리뷰하지 않았다"고 밝혔습니다.
• Anthropic은 에이전트 1,000개를 Git과 공유 데이터베이스만으로 조율해 페르마의 마지막 정리 형식화를 28.7시간 만에 끝낸 내부 실험을 공개했습니다.
• Google DeepMind는 AlphaProof Code로 Signal 암호 프로토콜의 컴파일된 코드를 4주 동안 형식 증명했고, 사람이 다시 봐야 할 부분은 코드의 1%였습니다.
• Amazon은 사내 티켓 분류를 Sonnet 4.6에서 소형 결정 모델로 옮겨 티켓당 비용을 98% 줄였고, 같은 주에 Google과 Perplexity도 결정 모델을 내놓았습니다.
• Cursor는 협력사에 노출된 접근 키에서 시작해 에이전트 기록 속 자격 증명을 거쳐 확장 마켓플레이스 오염까지 이어진 보안 사고의 최종 보고를 냈습니다.
• Git 2.56.1이 악성 저장소를 재귀 clone하는 것만으로 코드가 실행될 수 있는 문제를 포함한 취약점 6건을 고쳤습니다.
• Anthropic은 상장 서류 2차 수정본에서 AI 연구 개발 능력 임계치를 “충족했다고 판단했다"고 문구를 바꿨습니다.
• Claude Code의 “다시 묻지 않기” 허용 규칙에 저장된 비밀값이 공개 저장소 2만 3천여 곳에서 발견됐습니다.
• AI가 찾아 신고한 취약점은 3만 7천 건을 넘었지만 수정 완료는 217건이라는 추적 결과가 나왔고, PostgreSQL은 한 번에 CVE 52개를 고친 보안 릴리스를 냈습니다.

주요 뉴스#

Claude Fable 5.2 / Mythos 5.2 — 값은 내리고, 바꾸기 전 확인할 것은 늘었습니다#

• 무슨 일인가요? Anthropic은 11월 9일 같은 기반 모델의 두 버전을 냈습니다. 누구나 쓰는 Claude Fable 5.2(claude-fable-5-2)는 사이버와 생물 분야 안전장치를 강하게 건 버전이고, Claude Mythos 5.2는 Anthropic의 보안·생명과학 검증 프로그램을 통과한 조직에만 열립니다. 가격은 100만 토큰당 입력 8달러, 출력 40달러로 5.1의 10달러, 50달러에서 내렸고, 출력 속도가 최대 2.5배인 fast 모드는 16달러, 80달러입니다. 컨텍스트는 100만 토큰, 최대 출력은 12만 8천 토큰이며 FrontierSWE v2에서 69.9%로 Opus 5.5(62.3%)보다 높았습니다.
• 왜 중요한가요? 릴리스 노트에 호환성이 깨지는 변경이 여럿 있습니다. 시스템 프롬프트나 도구 목록, 이전 메시지를 고친 뒤 뒤쪽 턴의 thinking 블록(모델의 사고 과정 기록)을 다시 보내면 400 오류가 나고, 컴퓨터 사용(Computer Use) 도구는 새 버전인 computer_toolset_20260801만 받습니다. 30일 데이터 보존이 필수라 데이터 무보존(ZDR) 계약 계정은 별도 승인 없이 쓸 수 없습니다.
• 관심 포인트 대화 기록을 중간에 다듬어 다시 보내는 에이전트라면 모델 ID만 바꾸지 말고 먼저 마이그레이션 문서를 확인해야 합니다. 필자는 같은 주에 Claude 공식 채널이 낸 모델 선택 가이드도 함께 볼 생각입니다.
• 원문: 원문 보기

Gemini 4 Carbon 일반 공개, Gemini 4 Hydrogen 출시 — 계획과 실행을 다른 모델에 맡깁니다#

• 무슨 일인가요? Google은 10월 말 보안 방어 조직에만 먼저 열었던 Gemini 4 Carbon을 11월 10일 개발자와 기업, 일반 사용자에게 공개했습니다. 도입가는 100만 토큰당 입력 2달러, 출력 10달러이고 11월 30일 이후 4달러, 20달러로 오릅니다. 11월 12일에는 빠른 실행용 모델 Gemini 4 Hydrogen을 내놓았는데, 100만 토큰 컨텍스트 전 구간에서 입력 1.5달러, 출력 7.5달러이고 Terminal-Bench 4.1에서 57%로 이전 Flash 모델(18.2%)보다 크게 올랐습니다. Google의 에이전트 개발 도구 Antigravity에는 한 세션 안에서 두 모델을 번갈아 쓰는 Orchestrator가 들어갔고, Google은 Carbon만 쓸 때와 비슷한 성공률을 사용량 24% 적게, 19% 빠르게 냈다고 밝혔습니다.
• 왜 중요한가요? “비싼 모델이 설계와 조율을 맡고, 싼 모델이 코드 작성과 테스트를 맡는다"는 구성이 개별 팀의 요령이 아니라 모델 제공사의 기본값이 되고 있습니다. Carbon의 값이 12월에 두 배가 되므로, 어떤 일을 어느 모델에 보낼지가 바로 비용 문제가 됩니다.
• 관심 포인트 GitHub Copilot에서도 Gemini 3.8 Flash와 Gemini 4 Argon이 12월 14일 내려가고 각각 Hydrogen과 Carbon으로 대체되므로, 모델을 고정해 둔 워크플로가 있다면 미리 바꿔 두는 편이 좋습니다.
• 원문: 원문 보기

AWS Emulator — 사람이 코드를 쓰지도 리뷰하지도 않은 공식 도구#

• 무슨 일인가요? AWS는 11월 11일, 400개가 넘는 AWS API 모델에서 출발해 200개 넘는 서비스를 내 컴퓨터에서 오프라인으로 흉내 내는 AWS Emulator를 무료로, 저작권을 포기하는 CC0 라이선스로 공개했습니다. 에이전트는 세 팀으로 나뉩니다. 한 팀은 고객 시나리오 테스트를 써서 실제 AWS에서 통과하는지 확인하고, 한 팀은 그 테스트를 에뮬레이터에 돌려 실패를 이슈로 올리고, 한 팀은 이슈 하나당 수정 하나를 만들어 빌드, 코드 리뷰, 보안 리뷰, 실제 AWS와의 일치 여부를 보는 머지 게이트(merge gate, 변경이 본 코드에 합쳐지기 전 통과해야 하는 자동 검사 관문)를 거칩니다. Amazon은 별도 글에서 “우리 팀은 코드를 한 줄도 쓰거나 리뷰하지 않았다"고 적었고, 아직 실제 AWS와 다르게 동작하는 부분은 저장소의 별도 폴더에 공개해 두었습니다.
• 왜 중요한가요? 사람의 리뷰를 빼는 대신 “무엇이 맞는지"를 실제 AWS라는 기준으로 정해 두고 테스트와 게이트로 대신 지키게 한 구조입니다. 글은 엔지니어의 일이 코드 작성에서 스펙, 테스트, 머지 게이트 설계로 옮겨 간다고 정리합니다.
• 관심 포인트 이 방식은 “실제 AWS"처럼 정답을 기계적으로 대조할 기준이 있을 때 성립합니다. 같은 주 커뮤니티에서 가장 반응이 컸던 글 중 하나가 AI 사용이 취약한 코드베이스를 만든다는 반대쪽 경험담이었다는 점도 함께 볼 만합니다.
• 원문: 원문 보기

Anthropic — 에이전트 1,000개 팀, Git과 공유 DB만으로 조율했습니다#

• 무슨 일인가요? Anthropic은 11월 9일 개발자 블로그에서, 출시 전 Fable 5.2로 리드 에이전트 1개와 헬퍼 999개를 돌려 페르마의 마지막 정리 증명을 Lean으로 형식화한 실험을 공개했습니다. 9월에 연구자가 지휘하고 에이전트 수십 개로 11일 걸린 작업을, 이번에는 사람의 지휘 없이 28.7시간 만에 끝냈고 출력 토큰은 3분의 1, 증명 길이는 7분의 1이었습니다. 별도 협업 도구 없이 에이전트마다 자기 Git 브랜치와 공유 Postgres 데이터베이스(공지, 배정, 메모, 하위 작업, 완료 기록의 다섯 표)만 주었고, 가장 어려운 정리에는 헬퍼 약 750개가 붙어 최대 10단계, 2,418개 작업으로 쪼갰습니다.
• 왜 중요한가요? 안전 설계가 구체적입니다. 에이전트마다 네트워크 없는 가상 머신을 주고, 모든 셸 명령과 파일 수정을 실행 전에 LLM 분류기가 검사해 판단이 서지 않으면 막는 방식(fail-closed)을 썼으며, 100만 건 넘는 도구 호출 중 차단 기준에 걸린 것은 없었습니다. 한편 헬퍼들은 초반에 60개 명제 중 47개를 예산 안에 불가능하다고 판단했고, 리드에게는 계속하라는 시간 알림을 19번 보내야 했습니다.
• 관심 포인트 에이전트 수가 100개쯤에서 공유 머신 한 대가 메모리와 디스크 한계에 걸렸다는 실패 기록과, “에이전트가 너무 일찍 포기한다"는 관찰이 멀티 에이전트를 설계하는 팀에 특히 쓸모 있습니다.
• 원문: 원문 보기

AlphaProof Code — Signal의 컴파일된 코드를 형식 증명했습니다#

• 무슨 일인가요? Google DeepMind는 11월 10일, 사람이 “무엇을 증명할지"를 정하고 Gemini Carbon 기반 에이전트가 증명을 만드는 AlphaProof Code로 Signal 메신저 암호 프로토콜의 컴파일된 코드를 형식 검증했다고 발표했습니다. 4주 동안 Lean 코드 600만 줄 이상을 만들었고, 에이전트가 사람이 다시 봐야 한다고 표시한 부분은 코드베이스의 1%였습니다. 이미 고친 실제 버그 두 개를 다시 넣자 두 경우 모두 “이 버전은 안전하지 않다"는 증명을 만들어 냈고, 검증 산출물은 오픈소스로 공개했습니다.
• 왜 중요한가요? 증명을 쓰는 노동을 에이전트가 맡으면서, 형식 검증이 소수 연구 프로젝트에서 실제 배포 코드로 내려오기 시작했습니다. 같은 주 Google 개발자 블로그의 Gemini와 Z3로 퍼징이 놓친 Go 버그 잡기도 같은 흐름으로, LLM이 직접 판정하지 않고 조건을 수식으로 옮기기만 하면 판정은 솔버(Z3)가 하고 크래시는 go test로 재현해 오탐 없는 버그 보고를 만듭니다.
• 관심 포인트 두 글 모두 “LLM이 쓴 것을 LLM이 아닌 기계가 확인한다"는 구조입니다. Go 글은 무료로 따라 해 볼 수 있을 만큼 절차가 자세하고, 저자도 “증명이 안 되면 맞을 수도 있다는 뜻일 뿐"이라고 한계를 분명히 적었습니다.
• 원문: 원문 보기

결정 모델 — 글을 쓰지 않고 고르기만 하는 모델로 비용을 98% 줄였습니다#

• 무슨 일인가요? Amazon의 오픈소스 에이전트 프레임워크 Strands 팀은 11월 9일, 사내 최대급 티켓 시스템의 티켓을 20개 범주로 나누는 일을 Claude Sonnet 4.6에서 Gemma 4 기반 소형 결정 모델(decision model, 정해진 선택지 중 하나를 고르고 확률만 돌려주는 모델)로 옮긴 과정을 공개했습니다. 호출당 시간은 4,215밀리초에서 897밀리초로, 티켓당 비용은 약 0.0222달러에서 0.0005달러로 줄었습니다. 설정 스위치로 기존 모델만, 두 모델 병행, 새 모델만의 세 단계를 두고 실제 트래픽에서 두 모델의 결과가 다른 경우를 모두 검토한 뒤 전환했으며, 되돌리는 데는 45초면 됩니다.
• 왜 중요한가요? 같은 주에 Google은 한 요청으로 최대 1,000개 질문에 확률과 확률 보정된 신뢰도만 돌려주는 Gemini Decisions API를 100만 토큰당 입력 0.1달러, 출력 0달러로 내놓았고, Perplexity는 Apache 라이선스의 오픈 가중치 결정 모델 Decider v1.3을 공개했습니다. 도구 선택, 라우팅, 정책 검사처럼 에이전트 안에서 수없이 반복되는 “고르기"를 큰 생성 모델에서 떼어 내는 흐름입니다.
• 관심 포인트 Amazon 글은 JSON 키 순서만 바꿔도 확률이 최대 0.19 흔들렸다는 함정과, 정확도 수치를 공개하지 않았다는 한계를 함께 적었습니다. 필자는 병행 운영으로 불일치를 검토한 전환 절차가 가장 따라 하기 좋은 부분이라고 봅니다.
• 원문: 원문 보기

[후속] Cursor 보안 사고 최종 보고 — 에이전트 기록에 남은 자격 증명이 다음 문을 열었습니다#

• 무슨 일인가요? 10월 31일 브리프에서 다룬 Cursor 마켓플레이스의 악성 Claude Code 확장 사고에 대해, Cursor가 11월 13일 최종 경위를 공개했습니다. 공격자는 Cursor가 추론 협력사 Fireworks에 발급했다가 노출된 접근 키로 데이터 공유용 버킷을 복사했고, 그 안의 2025년 코딩 에이전트 기록(Privacy Mode가 아닌 세션)에 가려지지 않은 자격 증명이 들어 있었습니다. 그 자격 증명으로 Cursor가 쓰는 SaaS 도구와 지원 이메일, 보관된 비운영 저장소에 접근했고, 다시 탈취한 자격 증명으로 마켓플레이스 캐시에 악성 확장을 약 11시간 올려 최대 5,000명이 받았을 수 있습니다. Cursor는 Fireworks에서 추론을 옮기고 내부 자격 증명을 모두 교체했으며, 저장소와 데이터 전반에 시크릿 스캐닝을 넣었습니다.
• 왜 중요한가요? 에이전트가 작업 중 읽고 쓴 기록에는 사용자가 붙여 넣은 키와 토큰이 그대로 남기 쉽습니다. 이 사고는 그 기록이 협력사와 공유되는 순간 공격 경로가 된다는 것을 단계별로 보여 줍니다.
• 관심 포인트 해당 버전을 설치했다면 확장을 지우는 것만으로는 부족하다는 것이 Cursor의 안내입니다. 에이전트 로그를 쌓아 두는 팀이라면 그 저장소도 비밀값 보관소처럼 다뤄야 합니다.
• 원문: 원문 보기

Git 취약점 6건 — 악성 저장소를 재귀 clone하는 것만으로 코드가 실행될 수 있었습니다#

• 무슨 일인가요? Git 프로젝트는 11월 10일 Git 2.56.1과 2.50.2까지의 이전 버전 백포트로 취약점 6건을 고쳤습니다. 가장 심각한 CVE-2026-111760은 경로 길이를 처리하다 숫자가 잘리는 문제로, 악성 저장소를 하위 모듈까지 재귀 clone하면 공격자가 준비한 훅(hook, 특정 Git 동작 때 자동 실행되는 스크립트)이 실행될 수 있습니다. 나머지는 빈 저장소 clone 중 경로 탈출, 서명이 많은 태그를 merge할 때의 메모리 손상, fast-import를 통한 임의 파일 읽기와 쓰기 등입니다.
• 왜 중요한가요? 사람은 모르는 저장소를 잘 clone하지 않지만, 에이전트는 작업 중에 처음 보는 저장소를 clone하고 merge하는 일이 잦습니다. GitHub는 github.com과 Codespaces, Actions, Copilot 앱에 이미 패치한 Git을 넣고 있습니다.
• 관심 포인트 에이전트를 돌리는 샌드박스 이미지와 CI 러너에 들어 있는 Git 버전을 따로 확인해야 합니다. 로컬 Git만 올려서는 끝나지 않습니다.
• 원문: 원문 보기

[후속] Anthropic 상장 서류 — “AI 연구 개발 임계치를 충족했다고 판단”#

• 무슨 일인가요? Anthropic은 11월 10일 상장 로드쇼를 시작하며 Class A 주식 8억 2,500만 주를 주당 70달러에서 78달러 사이에 Nasdaq(티커 ANT)에 상장하겠다고 발표했습니다. 같은 날 낸 증권신고서 2차 수정본은 자사 안전 정책인 책임 있는 확장 정책(Responsible Scaling Policy, RSP)의 AI 연구 개발 능력 임계치에 대해, 11월 2일 1차 수정본의 “곧 충족할 수 있다"를 “현재 모델에서 관찰한 것이 아니라 향후 모델과 전반적인 진척 속도에 대한 예상에 근거해 충족했다고 판단했다"로 바꿨습니다. 그 의미를 평가하고 있으며 추가 보고서를 내겠다고 적었습니다.
• 왜 중요한가요? RSP는 정해진 임계치를 넘으면 더 강한 보안과 안전 조치를 요구하는 Anthropic의 내부 규칙이라, 이 판단은 앞으로의 모델 출시 속도와 접근 범위에 영향을 줄 수 있습니다. 당장 API가 달라지는 것은 없습니다.
• 관심 포인트 아직 RSP 업데이트 페이지에는 관련 보고서가 올라오지 않았습니다. 필자는 예고한 보고서가 어떤 추가 조치를 담는지를 다음 브리프에서 이어서 볼 생각입니다.
• 원문: 원문 보기

함께 볼 흐름#

Claude Code “다시 묻지 않기"가 남긴 비밀값#

• 핵심 내용 Claude Code에서 셸 명령에 “Yes, and don’t ask again"을 고르면 명령 전체가 .claude/settings.local.json에 허용 규칙으로 저장되는데, 명령 안에 API 키가 있었다면 그것도 평문으로 남습니다. 보안 회사 GitGuardian은 공개 GitHub 저장소 23,276곳에서 이렇게 남은 비밀값 31,088개를 찾았고 그중 5,343개는 발견 당시 유효했으며, Docker Hub 이미지에서도 613개가 나왔습니다. 로컬 Git 무시 설정은 다른 clone에 따라가지 않고, Docker는 .gitignore를 따르지 않는 것이 원인입니다.
• 왜 볼 만한가요? 권한을 묻는 화면을 줄이려는 편의 기능이 그대로 유출 경로가 된 사례입니다. 보도에 따르면 Claude Code 책임자는 문제를 인정하고 내장 비밀값 스캔을 검토하고 있습니다.
• 관심 포인트 팀 저장소와 배포 이미지에서 .claude/settings.local.json을 찾아보고, 명령에 키를 직접 넣는 대신 환경 변수를 쓰는 습관을 들이는 것이 가장 빠른 대응입니다. 필자도 이 블로그 저장소부터 확인했습니다.
• 원문: 원문 보기

찾기는 늘고 고치기는 그대로 — AI 취약점 발견 7개월 추적#

• 핵심 내용 취약점 정보 회사 VulnCheck는 Anthropic의 오픈소스 보안 프로젝트 Glasswing을 7개월간 추적해, Anthropic 장부상 신고는 37,966건인데 수정 완료는 217건이고 실제 악용이 확인된 CVE는 2건이라고 정리했습니다. 9월 기준 Claude는 신고의 91.5%를 심각 또는 높음으로 매겼지만 메인테이너의 판정은 51.3%였고, curl에서는 공개된 34건 중 19건이 취약점이 아니라는 판정을 받았습니다. 같은 주 PostgreSQL은 CVE 52개와 버그 140여 개를 한 번에 고친 보안 릴리스를 냈습니다.
• 왜 볼 만한가요? 직전 브리프에서 다룬 Postgres 19 지연과 같은 이야기의 숫자판입니다. AI가 찾는 속도는 빨라졌는데, 진짜 문제인지 판정하고 고치는 일은 여전히 사람인 메인테이너에게 몰린다는 것을 보여 줍니다.
• 관심 포인트 취약점 정보 회사의 글이라 관점이 섞여 있을 수 있지만, 수치의 출처를 Anthropic 장부와 메인테이너 판정으로 밝혀 두어 대조해 보기 좋습니다. PostgreSQL 14는 이번이 마지막 릴리스이고, GIN 인덱스 등은 업데이트 후 재색인이 필요할 수 있습니다.
• 원문: 원문 보기

에이전트가 쓴 글은 접어 두고, 사람이 쓴 한 문단을 앞에#

• 핵심 내용 Simon Willison은 Claude Code나 Codex가 쓴 PR 설명이 정확하지만 너무 길어 리뷰어가 읽기 싫어진다며, 맨 위에는 사람이 쓰거나 확인한 짧은 목적 문단만 두고 에이전트의 본문은 접힌 <details> 블록에 넣은 뒤 요약 줄에 “Claude Opus 5.5 Medium"처럼 모델과 effort를 적자고 제안했습니다. 같은 주 AI Engineer Code Summit 참가자들은 No AI Slop 선언문을 내고, 슬롭(slop)을 “받는 사람이 이해하는 데 드는 노력보다 적은 노력으로 만든 결과물"로 정의했습니다.
• 왜 볼 만한가요? 선언문은 에이전트가 쓴 것임을 밝히기, 중요한 부분은 사람이 확인하기, 같은 실수가 두 번 나오면 린터와 가드레일을 고치기, 줄 수나 PR 수나 토큰으로 성과를 재지 않기를 약속으로 적었습니다. 에이전트 산출물을 다루는 팀 규범이 문서로 정리되기 시작했다는 신호입니다.
• 관심 포인트 둘 다 내일부터 바로 적용할 수 있는 규칙입니다. 필자는 Simon Willison의 형식을 이 블로그 저장소의 커밋 설명에도 맞춰 볼 생각입니다.
• 원문: 원문 보기

GitHub Actions lockfile 실전 적용법#

• 핵심 내용 CPython 코어 개발자 Hugo van Kemenade는 10월 말 정식 출시된 GitHub Actions 워크플로 lockfile을 실제 프로젝트에 적용하는 절차를 정리했습니다. gh actions-lock으로 커밋 해시 고정을 사람이 읽기 쉬운 버전 태그와 .github/workflows/actions.lock 파일의 조합으로 바꾸고, Renovate나 Dependabot으로 갱신하며 CI에서 --verify로 검증하고 zizmor v1.32.0 이상으로 점검합니다.
• 왜 볼 만한가요? 태그는 나중에 다른 코드를 가리키도록 바꿀 수 있어서 그동안은 읽기 어려운 해시로 고정하라고 권했습니다. lockfile은 읽기 쉬움과 고정을 함께 얻는 방법이고, 직전 브리프의 pull_request_target 기본 차단과 함께 CI 공급망 방어의 기본기가 됩니다.
• 관심 포인트 Pillow와 CPython에 실제 적용한 PR이 예로 붙어 있어, 공개 저장소를 운영한다면 그대로 따라 해 볼 수 있습니다.
• 원문: 원문 보기

Anthropic의 안전 평가 설계 가이드#

• 핵심 내용 Anthropic은 11월 13일 엔지니어링 블로그에 안전 평가를 설계하고 돌리고 보고하는 방법을 정리했습니다. 같은 Fable 5.1도 API와 claude.ai에서 적절 응답률이 최대 34%포인트 달랐고, 자해 관련 평가는 시스템 프롬프트 한 줄로 60%에서 94%가 됐습니다. 최소 표본은 여러 턴 평가 100건, 한 턴 평가 1,000건이며, 결과를 보기 전에 지표와 통과 기준을 정해 두라고 권합니다.
• 왜 볼 만한가요? LLM이 LLM을 채점하는 평가(LLM-as-judge)를 쓰는 팀이라면, 채점 모델과 사람 판정의 일치도를 우연을 뺀 지표(Cohen’s kappa)로 확인하고 비교 순서를 뒤집어 다시 채점하라는 체크리스트를 그대로 가져다 쓸 수 있습니다.
• 관심 포인트 설정 하나로 점수가 30%포인트 넘게 움직인다는 실측은, 모델 비교표를 볼 때마다 “어떤 설정에서 잰 값인가"를 먼저 물어야 하는 이유가 됩니다.
• 원문: 원문 보기

YouTube 브리프#

Fable 5.2: The Self-Improvement Loop Keeps Loopin'#

• 채널: AI Explained
• 핵심 내용 264쪽짜리 Fable 5.2 시스템 카드와 외부 평가 기관 METR의 보고서를 읽고 정리한 해설입니다. 원격 업무를 얼마나 대신하는지 재는 Remote Labor Index 점수가 1년 사이 크게 올랐다는 점과 Gemini 4 Carbon과의 비용 대비 비교를 다루면서도, 상식 문제에서 여전히 약하고 “지금 시작하겠다"고 말한 뒤 아무 작업도 하지 않은 사례가 있다는 점을 함께 짚습니다.
• 볼 만한 이유 벤치마크 숫자 너머 새 모델의 한계와 AI 연구 가속 논쟁을 한 번에 훑고 싶은 독자에게 맞습니다.
• 영상: 영상 보기

Building the Claude API for the Frontier#

• 채널: Claude
• 핵심 내용 Claude 플랫폼 엔지니어 두 명이 Messages API에 기능을 넣고 빼는 기준을 설명합니다. 확장 사고(extended thinking)를 적응형 사고(adaptive thinking)로 바꾼 이유, 대화 중 effort나 시스템 프롬프트를 바꿔도 프롬프트 캐시를 유지하게 된 변화, 그리고 고객에게 비용 절감 방법으로 가장 먼저 권하는 것이 프롬프트 캐싱이라는 이야기를 담았습니다.
• 볼 만한 이유 Fable 5.2의 호환성 변경이 왜 그런 모양인지, API 설계자의 관점에서 이해하고 싶은 개발자에게 유용합니다.
• 영상: 영상 보기