모델 경쟁의 다음 전장: 범용 런타임

모델 점수의 숨은 설계자

에이전트 하네스(모델이 작업을 수행하도록 돕는 실행 환경)는 모델에 필요한 맥락을 제공하고, 터미널과 파일 도구를 연결하며, 실패했을 때 재시도하는 과정까지 관리한다. 따라서 같은 모델이라도 어떤 하네스를 사용하느냐에 따라 평가 성능이 크게 달라질 수 있다.

실제로 Terminal-Bench 2에서는 하네스만 바꿨는데도 pass@1이 69.7%에서 77.0%로 상승했다. SWE-bench Verified에서도 실행 구조인 스캐폴드의 차이로 점수가 최대 15% 움직였다. 일부 구간에서는 같은 모델을 서로 다른 환경에서 실행했을 때 생긴 격차가 최상위 모델 사이의 성능 차이보다 더 컸다.

이런 결과는 평가 점수를 모델만의 성능으로 볼 수 없다는 뜻이다. 점수는 모델과 실행 시스템이 결합해 만들어 낸 결과다.

모델을 훈련하는 방식도 이에 맞춰 달라지고 있다. OpenAI는 Codex 계열을 실제로 코드를 실행하고 테스트 결과를 확인하도록 강화학습해 터미널 작업에 최적화했다. 반면 범용 GPT-5는 다양한 도구 환경에서 지시를 따를 수 있도록 설계했다.

결국 하네스는 단순한 평가 도구를 넘어 모델의 훈련 목표가 되고 있다. 공개된 하네스 코드 역시 모델 개발사가 학습 과정에서 참고하고 최적화할 수 있는 사실상의 규격으로 바뀌었다.

모델을 갈아끼우는 범용 런타임

Claude Code는 settings.json 몇 줄만 바꾸면 GLM, Kimi, MiniMax, Qwen 같은 외부 모델을 연결할 수 있다. 이 방법은 이미 문서화돼 있다. MiniMax는 자사 서버에 /anthropic 호환 경로까지 제공한다. 다른 회사의 도구 호출 규약을 지원하는 일이 모델 출시 단계의 기본 조건으로 자리 잡기 시작한 것이다.

반대 흐름도 나타났다. 2026년 6월부터 Codex 앱, CLI, SDK는 외부 오픈 모델을 지원한다. 예를 들어 ollama launch codex 명령으로 GLM-5.2와 Kimi-K2.7-Code를 실행할 수 있다. 특정 회사의 모델만을 위한 코딩 도구였던 하네스가 이제 다양한 모델을 교체해 사용할 수 있는 범용 런타임으로 확장되고 있다.

물론 한계는 있다. Codex는 Responses API를 중심으로 설계돼 OpenAI의 추론 계층과 긴밀하게 결합돼 있다. 따라서 외부 모델을 사용하려면 해당 규약을 직접 따르거나 별도의 어댑터를 거쳐야 한다. 호환 엔드포인트를 제공한다고 해서 성능까지 같아지는 것도 아니다. 처음부터 모델 비종속성을 원칙으로 설계한 DeepSeek Harness와는 이 지점에서 차이가 난다.

그럼에도 변화의 방향은 분명하다. Apache-2.0 기반 포크들은 실험적인 기능을 먼저 도입하면서도 공통 구조를 유지한다. 하나의 고정된 표준이 시장을 지배한다기보다, 여러 갈래로 분기한 뒤에도 서로 호환되는 기술 계보가 형성되는 모습이다. 그 과정에서 공개된 규약을 익힌 모델과 이를 지원하는 도구는 계속 늘어날 것이다.

열린 코드는 열린 서비스가 아니다

개방에도 경계는 있다.

따라서 하네스를 복제해도 무료 추론까지 제공되는 것은 아니다. OpenAI의 전략은 런타임을 배포해 생태계의 표준을 넓히고, 실제 사용된 토큰에 과금하는 방식에 가깝다.

2026년 9월 10일 공개 베타로 출시된 Agents API는 이 하네스를 OpenAI가 직접 운영하는 서비스다. 별도의 서비스 수수료 없이 토큰, 도구 사용량, 컨테이너 실행 시간에 따라 비용을 부과한다. 실행 환경은 9개 업체와 연동되며, codex exec-server를 이용하면 자체 인프라에서도 실행할 수 있다. 사용자가 실행 환경을 선택할 여지는 충분한 셈이다.

그러나 데이터 처리 방식까지 자유롭게 선택할 수 있는 것은 아니다. 자체 샌드박스를 사용하더라도 ZDR(데이터 미보관)을 지원하지 않으며, 데이터 저장 지역도 미국으로 제한된다. 세션 설정과 턴, 아이템처럼 서비스가 관리하는 상태 역시 다른 환경으로 그대로 이전할 수 없다.

이 때문에 ZDR이 조달의 필수 조건인 의료, 금융 분야에서는 하네스가 공개됐다는 사실만으로 도입이 가능해지지 않는다. 다른 환경으로 옮길 수 있는 것은 실행 코드와 도구 간 계약이다. 반면 오케스트레이션 상태와 데이터 처리에 관한 약속은 여전히 서비스에 묶여 있다. 실제 서비스 교체 비용도 주로 이 후자에서 발생한다.

#에이전트#언어모델#기업 AI