AI의 해자는 정확도가 아니라 축적 구조다

성능 격차는 어디서 생기는가

2026년 9월 Y Combinator 데모데이에서 한 가지 흐름이 뚜렷하게 나타났다. 하드웨어 기업을 제외한 스타트업 대부분이 특정 분야에 최적화된 ‘하네스(모델의 실행을 감싸 통제하는 시스템)’를 만들고 있었다.

하네스는 AI 모델의 실행을 관리하는 시스템이다. 모델에 지시와 맥락을 제공하고, 도구 호출부터 결과 검증, 재시도, 작업 종료까지 통제한다. 모델이 답을 만들어 내는 두뇌라면, 하네스는 긴 작업에서 무엇을 확인하고 어떤 순서로 행동할지 결정하는 실행부다.

하네스의 영향력은 성능 평가에서도 확인된다.

같은 Claude Opus 4.5를 사용했지만 SWE-bench Pro(실제 소프트웨어 버그 수정 능력을 재는 평가) 점수는 SEAL 스캐폴드(평가용 기본 실행 틀)에서 45.9%, Claude Code에서 55.4%였다. 통제 실험에서 측정된 성능 분산도 모델은 2.37에 그친 반면, 하네스는 18.48에 달했다. 심지어 모델 간 성능 순위도 9건 중 6건에서 뒤집혔다.

따라서 “A 모델이 B 모델보다 뛰어나다”는 평가는 어떤 하네스를 사용했는지 밝히지 않으면 의미가 없다.

TerminalBench 2.0에서도 같은 현상이 나타났다. 모델을 바꾸지 않고 하네스만 개선했는데도 성능이 52.8%에서 66.5%로 올랐다. 한 팀은 순위가 30위권에서 5위권으로 뛰었다.

결국 AI 스타트업이 실제로 소유하고 축적하는 핵심 자산은 모델 자체만이 아니다. 시스템 프롬프트와 스킬 파일, 도구와 샌드박스, 브라우저, 서브에이전트 배정 방식, 맥락 압축 기술, 로그와 추적 시스템, 비용 측정 체계가 모두 그들이 구축한 실질적인 코드다.

영업의 속도, 금융의 통제

GTM(시장 진입 전략), 특히 고객 발굴과 영업 운영에서는 오류 한 건의 비용이 대개 ‘무시당한 메일 한 통’에 그친다. 따라서 완벽한 정확도보다 성과 대비 비용이 더 중요하다.

AI 영업개발을 적용한 75건의 사례에서 회신율 중앙값은 2.3~3.1%, 상위 25%는 4.7~6.2%였다. 적격 고객과의 미팅 한 건을 확보하는 비용은 820달러에서 190달러로 줄었다. 같은 최상위 AI 모델을 사용해도 어떤 고객 신호를 포착하고 어떻게 개인화하느냐에 따라 비용이 네 배 이상 벌어진 것이다. 일부 오류가 남더라도 미팅 확보 비용이 충분히 낮다면 사업은 성립할 수 있다.

영업 운영은 그 자체로 저렴한 학습 과정이기도 하다. 고객의 회신과 무응답이 곧바로 평가 데이터가 되기 때문이다. 하지만 금융이나 헬스케어처럼 오류의 파급력이 큰 분야에서는 같은 접근법을 적용하기 어렵다. 실제 운영을 통해 학습하기에 앞서, 모든 판단의 근거를 보존할 수 있어야 한다. 전 과정의 감사 기록과 신뢰도 점수, 답변별 출처가 먼저 필요한 이유다.

회계에는 ‘거의 맞는 전표’가 없다. AI가 만들어낸 잘못된 전표 하나가 시산표와 재무제표를 거쳐 세무신고와 감사 자료까지 오염시킬 수 있다. 처리 과정이 실행할 때마다 달라지거나 추출한 값에 원문 위치가 기록되지 않으면, 나중에 판단의 출처를 복원하기도 어렵다. 따라서 감사 추적 기능은 운영 이후에 덧붙일 부가 기능이 아니라 시스템을 설계할 때부터 정해야 할 핵심 구조다.

Lean 4(수학적 증명을 기계가 검증하게 하는 언어)의 정리 증명을 활용한 시스템은 이 차이를 구조적으로 다룬다. AI 모델은 거래를 제안하지만, 실제 실행 여부는 별도의 타입 검증 모듈이 결정한다. 이 모듈은 미국 증권거래위원회(SEC)와 금융산업규제국(FINRA) 규정에 부합하는 행동만 허용한다. 규정 위반 가능성을 실행 중 발생하는 사고가 아니라, 애초에 실행할 수 없는 타입 오류로 만드는 방식이다.

결국 영업용 하네스의 목적이 더 많은 시도를 빠르게 처리하는 것이라면, 금융용 하네스의 목적은 실행이 허용되는 범위를 안전하게 좁히는 것이다.

복제되는 코드, 축적되는 해자

하네스 코드만으로 장기적인 방어력을 만들기는 어렵다. SKILL.md는 Claude Code, OpenAI Codex, Gemini CLI, Cursor에서 함께 사용할 수 있어 쉽게 복제하고 이전할 수 있다. 프롬프트 기법과 사고 과정의 틀, RAG(검색증강생성) 운영 방식, 다중 에이전트의 역할 배분도 사후학습을 통해 모델에 일부 흡수된다. 한 번 만든 형식을 어디서나 쓸 수 있다는 장점은, 경쟁사도 같은 파일을 그대로 활용할 수 있다는 뜻이다.

그래서 하네스는 코드 바깥으로 영역을 넓혀야 한다. 맥락 관리, 샌드박싱, 권한, 메모리, 체크포인트, 비용 통제까지 아울러야 한다. 그 과정에서 쌓이는 핵심 자산은 업계 데이터와 고객의 신뢰다. 제약, 생명과학 소프트웨어 기업 Veeva의 상업 콘텐츠와 Crossix 데이터, 건설 관리 소프트웨어 기업 Procore의 프로젝트, 재무, 문서 데이터, 직원 복지 관리 기업 Businessolver의 복지 데이터가 대표적인 예다. 전문가가 수정한 초안, 권고를 수락하거나 거절한 결과, 기관이 실제 실패 사례를 바탕으로 만든 평가 데이터도 공개 말뭉치에서는 구할 수 없다. 하네스는 이런 독점 데이터를 수집하고, 다음 작업에 다시 투입하는 체계다.

하네스는 실행, 도구, 맥락, 스케줄링, 관측, 검증, 거버넌스라는 일곱 축으로 구성된다. 이 가운데 모델은 하루 만에도 바꿀 수 있다. 실행, 스케줄링, 관측을 담당하는 런타임도 분기 단위로 교체할 수 있다. 반면 도구와 거버넌스가 결합된 워크플로는 시스템 통합과 권한 설계 때문에 교체에 수년이 걸릴 수 있다. 맥락과 검증 데이터 역시 다시 축적하려면 오랜 시간이 필요하다. 결국 하네스의 진정한 역할은 모델을 감싸는 데 있지 않다. 쉽게 복제하거나 교체할 수 없는 데이터가 업무를 거듭할수록 쌓이게 만드는 데 있다.

#에이전트#언어모델