The Bitter Lesson, 하네스 봄은 짧다
2025년 하반기부터 2026년 초 사이 AI 업계에서 하네스 엔지니어링이라는 말이 빠르게 퍼졌다. 모델을 실제 업무에 투입할 때 그 위에 얹는 코드 계층을 가리킨다. 컨텍스트를 구성하고 도구를 연결하며 에러를 처리하고 권한을 제어하는 장치들을 설계하는 작업이다. Cursor는 500억 달러의 밸류에이션을 기록했고 LangChain은 하네스 엔지니어링을 정면으로 다루는 담론을 내놓았다. 에이전트는 모델과 하네스의 조합이라는 공식이 업계 전반에 자리 잡았다. ‘AI 엔지니어’라는 개념을 널리 퍼뜨린 개발자 swyx는 Bitter Lesson에 오랫동안 회의적이었으나, 모델 위에 하네스를 얹어 에이전트 제품을 만드는 스타트업들(이른바 Agent Labs)이 실제로 성과를 내자 하네스 엔지니어링의 가치를 인정하는 쪽으로 돌아섰다.
리처드 서튼(Richard Sutton)은 2019년 발표한 에세이에서 70년에 걸친 AI 연구 역사를 검토했다.
인간의 영리함을 코드에 미리 인코딩하는 방법은 계산을 활용하는 일반적인 방법에 거의 예외 없이 패배했다.
사람이 이미지의 특징을 손으로 일일이 규칙화해 뽑아내던 방식(SIFT)은 데이터에서 특징을 스스로 학습하는 컨볼루션 신경망에 밀렸고, 문법 규칙을 사람이 짜 넣은 파서는 신경망이 스스로 익힌 파서에 자리를 내줬다. 체스에서는 인간이 설계한 휴리스틱이 결국 스스로 학습한 시스템에 패했다. 바둑에서도 인간 기보를 학습한 AlphaGo보다 기보 없이 제로에서 시작한 AlphaZero가 더 강했다.
이 패턴은 엔지니어링이 무용해진다는 뜻이 아니라 엔지니어링이 이동한다는 뜻이다. 계산을 스케일하는 기반인 인프라와 훈련 파이프라인, 데이터 수집 쪽 엔지니어링은 남는다. 반대로 모델이 무엇을 필요로 할지 인간이 미리 가정하고 그 가정을 코드로 고정하는 엔지니어링은 다음 세대 모델에 흡수된다. 리처드 서튼이 이 교훈을 ‘쓰라리다’고 표현한 것도 그래서다. 인간의 지식을 밀어 넣으면 단기적으로는 늘 성과가 나고, 그 성과가 주는 만족감이 사람을 그 방식에 붙잡아 둔다. 같은 흡수 패턴이 모델 레이어가 아니라 애플리케이션 레이어인 하네스에서도 재상연되고 있다면 하네스 엔지니어링이라는 직군의 유통기한은 애초에 유행이 기대하게 한 것보다 짧아질 수 있다.
하네스는 모델의 부족함을 채우는 방편
하네스의 각 구성 요소는 모델이 가진 특정 결함을 보정하는 장치로 기능한다. 컨텍스트가 부족하면 압축 로직을 넣고 신뢰성이 떨어지면 retry를 걸며 판단력이 부족하면 권한 게이트를 둔다. 모델이 그 결함을 스스로 메울 수 있게 되면 이 장치들은 점차 필요 없어진다. Anthropic의 Claude Code 팀은 이 원리를 실제로 실행한다. 새 모델이 나올 때마다 기존 코드를 지우고 Claude 4.0 출시 때는 시스템 프롬프트의 절반을 삭제했다. 팀을 이끄는 Boris Cherny는 모든 핵심은 모델 안에 있으며 하네스는 그 위에 얹은 가장 얇은 래퍼(wrapper)일 뿐이라고 말했다. 3개월 안에 버리게 되기를 바라며 만든다는 원칙을 설계에 반영한다고도 밝혔다.
재설계 주기는 다른 팀에서도 반복해서 관찰된다. Manus는 2024년 3월 이후 다섯 차례 전면 재설계를 진행했고 LangChain의 Open Deep Research는 1년 동안 여러 차례 구조를 바꿨다. Browser Use 팀의 경험은 더 구체적이다. 이 팀은 Chrome 크래시 열 가지 경우에 각각 워치독을 만들었으나 모델에 CDP 접근권을 직접 부여한 뒤 에이전트가 스스로 에러를 읽고 복구하는 모습을 확인했다. click()이나 type() 같은 헬퍼 하나하나는 모델이 필요하다고 인간이 미리 정한 추상화였다. 강화학습으로 훈련된 모델은 오히려 그 추상화를 우회해야 하는 제약으로 작용했다.
Boris Cherny는 Sequoia AI Ascent 행사에서 이 흐름을 더 구체적으로 전망했다. 프롬프트 인젝션 방어, 권한 모드, 휴먼인더루프 게이트처럼 모델이 스스로 올바르게 행동하게 되면 점차 중요도가 떨어질 것이라고 말했다. 잘 만들어진 2026년 하네스는 결국 2026년의 유물이 될 것이라고 표현했다. 2023년의 청크 리트리버가 당시 좁았던 컨텍스트 윈도우의 유물이었고 2024년의 orchestrator-worker 구조가 tool call 신뢰성 문제의 유물이었던 것과 같은 맥락이다.
왜 프론티어 모델로의 흡수는 필연적일까
프론티어 랩이 RL 포스트트레이닝에서 도구 선택, 에러 복구, 장기 계획 자체를 훈련 목표로 삼기 시작하면서 하네스가 하던 역할은 다음 모델의 훈련 재료로 쓰인다. 최소한의 스캐폴딩만으로 모델이 원래 가려는 방향을 따르게 하는 접근을 Boris Cherny는 온 디스트리뷰션(On Distribution)이라고 불렀다. 모델이 학습한 데이터 분포 안에 머무를수록 제 실력을 낸다는 뜻이다. 제품 관점에서는 모델의 잠재 수요를 살리는 방식이다. 두꺼운 하네스는 모델을 훈련 분포 밖으로 밀어내고 그만큼 성능을 낮춘다. 모델은 인간이 만든 래퍼보다 CDP, bash, HTTP 같은 원시 인터페이스를 학습 데이터에서 훨씬 더 많이 접했다. 래퍼는 모델을 돕는 장치가 아니라 익숙한 분포에서 벗어나도록 강제하는 제약에 가깝다.
하네스 혁신은 대부분 공개적으로 관찰 가능하다. 프론티어 랩은 이를 다음 모델의 훈련 환경으로 그대로 흡수한다. 하네스를 만드는 쪽은 결과적으로 랩의 무료 연구개발 부서 역할을 수행하는 셈이다. 하네스가 잘 작동할수록 그 패턴은 더 빨리 모델 안으로 흡수된다. Agents’ Last Exam(에이전트의 실무 수행 능력을 겨루는 고난도 벤치마크) 평가에서, 하네스를 고정하고 모델만 교체했을 때 성능 격차는 18포인트였다(벤치마크 점수 차이로, 값이 클수록 그 요소가 결과를 더 크게 좌우한다는 뜻이다). 모델을 고정하고 하네스만 교체했을 때 격차는 약 6포인트에 그쳤다. 모델의 기여도가 하네스의 세 배 수준이었다. AI 모델의 실제 작업 수행 능력을 독립적으로 측정하는 METR 평가에서도 Claude Code와 Codex CLI는 기본 스캐폴드를 일관되게 능가하지 못했고 Scale AI 데이터에서는 일부 모델의 경우 하네스 간 차이가 오차범위 안에 들어왔다.
오픈AI의 추론 모델 연구자 놈 브라운(Noam Brown)은 독립적으로 같은 관찰에 도달했다. 추론 모델의 성능 향상이 스캐폴딩을 대체한다는 점이다. 추론 모델이 등장한 이후 복잡한 에이전틱 체인 상당수가 실제로 필요 없어졌다.
감가상각되는 매몰비용
아랍에미리트의 AI 특화 대학 MBZUAI 연구팀은 Claude Code 버전 2.1.88을 구성하는 파일 1,884개를 모두 분석했다. TerminalBench 2.0 벤치마크에서는 하네스만 교체했을 뿐인데 순위가 30위권 밖에서 상위 5위 안으로 올라선 사례도 있었다. 서로 다른 출발점에서 시작한 경쟁 팀 네 곳이 거의 동일한 하네스 골격에 독립적으로 수렴했다는 점도 확인됐다. 모두가 같은 구조에 도달했다는 것은 차별화가 아니라 범용화가 진행 중이라는 신호에 가깝다. 최소한의 하네스라고 해도 시작 컨텍스트를 어떻게 구성할지, 히스토리를 어떻게 압축할지, 도구 포맷을 어떻게 정의할지, 인간 검토를 어느 지점에 둘지 같은 설계 결정은 여전히 코드에 남는다.
회계 관점에서, 모델에 흡수되는 하네스는 감가상각 자산에 가깝다. 흔히 상각 주기는 3개월에서 6개월 정도로 보며, 다음 프론티어 모델이 나오면 잔존가치는 0에 가까워진다고들 한다. 특정 액션 스페이스에 파인튜닝이나 강화학습 정책을 몇 주씩 투자하면 그만큼 현재 구조에 갇히게 된다. 한 AI 인프라 컨설턴트는 아직 자체 모델을 훈련하지 말라고 조언한다. 조직 차원에서는 매몰 비용이 클수록 하네스를 버리기 어려워진다. 버리지 못하는 조직은 다음 모델이 가져오는 이득을 놓치기 쉽다.
리처드 서튼이 말한 심리적 락인은 기업에서도 같은 방식으로 작동한다. 모델을 업그레이드할 때마다 코드를 지우는 대신 예외 처리를 계속 쌓는 조직은 하네스가 Bitter Lesson에서 멀어지고 있다는 징후를 보여준다. 샌드박스, 권한 제어, 감사 가능성처럼 기업과 산업 버티컬에 특화된 신뢰 경계는 모델의 능력 문제가 아니라 책임의 문제다. 이 층은 모델이 가장 늦게 흡수할 가능성이 높다.
The More Bitter Lesson. 그리고 우리는 어디에 집중해야 할까
리처드 서튼은 LLM조차 Bitter Lesson의 적용 대상이 될 수 있다고 본다. 인간 지식을 미리 넣으면 단기 성과가 나고 만족감이 들지만 경험으로 학습하는 시스템이 그 성과를 넘어설 때 그 역시 같은 패턴의 사례가 된다. 하네스는 모델에 흡수되고 모델은 다시 경험 학습에 흡수될 수 있다. 이 패턴은 층을 달리하며 반복된다.
리처드 서튼은 자신의 이론이 특정 시기의 경험적 관찰에 기반한다고 말한다. 지난 70년의 패턴이 다음 70년에도 그대로 적용되리라는 보장은 없다는 점을 인정한다.
팀마다 결과가 갈리는 지점은 스캐폴딩(scaffolding)을 어떻게 다루느냐에 있다. 모델이 곧 벗어날 구조를 단단히 고정하는 대신 쉽게 제거할 수 있도록 설계하는 쪽이 다음 모델로의 전환에서 유리하다. Boris Cherny는 오늘의 모델이 아니라 6개월 후의 모델을 기준으로 만든다는 원칙을 강조한다. 하네스 코드 자체가 아니라 평가 체계, 도메인 피드백 루프, 독점 데이터, 신뢰 경계 같은 자산에 투자하는 것이 더 지속 가능하다. 특정 구조물을 유지하는 능력보다 구조를 빨리 버리는 능력이 더 오래가는 역량이다.
Bitter Lesson이 반복해서 보여주는 것은 기술 자체가 아니라, 기술을 다루는 태도다. 모델이 이전 세대의 한계를 빠르게 흡수하는 환경에서, 지금 작동하는 구조에 과도하게 집착할수록 다음 단계로의 이동은 더뎌진다. 조직과 엔지니어가 진짜 지켜야 할 역량은 특정 계층이나 도구가 아니라, 그 계층이 더 이상 필요 없어졌을 때 그것을 얼마나 빠르고 결단력 있게 해체할 수 있는지다.
결국 매몰 비용으로 사라지지 않고 오래 남는 것은 프론티어 랩이 누구에게나 똑같이 쥐여 주는 공통 도구가 아니다. 특정 기업과 도메인에만 쌓이는 워크플로우, 그들만이 가진 독점 데이터와 신뢰 경계, 프론티어 랩조차 끝내 흡수하지 못하는 고유한 행동 패턴 — 오래 남는 자산은 거기에 있다.