Andrej Karpathy는 최근 인터뷰에서 에이전트의 본질과 실질적인 구축 방향에 대해 언급했다. 이 내용은 X에서 다음과 같이 요약되어 퍼졌다.
“에이전트는 마법이 아니다. 대규모 증류일 뿐이다.”
“당신의 LLM 용량의 99.99%는 필요하지 않았던 쓰레기 데이터에 낭비되고 있습니다.”
“작은 모델 + 올바른 도구 + 폐쇄 루프 = 무서운 능력.”
위 세 문장은 Karpathy가 No Priors 팟캐스트(2026년 3월 20일 회차, Sarah Guo 진행)에서 한 이야기를 정리한 것이다. 전체 영상은 아래에서 볼 수 있다.
Skill Issue: Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI
아래에서 각 문장의 의미와 전체 맥락, 그리고 기업 관점에서의 시사점을 정리한다.
발언의 의미
에이전트는 마법이 아니다. 대규모 증류일 뿐이다.
에이전트가 수행하는 계획 수립, 도구 사용, 장기 작업 같은 행동은 모델이 새로운 지능을 획득한 결과가 아니다. 학습 데이터에 존재하던 행동 패턴과 지식을 모델 파라미터에 압축한 결과라는 의미다.
Karpathy는 에이전트 능력을 과도하게 신비화하는 시각을 경계한다. 모델이 독립적으로 ‘생각’하거나 ‘이해’하게 된 것이 아니라, 기존 데이터 속 패턴을 재현하는 수준이라는 관점이다.
무대 위에서는 마술처럼 보이지만, 커튼 뒤에는 도르래와 조작 장치가 있을 뿐이다.
LLM 용량의 99.99%는 필요하지 않았던 쓰레기 데이터에 낭비되고 있습니다.
대부분의 LLM은 대량의 웹 데이터를 그대로 학습한다. 이 데이터에는 중복되거나 품질이 낮은 내용이 상당 부분 포함되어 있다.
모델 파라미터의 대부분이 이러한 데이터를 처리하는 데 사용되며, 실제로 필요한 지식과 추론 능력을 표현하는 데는 상대적으로 적은 용량만 쓰인다는 지적이다. 이 발언은 데이터 품질 관리와 증류 과정의 중요성을 강조한다.
방대한 저품질 데이터를 걸러내면 남는 것은 극히 일부의 순수한 지식이다.
작은 모델 + 올바른 도구 + 폐쇄 루프
Karpathy가 실질적인 해결책으로 제시하는 조합이다.
- 작은 모델은 추론 속도가 빠르고 비용이 낮아 반복 실행에 유리하다.
- 도구는 코드 실행, 브라우저 제어, API 연동, 메모리 관리 등 모델이 직접 수행하기 어려운 기능을 외부에서 보완한다.
- 폐쇄 루프는 행동 후 결과를 관찰하고, 오류를 검증하며, 수정 계획을 세워 다시 실행하는 구조를 의미한다. 이 루프가 장기 작업의 안정성을 높이는 핵심 요소로 작용한다.
Karpathy는 본인의 AutoResearch 프로젝트에서 작은 모델 환경에서 에이전트가 실험을 설계하고 결과를 검증하며 개선하는 루프를 실제로 운영한 바 있다. 단일 GPU, 단일 파일, 단일 지표라는 제약 아래 5분 단위로 학습·검증·채택/폐기를 반복시켜, 사람이 건드리지 않아도 밤새 수십–백 건의 실험이 자동으로 쌓이는 구조다.
거대한 모델 하나보다, 작은 모델에 도구와 검증 루프를 연결한 구성이 실제 성과를 낸다.
기업 관점에서의 시사점
이 발언은 기업이 에이전트나 내부 AI 시스템을 구축할 때 모델 크기 중심의 접근에서 벗어나야 한다는 점을 지적한다.
대부분의 기업은 최신 대형 모델을 도입하는 데 집중하는 경향이 있다. 그러나 Karpathy의 관점에 따르면, 모델 용량의 상당 부분이 저품질 데이터 처리에 사용되고 있으며, 실제 업무 성과는 도구 구성과 루프 설계에 더 크게 좌우된다.
기업이 실질적으로 고려할 수 있는 방향은 다음과 같다.
- 데이터 품질 관리 우선: 학습 또는 검색에 사용하는 데이터의 중복과 저품질 내용을 줄이는 작업이 모델 교체보다 선행되어야 한다.
- 폐쇄 루프 구조 설계: 단순히 모델을 호출하는 형태가 아니라, 행동 후 결과를 자동으로 검증하고 오류를 수정하는 루프를 업무 프로세스에 내장해야 한다.
- 도구 연동 중심 개발: 모델 자체의 성능 향상보다, 코드 실행, 문서 검색, 시스템 API 연동 등 외부 도구를 안정적으로 연결하는 데 더 많은 노력을 기울여야 한다.
- 작은 모델 활용 검토: 모든 작업에 대형 모델을 사용할 필요가 없다. 반복적이고 검증 가능한 업무에는 작은 모델을 사용해 비용과 속도를 개선할 수 있다.
이러한 접근은 에이전트 도입 초기 단계에서 과도한 기대와 실패를 줄이는 데 도움이 될 수 있다. 모델 성능만으로는 해결되지 않는 부분을 시스템 설계로 보완하는 방향이기 때문이다.
기업이 내부에 에이전트나 자동화 시스템을 구축할 때, “어떤 모델을 쓰는가”보다 “어떤 루프와 도구를 어떻게 구성하는가”가 더 중요한 판단 기준이 될 가능성이 높다.