현장의 에이전트는 왜 10단계에서 멈출까?
AI 에이전트는 사람이 맡긴 일을 여러 단계로 나누고 필요한 도구를 사용해 처리하는 프로그램이다. 버클리, 스탠퍼드, IBM 등의 연구진 25명은 실제 회사가 이런 시스템을 어떻게 만드는지 조사했다. 2025년 12월 공개돼 ICML 2026 구두 발표로 채택된 이 연구는 26개 분야에서 배포된 시스템 86개를 설문하고 20개 사례를 심층 면담했다. 실험실 성능이 아니라 실제 운영 방식을 넓게 비교한 첫 체계적 조사다.
결과는 어땠을까? 조사 대상의 68%는 사람이 개입하기 전까지 최대 10단계만 실행했다. 70%는 모델을 별도로 학습하지 않고 기성 모델에 프롬프트를 입력했으며 74%는 주로 사람이 성능을 평가했다. 목표만 주면 끝까지 처리하는 자율 시스템과 달리 실제 배포에서는 짧고 관리하기 쉬운 구성이 우세했다. 개발자들이 가장 큰 난제로 꼽은 항목도 모델의 지능이나 속도가 아니었다. 신뢰성이었다.
한 단계의 작은 실수가 전체를 무너뜨린다
신뢰성은 한 차례 높은 점수를 받는 능력과 다르다. 같은 조건에서 오랫동안 일관되게 맞는 결과를 내야 하며, 한 번의 실수가 환불이나 배송 오류로 이어지는 업무라면 평균 성능만으로 부족하다. 한 단계의 성공률이 높더라도 여러 단계가 이어지면 전체 성공률은 낮아진다. 각 단계에서 생긴 작은 오류가 다음 판단의 입력으로 넘어갈 수도 있다.
그렇다면 단계가 늘어날수록 성공률은 어떻게 될까? 철학자 토비 오드는 2025년 5월 발표한 분석에서 사람이 과제를 수행하는 시간마다 일정한 비율로 실패하는 모형이 에이전트의 성능을 잘 설명한다고 밝혔다. 여러 하위 과제 가운데 하나만 실패해도 전체 과제가 실패한다면 성공률은 과제 길이에 따라 지수적으로 감소한다. 길이가 늘수록 성공이 가파르게 줄어든다는 말이다. 다만 이 결과는 특정 연구, 공학 과제에서 확인됐으며 다른 업무에도 같은 모형이 적용되는지는 검증이 필요하다. 10단계 상한은 임의의 숫자라기보다 오류가 누적될 범위를 제한하는 운영 장치에 가깝다.
그런데 공개 지표의 기준은 다르다. 평가기관 METR의 시간지평은 에이전트가 처리할 수 있는 과제 길이가 약 7개월마다 두 배로 늘었다고 추정하지만 기준 성공률은 50%다. 절반의 실패를 허용하는 지표는 능력의 변화 속도를 보는 데 유용해도 높은 정확도가 필요한 업무의 운영 기준은 되기 어렵다. 회사마다 과제와 허용 오류가 달라 공개 벤치마크만으로 배포 여부를 정하기도 힘들다. 사람 평가가 널리 쓰이는 배경이다.
게다가 기반 모델이 바뀌면 같은 프롬프트의 결과도 달라질 수 있다. 그러나 모델 교체 뒤 동작 변화를 찾는 회귀 테스트, 이전 버전으로 복구하는 절차, 실행 과정을 추적하는 관측 체계에는 아직 공통 규격이 없다. 실제 배포 연구도 이런 운영 도구를 미해결 과제로 남겼다. 개발팀은 더 좋은 모델만 기다리기보다 권한을 제한하고 사람이 개입할 단계와 복구 절차를 설계한다.
할 수 있는 만큼이 아니라 되돌릴 만큼 맡겨라
그래서 자율 실행의 범위는 모델이 처리할 수 있는 최대 단계보다 실패를 발견하고 수습할 수 있는 범위에 맞춰야 한다. 환불 집행, 외부 발송, 데이터 삭제처럼 되돌리기 어려운 행동 앞에는 사람의 승인을 둔다. 모델 교체로 동작이 달라졌을 때도 이 경계가 있으면 실행 전에 이상을 확인할 여지가 생긴다. 승인 없는 자동화는 취소와 복구가 가능한 작업에 먼저 적용할 수 있다.
사람이 결과를 검토하는 비용도 경계를 정한다. 20단계를 모두 실행한 뒤 오류가 시작된 곳을 찾는 비용이 10단계마다 확인하는 비용보다 크다면 긴 자율 실행은 효율을 낮춘다. 단계 상한은 고정된 모범 답안이 아니라 단계별 실패 확률, 검토 시간, 오류의 피해를 함께 반영해 정한다. 단계별 오차가 줄고 추적과 복구가 쉬워지면 같은 업무에서도 상한을 늘릴 수 있다.
다만 더 긴 자율 실행을 도입하려면 프롬프트나 모델 교체와 함께 개입 지점, 실행 기록, 회귀 테스트, 복구 절차를 마련해야 한다. 현재 많은 시스템이 10단계 안에서 사람에게 넘기는 이유는 11단계를 수행할 능력이 없어서가 아니다. 잘못된 실행을 제때 알아내고 이전 상태로 돌릴 수 있는 범위가 아직 좁기 때문이다.