좋은 에이전트는 좋은 기준에서 나온다
Meta의 AI 책임자 알렉산더 왕은 회사를 하나의 거대한 피드백 루프로 본다. 고객과 시장의 신호를 읽고 판단하고 행동한 뒤 결과를 다음 결정에 반영하는 구조다. 각 부서와 팀은 그 안에서 더 작은 루프를 돌린다.
왕은 Meta에서 이런 사례를 확인했다고 말했다. 적절한 평가지표를 받은 에이전트 무리가 수백 명 규모의 엔지니어 조직보다 많은 일을 처리했다. 에이전트의 수나 모델의 추론 능력만으로는 부족하다. 무엇을 좋은 결과로 볼지 먼저 정해야 한다. 목표가 흐리면 에이전트 100대가 쉬지 않고 일해도 엉뚱한 방향으로 더 빨리 갈 뿐이다.
그가 소개한 구성도 의외로 단순하다. 작업법을 담은 스킬, 목표와 상태를 적은 마크다운 파일, 반복 실행을 위한 크론 잡, 목표를 고정하는
/goal명령이면 된다. 그는 평범한 요소뿐이라 우스울 정도라고 설명했다. 희소한 도구보다 정확한 채점 기준이 더 중요하다.
이는 새로운 생각이 아니다. 경영 사이버네틱스의 생존가능 시스템 모형(VSM)은 오래전부터 조직을 여러 피드백 루프가 겹친 구조로 설명했다. 특히 최상위 기능인 S5는 조직이 무엇을 하고 무엇을 하지 않을지 정하고, 현재의 운영과 미래의 변화 사이를 조율한다. 에이전트 시대에도 이 역할은 사라지지 않는다.
그런데 많은 기업은 모델과 도구부터 들인 뒤 성공 지표를 찾는다. 그러면 회의록, 코드, 보고서는 빠르게 늘지만 고객 가치나 이익이 함께 좋아진다는 보장은 없다. 온도조절기 없이 난로의 화력만 키운다.
회사 안에는 하나의 목표만 존재하지 않는다. 영업, 제품, 개발, 재무는 서로 다른 성과를 원한다. 에이전트가 따라야 할 지표는 이 목표들을 조정하는 과정에서 나온다. 기술보다 조직의 합의가 먼저다.
합의되지 않은 목표
영업은 수주액, 제품팀은 활성 사용자, 개발팀은 배포 속도와 안정성, 재무팀은 비용을 본다. 각 지표는 나름 합리적이지만 회사 전체의 성과와 늘 일치하지는 않는다. 에이전트는 이런 국소 목표를 사람보다 빠르고 끈질기게 추구한다.
고객 가치나 신뢰처럼 정작 중요한 결과에는 담당자가 없는 경우도 많다. 누가 어떤 자료로 얼마나 자주 평가할지 정하지 않으면 빈자리는 측정하기 쉬운 숫자가 차지한다. 티켓 처리 건수, 코드 줄 수, 회의 횟수, AI 사용량 같은 지표다. 활동량은 정확히 셀 수 있지만 고객의 문제가 해결됐는지는 알려주지 않는다.
지표를 정하는 일은 무엇을 얻고 무엇을 포기할지 정하는 경영의 영역이다. 여러 부서의 이해가 얽히기 때문에 갈등도 피하기 어렵다. 이를 미루려고 지표를 여러 개 나열하면 에이전트는 무엇을 우선해야 할지 알 수 없고 그런 지표 묶음으로는 합의도 실행 기준도 세울 수 없다.
잘못된 보상이 어떤 결과를 만드는지는 오래전에 확인됐다. OpenAI는 2016년 보트 경주 게임 ‘코스트러너스’에서 완주가 아닌 점수를 보상했다. 그러자 에이전트는 결승선 대신 보너스 표적이 계속 생기는 구역만 맴돌았다. 불이 붙고 다른 배와 충돌하면서도 인간보다 평균 20% 높은 점수를 냈다. 그 점수는 경주의 목적과는 무관했다.
사람은 상식에 맞지 않는 지표를 적당히 무시하기도 한다. 에이전트는 주어진 숫자를 문자 그대로 좇으며 밤새 반복한다. 지표의 오류를 고치는 속도보다 실행 속도가 더 빨라진다.
따라서 제품, 사업, 운영 조직이 함께 원하는 결과와 허용할 비용을 정하고 책임자를 지정해야 한다. 그렇지 않으면 사용량과 처리량만 늘고 손익은 그대로일 수 있다. McKinsey의 2025년 조사에서도 AI를 정기적으로 쓰는 조직은 88%였지만 기업 차원의 EBIT 효과를 보고한 곳은 39%에 그쳤다.
고객 만족을 말하면서 응답 건수만 보상하면 처리량이 앞선다. 품질을 강조하면서 출시 횟수만 평가하면 잦은 배포가 선택된다.
문서에 적힌 목표와 실제로 보상하는 목표 사이의 틈에서 에이전트는 조직의 진짜 우선순위를 드러낸다.
속도 너머의 루프
에이전트의 가치는 같은 일을 더 빨리 처리하는 데만 있지 않다. 감지하고 판단하고 행동하고 측정한 뒤 다시 반영하는 주기를 사람의 회의 일정이 아니라 기계의 속도로 돌릴 수 있다는 점이 더 중요하다. 평가 신호가 정확하다면 매 반복이 다음 작업의 품질을 높이는 학습 자료가 된다.
사람이 이 루프를 돌리려면 매번 맥락을 공유하고 일정을 맞춰야 한다. 에이전트는 스킬로 행동 범위를 정하고 마크다운에 상태를 남기고 크론 잡으로 같은 작업을 반복한다. 알렉산더 왕은 연속 피드백을 언급했다. 결과 하나를 얻으려면 기존보다 1,000배에서 100만 배 많은 토큰이 든다고 했다. 반복 비용은 크게 낮아졌지만 반복할 방향까지 자동으로 정해지는 것은 아니다.
에이전트는 병렬 실험과 재시도를 싸게 늘려준다. 그러나 목표가 빈약하면 선택지가 늘수록 오류와 소음도 커진다. 그러므로 생산성은 단순 산출량으로만 볼 수 없다. 얼마나 빨리 만들었는지보다 올바른 결과에 얼마나 자주 도달했는지, 그 과정을 얼마나 안정적으로 반복할 수 있는지를 봐야 한다.
AI 고성과 조직도 같은 차이를 보인다. McKinsey 조사에서 이들은 개별 업무 흐름을 근본적으로 재설계한 비율이 다른 조직보다 약 세 배 높았다. 기존 절차 곳곳에 챗봇만 붙여서는 의사결정 주기와 책임 구조가 달라지지 않는다. 입력부터 평가와 재작업까지 전체 루프를 다시 설계해야 기업 성과로 이어진다.
도구는 평범할수록 오히려 장점이 있다. 사람이 문서와 설정을 쉽게 살펴보고 고칠 수 있으며 다른 시스템으로 옮기기도 쉽다. 목표와 제약, 실패 조건도 더 잘 보인다. 다만 단순한 도구만으로 충분하다는 뜻은 아니다. 필요한 데이터 접근권, 제한된 실행 권한, 중단 조건, 사람의 검증 절차가 함께 있어야 한다. 고성과 조직은 사람이 모델 출력을 언제, 어떻게 검증할지 정한 절차도 더 자주 갖추고 있었다.
반면 화려한 에이전트 구성과 도구 목록을 공개하는 일은 고객 가치와 무관한 관심만 끌 수 있다. 보여주기 좋은 자동화보다 고객의 반응, 비용, 오류가 실제로 기록되는 업무에 평가 신호가 있다.
돈이 오가는 곳에 채점표를 세워라
명확한 지표가 있으면 사람과 에이전트가 같은 기준으로 실패를 비교할 수 있다. 실패 기록은 다음 스킬과 프롬프트, 업무 흐름을 고치는 자료가 된다. 인건비와 토큰 비용도 같은 목표 아래 모이고 검증된 방식은 인접 업무로 옮길 수 있다. 반복할수록 시행착오의 가치가 커진다.
반대로 지표가 흐리면 부서별 KPI와 새로 유행한 대리 지표가 서로 경쟁한다. 에이전트마다 다른 점수를 좇아 성공을 재현하기 어렵다. 성과가 정체되면 모델을 바꾸고 새 파일럿을 시작한다. 예산은 학습 자산이 아니라 데모와 재시작에 쓰인다.
AI가 똑똑해질수록 허술한 지표는 더 위험해진다. Google DeepMind는 작은 보상 설계 오류도 성능 좋은 알고리즘에는 의도와 다른 해법을 찾을 기회가 된다고 설명한다. 일부 자율 에이전트가 평가 함수를 건드리거나 속도 측정값을 조작한 사례도 평가 과정에서 보고됐다. 좋은 능력은 좋은 지표뿐 아니라 나쁜 지표의 효과도 키운다.
도입은 이미 돈과 비용이 오가는 업무 하나에서 시작하는 편이 낫다. 유입에서 활성화, 고객 문의에서 해결, 개발 이슈에서 코드 병합, 영업 리드에서 유료 전환으로 이어지는 루프가 좋은 후보다.
먼저 성공했을 때 실제로 무엇이 좋아지는지 한 문장으로 쓴다. 이를 숫자나 라벨, 사람의 판정 표본으로 바꾸고 목표, 제약, 실패 조건을 마크다운에 기록한다. 에이전트의 행동은 스킬과 권한으로 제한한다. 실행 주기는 평가 주기보다 짧게 두되 결과는 매번 같은 기준으로 남긴다.
지표는 활동량보다 최종 결과에 가까워야 한다. 동시에 표본 감사, 오프라인 평가, 사람의 판정처럼 별도의 검증 경로도 필요하다. 책임자는 한 명이나 한 팀으로 분명히 정하고 평가 결과는 다음 의사결정 전에 나와야 한다. 분기 실적처럼 늦게 확인되는 숫자만으로는 빠른 에이전트 루프를 제어하기 어렵다.
지표가 좋아지는데 고객 행동이나 비용이 달라지지 않는다면 에이전트보다 지표를 먼저 의심해야 한다. 현실을 제대로 대변하지 못하는 지표는 버리고 다른 신호로 바꾼다. 목적함수 역시 운영 과정에서 계속 검증해야 할 대상이다.
처음부터 전사 지표를 바꾸려 하면 다시 여러 부서의 요구를 섞은 모호한 지표가 되기 쉽다. 루프 하나를 먼저 닫으면 목표와 에이전트의 행동, 사업 성과가 어떻게 연결되는지 실제 데이터로 확인할 수 있다. 이 사례가 모여야 다음 업무의 책임과 지표도 더 쉽게 합의할 수 있다.
에이전트 시대의 경쟁력은 여러 목표를 조정해 기계가 읽을 수 있는 채점 기준으로 바꾸고 그 기준에 따라 계속 학습하는 능력에서 나온다. 시작점은 돈이 오가는 루프 하나와 그 루프를 평가할 채점표다.