업무용 AI 에이전트는 만드는 단계보다 운영하는 단계에서 더 복잡해진다. 팀마다 필요한 맥락과 권한이 다른 만큼 하나의 모델이나 인터페이스만으로는 해결되지 않는 문제가 생긴다.
에이전트 4,000개..그러나 관리 부재
Stripe가 노코드 빌더를 공개하자 사내 에이전트는 4,000개를 넘어섰다. 비슷한 프롬프트가 복제됐고 품질은 들쭉날쭉했으며 무엇을 남겨야 할지 판단할 자료도 부족했다. 누구나 자동화를 만들 수 있게 되면서 관리가 새 문제로 떠올랐다.
Stripe만의 일일까. IT 리더 약 1,900명을 조사한 결과 96%가 AI 에이전트를 사용했지만 중앙 플랫폼을 갖춘 곳은 12%에 그쳤다. 그렇다고 전사 챗봇 하나로 통합되지도 않는다. 영업과 재무, 운영은 쓰는 데이터도 업무의 완료 기준도 다르다.
그래서 Stripe는 전문성은 각 팀에 남기고 관리 기준만 통일했다. 에이전트는 직원이 이미 쓰는 도구 안에 넣고 보안과 품질 규칙은 플랫폼에서 강제했다. 직원 약 8,000명이 에이전트 4,000개를 만든 상황에서는 이런 공통 기반이 필요했다.
지식업무에는 왜 컴파일러가 없을까
코딩 에이전트의 성과는 모델만의 힘일까. 폴더는 참고할 자료를 좁히고 컴파일러와 테스트는 결과를 바로 검증한다. 마지막에는 사람이 PR(코드 변경을 검토, 병합해 달라는 요청)을 보고 작업이 끝났는지 판단하며, 에이전트가 일하기 좋은 환경은 이미 갖춰져 있다.
반면 지식업무는 고객의 이탈 위험을 분석하는 일처럼 정답도, 끝나는 시점도 모호하다. Stripe는 이 업무에 코딩 환경의 구조를 옮겨, Kai는 산출물을 가상 파일시스템(파일처럼 다루는 임시 저장 공간)에 보관하고 분석 코드는 별도 샌드박스(코드를 격리해 실행하는 환경)에서 실행한다. 장기 작업의 계획과 컨텍스트 관리에는 LangChain의 deepagents를 활용했다.
이 구조 위에서 Kai는 사내 전용 웹 애플리케이션과 Slack 통합으로 제공되며, 대부분의 직원은 사내 웹 애플리케이션에서 Kai를 쓴다. AgentStudio에서는 각 팀이 에이전트와 스킬을 만들고 품질을 확인한다. 공통 규칙은 플랫폼이 맡되 무엇을 ‘완료’로 볼지는 해당 업무를 가장 잘 아는 팀이 정한다.
모든 것을 기억하지 않는 설계
Kai의 한 세션은 932턴까지 이어졌다. 이 정도로 작업이 길어지면 모든 대화를 매번 프롬프트에 넣을 수 있을까. 비용과 지연이 늘 뿐 아니라, 입력이 길수록 모델의 성능도 떨어질 수 있다.
Kai는 지금 판단에 필요한 정보만 모델에 넣는다. 나머지 기록과 산출물은 Amazon S3(아마존의 클라우드 객체 저장소)와 가상 파일시스템에 보관한다. 기억을 대화에 계속 채우는 대신 파일로 관리하는 방식이다.
같은 이유로 스킬과 도구가 1,000개를 넘으면 설명만으로 프롬프트가 가득 찬다. 그래서 Kai는 필요한 도구만 불러온다. 먼저 업무에 맞는 스킬을 고른 뒤, 그 스킬에 연결된 도구만 보여주는 식이다. Anthropic도 비슷한 방식으로 토큰 사용량을 15만 개에서 2,000개로 줄였다.
권한 역시 스킬 단위로 나뉜다. 사용자가 두 고객의 자료를 각각 보더라도 두 회사의 정보를 한 분석에 섞어서는 안 된다. Kai는 이런 업무 규칙을 플랫폼에서 강제하고 위험한 코드 실행만 세션별 샌드박스에 가두며, 저장 공간은 여러 사용자가 공유하고 실행만 격리해 비용과 보안을 함께 맞췄다.
사용량보다 중요한 것
Kai는 출시 2주 만에 주간 활성 비율 83%를 기록했다. 하지만 자주 쓴다는 사실만으로 생산성이 높아졌다고 단정할 수 있을까. METR의 실험에서는 숙련 개발자들이 AI로 20% 빨라졌다고 느꼈지만 실제 작업 시간은 19% 늘었다.
Stripe는 같은 영업 담당자가 Kai를 쓴 주와 쓰지 않은 주를 비교했다. 사용한 주에는 영업 활동이 2배였고 기회 생성은 17%, 매출 기회는 26%, 성사는 39% 늘었다. 개인차를 줄인 비교지만 인과관계가 입증된 것은 아니며, 원래 바쁜 주에 Kai도 더 많이 썼을 수 있다.
| 지표 | 변화 |
|---|---|
| 영업 활동 | 2배 |
| 기회 생성 | 17% |
| 매출 기회 | 26% |
| 성사 | 39% |
한편 GTM(영업, 마케팅, 고객 성공) 조직의 신입 직원은 Kai를 2.7배 더 많이 썼다. 고객지원 상담원 5,172명을 분석한 연구에서도 AI 도입 후 평균 생산성이 15% 올랐고 저숙련, 저경력 직원의 개선 폭이 더 컸다. AI는 숙련자의 업무 방식을 조직에 퍼뜨리는 통로가 될 수 있다.
그래서 성과를 보려면 사용자 수만 세어서는 안 된다. 얼마나 많은 팀이 스킬을 만들고 공유했는지, 절약한 시간이 어떤 활동으로 옮겨갔는지도 봐야 한다. Stripe는 연간 2만5,000시간이 행정 업무에서 매출 활동으로 이동했다고 밝혔다.
결국 Kai에서 거대한 챗봇 대신, 폴더의 역할은 스킬 선택이, 컴파일러의 역할은 샌드박스가, PR의 역할은 현업 팀의 검토가 맡는다. 에이전트 플랫폼의 출발점은 모델이 아니라 업무 단위다. 업무를 먼저 정의해야 데이터와 도구, 권한, 격리 범위, 성과 지표도 함께 정한다.
에이전트가 조직의 숙련을 확산하는 과정에서는 결과물만큼 수정과 검토의 흔적도 자산이 된다. 시간이 지나면 에이전트의 수보다 여러 팀이 다시 사용할 수 있는 업무 방식의 수가 조직의 역량을 더 잘 드러낼 가능성이 크다.