기업용 AI 에이전트는 시연 단계에서는 답변 품질만으로도 평가받는다. 하지만 고객 업무에 투입되는 순간 평가 기준에는 권한과 책임, 오류 뒤의 수정 절차가 함께 들어온다.
업무 범위는 청구 한 건까지
2026년 7월 공개된 OpenAI Presence는 범용 비서가 아니라, 과금 문제 해결이나 보험금 청구 지원처럼 한 가지 업무만 맡는다. 필요한 지식과 권한만 주고 혼자 처리할 일과 승인이 필요한 일, 사람에게 넘길 조건을 미리 정한다. 할 수 있는 일보다 해도 되는 일의 경계가 먼저다.
그렇게 범위가 좁으면 검증도 구체적이 된다. ‘모든 은행 업무’의 실패를 예측하기는 어렵지 않은가. 하지만 ‘멕시코의 일상적 은행 업무’라면 일반 요청과 예외 상황을 시험할 수 있다. Presence는 정확성뿐 아니라 정책 준수, 도구 사용, 인계 판단을 따로 평가하며, 작은 오류도 금전과 신뢰를 잃게 하는 은행, 보험 업무에 필요한 방식이다. 이 방식은 대화형 AI가 첫 접점에서 정체를 밝히도록 한 EU AI Act 50조와도 맞닿아 있으며, 위반 시 기업에는 최대 1,500만 유로와 전 세계 매출 3% 중 더 높은 금액이 제재로 부과된다.
열흘 만에 인계율 15포인트 감소
OpenAI는 영어 전화 지원선에 Presence를 투입해 문의의 75%를 사람 없이 해결한다고 밝혔다. 여기에 Codex를 활용한 운영 절차를 적용하자 열흘 만에 상담원 인계율이 15포인트 낮아지며 개선 속도가 드러났다.
실제 대화에서 반복되는 실패를 찾으면 Codex가 수정안을 제안하고 담당자는 기존 버전과 비교한 뒤 배포를 승인한다. 모델을 다시 학습하지 않고도 정책과 응답 방식을 고칠 수 있지만 변경 권한은 사람에게 있다. Sierra도 대화를 분석하는 Explorer와 수정안을 만드는 Ghostwriter를 함께 쓴다.
이 과정에서 회사만의 자산이 생긴다. 같은 모델을 산 경쟁사도 특정 회선의 재문의 원인이나 인계 직전 대화, 시간대별 시스템 지연은 알 수 없다. 다만 OpenAI의 75%는 자체 기준으로 집계됐고 재문의율, 만족도, 오정보율은 공개되지 않았으며, 인력 배치와 전체 라우팅(문의를 상담원, 채널에 배분하는 기능) 같은 컨택센터 기능도 빠져 있어 이 수치 하나로 전체 성과를 판단하기는 어렵지 않은가.
엔지니어까지 포함된 제품
Presence는 고객이 직접 설정해 쓰는 제품이 아니라, OpenAI의 현장 배포 엔지니어와 글로벌 SI(시스템 통합 사업자)가 업무 범위를 정하고 사내 시스템을 연결한다. 가격은 비공개다. 표준 소프트웨어 구매보다 맞춤형 구축 프로젝트에 가깝다.
OpenAI는 이를 위해 2026년 5월 OpenAI Deployment Company를 세우고 파트너 19곳을 모았으며, Tomoro 인수에 합의해 완료 후에는 배포 전문가 약 150명이 합류할 예정이다. 전화와 채팅은 답변이 바로 고객에게 전달돼 실수를 되돌리기 어렵지만, 그만큼 성과와 문제도 빨리 드러난다. 반면 고객사마다 엔지니어가 필요해 API처럼 손쉽게 확장하기는 어렵지 않은가.
Anthropic도 비슷한 길을 간다. 금융 업무용 에이전트 템플릿에 스킬과 커넥터, 서브에이전트를 묶고 Microsoft 365와 Moody’s의 신용등급, 위험 데이터를 조회할 수 있는 기업 6억 곳 이상을 연결했다. 결국 AI 기업의 판매 단위가 모델에서 직무 패키지로 바뀌고 있다.
성패는 운영에 달려 있다
법률 AI 기업 Harvey는 자체 법률 모델 개발을 접었다. 범용 추론 모델이 자사 벤치마크에서 전용 모델을 앞섰기 때문이며 대신 법률 데이터와 업무 절차, 시스템 연동에 집중했다. 2026년 3월 기업가치는 110억 달러, 연간 반복 매출(구독, 계약에서 매년 되풀이해 발생하는 매출 지표)은 3억 달러를 넘어섰다.
이처럼 고부가가치 업무의 경쟁력은 모델 성능만으로 결정되지 않는다. 청구나 1차 상담처럼 고객사가 최종 책임을 지는 일은 직무형 플랫폼에 맞는다. 법률 문서나 인수 심사처럼 결과의 근거까지 감사를 받는 일은 규제와 업계 관행을 아는 전문 기업이 유리하다.
따라서 도입할 때는 벤치마크보다 운영 조건을 먼저 봐야 한다.
- 업무 범위가 문서로 정해졌는지, 승인과 인계가 시스템으로 강제되는지, 정책 준수를 따로 평가하는지 확인해야 한다.
- 대화 데이터와 변경 승인권의 주인도 계약서에 밝혀야 한다.
열흘 만의 인계율 개선도 뛰어난 추론만으로 이룬 결과가 아니다. 한 시점의 똑똑한 모델로 족한가. 기업에 필요한 것은 그 모델이 현장에서 계속 제 몫을 하게 만드는 운영 체계다.
그래서 도입 시점의 성능표는 곧 과거 자료가 된다. 이후의 대화 기록과 수정 이력이 다음 버전의 기준이 되며 같은 모델을 쓰는 조직 사이에도 서로 다른 결과로 이어진다.