기업용 AI 시장은 범용 도구 하나를 고르는 단계에서 업무별 전문 제품을 조합하는 단계로 넘어갔다. 구매 결정은 분산됐지만 각 제품이 참고하는 회사의 기준까지 저절로 연결되지는 않는다.
에이전트 100개가 만든 100개의 회사
버티컬 AI 에이전트는 이미 개별 시장에서 성과를 냈다. 고객 서비스 업체 Sierra는 2026년 5월 150억 달러의 기업가치를 인정받았고 법률 AI 업체 Harvey도 3월 110억 달러 가치로 투자받았다. 이제 기업의 고민은 좋은 제품을 찾는 일보다 여러 제품을 함께 운영하는 일에 있다.
실제로 미국과 영국의 기술 책임자 750명을 조사한 결과, 38%가 에이전트를 100개 넘게 배포했다. 부서마다 권한과 기록 방식, 업무 규칙이 다르기 때문에 에이전트가 늘수록 조율은 더 어려워진다.
예를 들어 고객 서비스 에이전트는 어떤 고객을 ‘해지 위험’으로, 법무 에이전트는 ‘자동 갱신 대상’으로, 재무 에이전트는 ‘활성 매출’로 볼 수 있다. 각자 맡은 데이터 안에서는 맞는 판단이지만, 회사 차원에서는 한 고객에게 세 가지 상태가 한꺼번에 생긴다. 왜일까. 벤더가 제공하는 문맥이 대부분 자사 제품 안에 머물기 때문이다.
모델보다 시맨틱 레이어
에이전트의 답이 이렇게 어긋나는 이유는 추론 능력만이 아니다. ‘활성 고객’이나 ‘순매출’을 제품마다 다르게 정의하면 모델을 바꿔도 결과는 같아지지 않는다. 모델은 주어진 전제를 잘 처리할 뿐, 서로 다른 전제를 하나로 합쳐주지는 않는다.
실제로 dbt Labs의 보험 데이터 실험에서 시맨틱 레이어를 연결하자 Claude Sonnet 4.6의 정확도는 90.0%에서 98.2%로, GPT-5.3-Codex는 84.1%에서 100%로 올랐다.
| 모델 | 시맨틱 레이어 연결 전 | 연결 후 |
|---|---|---|
| Claude Sonnet 4.6 | 90.0% | 98.2% |
| GPT-5.3-Codex | 84.1% | 100% |
시맨틱 레이어는 비즈니스 지표와 용어, 데이터 관계를 하나의 정의로 묶어 모델이 같은 기준으로 데이터를 조회하게 하는 층이다. 또 다른 연구에서도 비즈니스 용어를 설명한 문서를 제공하자 세 모델의 정확도가 45.5~50.5%에서 67.7~68.7%로 상승했다. 모델 간 차이보다 고객과 지표, 데이터 관계를 명확히 정의하는 일이 더 중요하지 않은가.
이 정의를 에이전트마다 따로 넣으면 수정할 때마다 여러 버전이 생긴다. 가령 고객 ID는 여러 시스템에 걸쳐 있어도 한 사람으로 묶는 규칙이 필요하다. 도메인 용어와 접근 정책도 마찬가지로 한곳에서 정의해 함께 쓴다.
에이전트 시대의 감사 추적
기준을 한곳에 모은 뒤에도 에이전트가 중요한 결정을 내릴수록 결과뿐 아니라 과정도 남겨야 한다. EU AI Act의 고위험 시스템 의무는 2027년 12월 2일부터 신용 평가, 채용, 생명, 건강보험의 위험평가와 가격 산정 등으로 확대된다.
따라서 최종 답변만 저장해서는 부족하다. 어떤 데이터와 도구, 권한, 중간 판단이 결과에 영향을 줬는지 시간순으로 재구성할 수 있어야 한다. 여러 에이전트가 작업을 주고받는다면 공통 식별자와 기록 형식도 필요하다.
제품 열 개가 남긴 출력 로그 열 개는 하나의 의사결정 기록이 아니다.
하지만 에이전트 전체 목록을 최신 상태로 관리하는 조직은 18%, 중앙 관리 플랫폼을 갖춘 조직은 12%에 불과하다. 성능이 아무리 좋아도 작동 과정을 확인할 수 없다면, 책임자가 결과를 승인하기란 어렵지 않은가.
제품은 빌리고 문맥은 소유하라
그래서 에이전트를 사기 전에 공유 문맥을 먼저 만든다. 고객, 계약, 지표, 정책, 데이터 계보(데이터가 생성, 변경, 이동한 이력)를 하나의 컨텍스트 그래프로 연결하면 여러 에이전트가 같은 전제를 조회할 수 있다. 컨텍스트 그래프는 이런 요소들을 노드로 두고 그 사이의 관계를 연결선으로 표현하며, 에이전트는 이 관계를 따라가며 같은 정의를 찾아 쓴다. 반대로 제품부터 도입하면 에이전트 수만큼 정의를 번역하고 맞춰야 한다.
이 그래프는 특정 에이전트 업체가 아니라 기업의 데이터 플랫폼에서 관리하는 편이 낫다. 저장 장소보다 이식성이 관건이다. 지표 정의와 접근 정책, 데이터 계보를 벤더 중립적인 형식으로 내보내야 제품을 바꿀 때도 기업의 문맥을 지킨다.
MCP는 이 문맥을 여러 제품에 전달하는 접점으로 확산되고 있다. 조사 대상 조직의 41%가 제한적 또는 광범위한 프로덕션 환경(실제 서비스 운영 환경)에서 MCP를 사용했고 주요 AI 업체들도 이를 지원한다. 2026년 7월 사양은 권한과 확장 구조를 보강해 기업 환경에 필요한 조건을 개선했다.
따라서 에이전트를 계약할 때는 MCP나 개방형 API 지원 여부, 데이터 내보내기 형식, 대체 벤더를 함께 확인해야 한다. 평가 기준이 개별 제품의 정확도에만 머물러서야 되겠는가. 고객 서비스, 법무, 재무 에이전트에 같은 고객과 지표를 물었을 때 동일한 상태와 수치를 내놓는지도 평가 대상이다.
버티컬 AI의 강점은 깊은 전문성이다. 그러나 기업의 결정은 여러 부서의 판단을 합쳐 이뤄진다. 에이전트가 늘어날수록 각자의 기억보다 모두가 함께 쓰는 하나의 정의와 기록 체계가 더 중요해진다.
결국 에이전트 운영은 소프트웨어 구매와 조직 지식 관리의 경계를 흐린다. 제품 교체 주기는 짧아져도 기업이 고객과 계약을 해석해 온 기준은 함께 폐기되지 않는다.