산업별 AI 기업의 경쟁력은 모델 성능만으로 설명하기 어려워졌다. 기반 기술이 빠르게 보급될수록 고객이 계속 비용을 지불할 이유는 다른 곳에서 생긴다.
지금의 격차보다 좁혀지는 속도
실리콘밸리 스타트업 투자자 Gokul Rajaram의 버티컬 AI 챌린지는 자사 제품과 범용 에이전트에 같은 일을 시켜 비교하는 실험이다. 법률 AI라면 같은 계약서를 검토하게 한 뒤 결과를 채점한다. 현재 점수뿐 아니라 격차가 줄어드는 속도도 함께 봐야 한다.
자사 제품이 70점, 범용 에이전트가 30점이어도 안심할 수 있을까? 범용 제품이 60일마다 20점씩 오르면 우위는 곧 사라질 수 있다. 실제로 AI 위험 평가 연구기관 METR 분석에서 AI가 절반의 확률로 완수하는 과제의 길이는 2024년 이후 89일마다 두 배로 늘었다. 다만 평가가 소프트웨어, 머신러닝, 사이버 보안에 치우쳐 있어 모든 직무에 같은 속도를 적용하기는 어렵다.
법률 쪽으로 시선을 옮기면, 2025년 2월 Harvey는 7개 과제 중 5개에서 변호사와 같거나 나은 성적을 냈다. 법률 분야에서도 격차는 이미 빠르게 줄어드는 중이었다. 그러나 8개월 뒤에는 법률 특화 제품 세 종과 ChatGPT의 정확도 차이가 4점 이내로 좁혀졌으며, ChatGPT가 뚜렷하게 뒤진 부분은 정확도가 아니라 인용 출처를 검증하는 기능이었다.
다른 직종으로 눈을 돌리면 OpenAI의 GDPval에서도 2025년 Claude Opus 4.1은 44개 직종의 결과물 중 47.6%에서 전문가와 동급 이상이라는 평가를 받았다. 하지만 이는 한 번 만든 결과물의 품질이다. 기업이 업무를 맡기려면 반복해도 같은 품질이 나와야 한다.
한 번의 성공보다 반복되는 성공
METR에 따르면 공개 프런티어 모델이 50% 확률로 성공하는 과제의 길이는 약 12시간이다. 가장 강한 내부 공유 모델은 이 지평이 16~20시간까지 늘어난다. 성공 확률을 80%로 높이면 공개 모델은 약 1.5시간, 내부 공유 모델은 3~4시간으로 줄어든다. 여러 모델에서 80% 성공 지평은 50% 성공 지평의 약 5분의 1에 그쳤다.
| 성공 확률 | 공개 프런티어 모델 | 내부 공유 모델 |
|---|---|---|
| 50% | 약 12시간 | 16~20시간 |
| 80% | 약 1.5시간 | 3~4시간 |
기업에는 이 차이가 결정적이다. 계약서 100건 중 50건만 제대로 처리하고 실패할 문서를 미리 가려내지 못한다면, 사람은 결국 모든 결과를 다시 확인해야 한다. 기업이 돈을 내는 대상은 최고 성능이 아니다. 오류를 예측하고 통제하는 능력이다.
Sierra의 τ²-bench는 이를 pass^k로 측정한다. 여러 번 중 한 번만 성공해도 점수를 주는 대신, 반복 실행이 모두 성공해야 인정한다. 고객 응대에서는 답뿐 아니라 정책과 도구 사용 절차도 매번 맞아야 하기 때문이다.
법률 업무에서는 실패 비용이 더 크다. AI가 만든 가짜 판례를 제출해 제재받은 사례가 세계 곳곳에서 나왔고, 미국 법원은 인용 검증을 변호사의 의무로 본다. 그래서 Harvey와 OpenEvidence는 원문 연결과 검토 이력을 제공한다. 버티컬 AI를 평가할 때도 단일 점수와 함께, 같은 과제를 다섯 번 모두 통과한 pass^5를 봐야 한다.
얇은 해자와 두꺼운 해자
복제되는 우위
도메인 지식만으로 만든 우위는 복제하기 쉬워지고 있다. Anthropic의 Agent Skills처럼 지시문, 스크립트, 예시를 묶어 업무 절차를 범용 에이전트에 옮길 수 있기 때문이다. 사내 표준 절차가 몇 개 파일로 재현된다면 오랜 작성 기간은 해자가 될 수 있을까.
도구 연결도 마찬가지다. OpenAI의 Workspace Agents처럼 모델 공급사가 업무 시스템 연결과 권한 관리, 워크플로 제작까지 제공하면 단순 연동의 가치는 낮아진다.
복제되지 않는 우위
반면 현장에서 장기간에 걸쳐 구축한 배포 관계는 쉽게 복제되지 않는다. OpenEvidence는 병원 전자의무기록 시스템에 들어가기 위해 보안 심사와 감사, 계약, 조직별 도입 절차를 거쳤다. 이런 대형 의료기관 전사 배포는 모델 하나를 바꾼다고 따라 할 수 없다.
Harvey 역시 자체 법률 모델 대신 여러 모델과 도구를 연결하는 방향으로 전환했다. 그 위에서 고객이 만든 맞춤형 에이전트는 2만5천 개를 넘었다. 고객이 설정과 검증에 들인 시간, 조직별 승인 규칙이 이전 비용을 만든다.
결과에 책임지는 계약도 강한 방어선이다. Sierra는 좌석이나 토큰이 아니라 해결된 고객 문의를 기준으로 요금을 받으며, 실패가 공급사의 매출과 비용에도 영향을 미치는 구조를 만든다. 버티컬 AI가 IT 예산이 아닌 인건비 예산과 경쟁한다는 말도 같은 뜻이다.
이 네 가지, 비공개 고객 데이터와 배포 권한, 검증 체계, 계약 관계가 쉽게 사라지지 않는 해자를 만든다.
제품이 아니라 결과를 팔아라
지식과 프롬프트, 표준 워크플로는 범용 에이전트에 계속 흡수될 것이다. 하지만 규제된 시스템에 제품을 배포하고 결과를 검증하며 실패 비용까지 떠안는 일에는 별도의 운영 역량이 필요하다.
버티컬 기업이 에이전트 사용권을 팔면 범용 제품과 직접 경쟁해야 한다. 반대로 특정 결과를 보증하면 새 모델은 경쟁자가 아니라 원가를 낮추는 수단이 된다. Harvey가 여러 모델을 활용하고 Sierra가 결과 기반 과금을 택한 배경이다.
기업은 분기마다 세 가지를 확인해야 한다. 범용 에이전트와의 성능 격차가 절반으로 줄어드는 시간, 같은 과제를 다섯 번 모두 통과하는 pass^5, 사내 업무 절차를 범용 에이전트에 옮겼을 때 걸리는 재현 시간과 정확도다.
범용 에이전트가 하루 만에 기존 성능의 80%를 재현한다면 문서와 프롬프트는 차별점이 아니다. 투자 방향도 자체 모델에서 검증, 감사 기록, 권한 통제, 롤백(문제가 생기면 이전 상태로 되돌리는 절차)으로 옮겨야 한다. 과금 기준 역시 좌석 수보다 검증 가능한 성과에 맞추는 편이 낫다.
투자자도 모델 점수만 봐서는 안 된다. 무엇을 성과로 정의하는가, 어디까지 보증하는가, 오류가 나면 누가 재작업과 손실을 부담하는가를 물어야 한다. 답하지 못하는 기업은 빠르게 평준화될 기능을 팔고 있다.
버티컬 AI의 진짜 사업은 도메인 지식을 알려주는 데 있지 않다. 도메인 업무를 끝까지 수행하고 그 위험까지 책임지는 데 있다.
모델이 교체되는 주기가 짧아진다고 해서 기업의 도입 심사와 업무 책임 구조까지 같은 속도로 바뀌지는 않는다. 기술 공급의 속도와 조직이 신뢰를 갱신하는 속도 사이의 차이는 앞으로도 새로운 사업 기회를 만들 가능성이 크다.