AI 비용은 어디에 남는가
Palantir CEO 알렉스 카프는 2026년 여름 프론티어 AI 기업을 잇달아 비판했다. 기업들이 토큰 비용에 시달리는데도 사용량 증가를 성과처럼 내세운다. 경쟁사를 겨냥한 발언이지만 한 가지 질문은 남는다. AI에 쓴 돈은 무엇으로 남는가.
자체 개발한 소프트웨어는 요건을 충족하면 자산으로 잡을 수 있지만 사용량에 따라 낸 추론 비용은 대부분 그해 비용으로 사라진다. AI 개발비도 개발 단계와 통제 가능성에 따라 회계 처리가 달라진다.
사용 과정에서 쌓인 학습도 남는다. 효과적인 프롬프트, 예외가 발생한 승인 절차, 사람이 고친 판단은 모두 운영 지식이다. 자체 저장소에 남기지 않으면 비용은 기업이 내고 결과는 재사용하지 못한다.
토큰 가격만 볼 일은 아니다. AI로 인력을 크게 늘리지 않고 매출을 키운다면 수익성은 충분하다. 동급 성능 모델의 가격도 과제에 따라 매년 9배에서 900배, 중앙값으로는 50배씩 낮아졌다. 그래도 질문은 같다. 기업 고유의 학습은 결국 누구의 것인가.
일반 지능과 회사 지능 사이
시스템 이론 연구자 로저 코넌트와 윌리엄 로스 애슈비는 통제 능력은 대상에 대한 내부 모델에서 나온다고 설명했다. 온도조절기도 온도와 난방의 관계를 알아야 제대로 작동한다.
기업용 AI도 같다. 프론티어 모델은 일반 지식에는 강하지만 회사마다 다른 승인 절차, 예외 규정, 부서별 권한은 모른다. 그래서 기업은 규칙과 업무 절차를 담은 별도 계층을 따로 둔다.
조직이 보존할 것은 문서의 양보다 지식의 연결 구조다. 매출의 공식 정의, 예외 승인자, 판단을 번복한 이유가 서로 이어져야 한다. 이를 온톨로지나 시맨틱 레이어라고 부른다. 조직 기억도 지식과 담당자를 잇는 공유 체계에 가깝다.
SAP, ServiceNow, Microsoft, Databricks, Palantir 등은 이 계층을 선점해 모델을 교체 가능한 부품으로 만들려 한다. 하지만 운영 지능이 플랫폼 전용 형식에만 남는다면 종속 대상만 바뀐다.
표준은 느리고 종속은 빠르다
온톨로지는 오랜 시간 데이터와 업무 정의를 연결한 결과물이다. 공급자를 바꾸려면 지표와 권한, 예외 규칙을 다시 엮고 검증하는 과정을 거친다. 모델 API 교체보다 훨씬 큰일이다.
Open Semantic Interchange(OSI)는 이 비용을 낮추려는 개방형 규격이다. 지표와 데이터 관계를 공급자 중립 형식으로 표현하며 50곳이 넘는 조직이 표준화에 참여하고 있다. 그러나 기존 제품의 설정을 곧바로 옮기기는 어려운 단계다.
2026년 7월까지 OSI를 직접 지원하는 시맨틱 레이어는 없었다. dbt 등 네 종류의 변환기가 병합됐을 뿐, 제품 수준의 가져오기, 내보내기는 지원되지 않았다. 표준화보다 플랫폼이 기업의 업무 맥락을 흡수하는 속도가 더 빠르다.
계약이 정하는 경계
프론티어 AI 기업도 이제 모델만 제공하지 않는다. 현장 엔지니어가 고객사의 프롬프트와 도구 호출, 수정 내역을 보며 배포를 돕는다. 이때 생긴 기록도 중요한 업무 지식이다. 계약은 원본 데이터뿐 아니라 이 기록의 소유권과 반출 조건까지 포함하는 방향으로 바뀌고 있다.
삭제 약속도 계약에 따라 달라진다. 뉴욕타임스 소송에서 법원은 OpenAI에 통상 삭제할 데이터까지 보존하라고 명령했지만 ChatGPT Enterprise와 일부 무보존 API는 제외됐다. 실제 보호 수준은 계약 등급과 저장 방식이 좌우한다.
자체 인프라라는 대안도 커지고 있다. Vercel AI Gateway에서 오픈웨이트 모델은 2026년 6월 전체 토큰의 29%를 처리했지만 지출 비중은 4% 미만이었다. 비용은 25분의 1에도 못 미치는데 토큰은 3분의 1가량을 처리했다.
소유권은 재현 가능성이다
운영 지능의 소유권은 공급자를 끊어 보면 드러난다.
- 주 공급자 없이도 같은 근거로 결정을 재현할 수 있는가.
- 지표를 표준 형식으로 내보내고, 승인 규칙을 벤더 화면 밖에서도 실행 가능한가.
- AI의 참고 자료와 판단 과정이 자사 저장소에 남아 있는가.
클로즈드 모델과 오픈웨이트 모델의 구분도 절대적이지 않다. 클로즈드 모델을 써도 실행 기록을 자체 보관하면 이전하기 쉽다. 오픈웨이트 모델이라도 온톨로지가 벤더 콘솔에만 있으면 옮기기 어렵다.
따라서 구축은 기록에서 시작한다. 입력 데이터와 프롬프트, 도구 호출, 승인과 수정 내역을 원본 그대로 이중 저장한다. 온톨로지는 다시 만들 수 있지만 저장하지 않은 판단은 되살릴 방법이 없다.
기업은 재해복구 훈련처럼 ‘이탈 훈련’도 정기적으로 실행한다. 다른 모델과 환경에서 핵심 업무를 돌려 보면 숨은 종속성이 드러난다. 결과 차이와 전환 시간, 데이터 반출 형식, 권한 규칙, 필요한 인력까지 수치로 나타난다.
토큰 가격이 내려가도 운영 지능의 이전 비용까지 저절로 낮아지지는 않는다. 시맨틱 레이어를 샀다고 그 지식을 소유하는 것도 아니다. AI 주권은 제품이 아니라, 공급자가 바뀌어도 기업의 지식과 판단을 다시 실행 가능한 상태로 증명된다.