AI의 다음 전쟁은 속도가 아니라 토큰 원가다

빠른 응답이 필요 없는 시장이 열린다

AI 인프라는 지난 3년간 ‘사람이 화면 앞에서 답을 기다린다’는 전제 아래 발전해 왔다. 하지만 이제는 딥리서치, 코드 리뷰, 보안 검토, 모델 평가, 임베딩(텍스트를 숫자 벡터로 바꿔 의미를 계산할 수 있게 만드는 작업)처럼 몇 시간씩 백그라운드에서 실행되는 작업이 빠르게 늘고 있다. 아무도 안 보고 있는 시간이다.

전 NVIDIA 엔지니어 닐 모바(Neil Movva)가 설립한 AI 추론 인프라 스타트업 Sail Research는 2026년 말이면 백그라운드 작업과 대화형 작업의 비중이 같아질 것으로 전망한다. 이후에는 그 비율이 90대 10까지 벌어질 수 있다고 본다.

이러한 변화는 AI 사용량과 비용을 함께 끌어올린다. 에이전트는 단순한 챗봇보다 50~500배 많은 토큰을 사용한다. 토큰 단가는 내려가고 있지만, 사용량은 그보다 더 빠르게 늘고 있다. 기업의 AI 비용이 세 배로 증가한 배경이다.

코드 리뷰 자동화 스타트업 Detail.dev의 코드 리뷰 에이전트를 보자. 코드 전체를 검토하는 데 3~4시간이 걸린다. 이 작업에서는 첫 번째 토큰이 0.3초 만에 나왔는지, 3초 만에 나왔는지가 결과의 가치를 좌우하지 않는다. 중요한 것은 응답 속도가 아니라 전체 검토의 품질과 비용이다.

Sail의 선언문에는 “응답 하나에서 몇 밀리초를 줄여도 얻는 것이 없다”는 문장이 나온다. 빠른 응답이 필요 없다는 뜻은 아니다. 다만 모든 작업이 더 빠른 속도를 위해 추가 비용을 지불할 만큼 시간에 민감한 것은 아니라는 의미다.

Sail이 스스로를 ‘토큰 공장’이라고 부르는 이유도 여기에 있다. 목표는 토큰을 최대한 빠르게 만드는 것이 아니라, 가능한 한 저렴하게 대량 생산하는 것이다.

가령 세 시간짜리 코드 리뷰가 300만 원이라면 상품으로 만들기 어렵다. 하지만 비용이 30만 원으로 내려가면 새로운 시장이 열릴 수 있다. 열 배의 가격 차이는 단순한 성능 개선이 아니다. 제품이 존재할 수 있는지 자체를 결정하는 차이다.

초당 백 토큰이 필요 없는 작업들

처리량은 일정 시간 안에 생성하는 토큰의 총량이고, 지연시간(latency)은 개별 요청에 응답하기까지 걸리는 시간이다. 처리량을 늘리면서 지연시간까지 줄이기는 어렵다. 요청을 잘게 나누면 응답은 빨라지지만 GPU가 쉬는 시간이 늘어난다. 반대로 여러 요청을 한꺼번에 처리하면 칩의 효율은 높아지지만, 개별 요청의 대기시간은 길어진다.

Sail은 이 둘 가운데 처리량을 우선한다. 사람이 읽는 속도에 맞추기 위해 반드시 초당 100토큰을 생성할 필요는 없고, 백그라운드 작업이라면 초당 10토큰으로도 충분하다는 판단에서다.

대화의 맥락을 저장하는 동적 메모리인 KV 캐시도 이런 선택에 영향을 미친다. AI 전용 반도체 기업 Cerebras는 초당 21페타바이트에 이르는 메모리 대역폭을 제공하는 반면, NVIDIA GPU는 약 8테라바이트 수준이다. 다만 KV 캐시의 구조적 특성을 고려하면, Cerebras를 GPU의 완전한 대체재로 사용하기보다는 보조 가속기로 활용하는 편이 더 적합하다는 것이 Sail의 판단이다.

지연시간에는 이미 시장가격이 매겨지고 있다. Anthropic의 배치 API가 대표적이다. 최대 10만 건의 요청을 묶어 24시간 안에 처리하는 대신, 입출력 토큰 가격을 절반으로 낮춰준다. Sail도 작업 완료 시점에 따라 서비스를 세 단계로 나눈다.

등급	처리	절감
`default`	즉시 처리	—
`balanced`	—	45~65%
`flex`	—	60~80%

지속형 작업 공간인 Sailbox에도 같은 원리가 적용된다. 사용하지 않을 때는 자동으로 잠들고, 실제로 사용한 CPU, 메모리, 디스크 자원에 대해서만 비용을 부과한다. 몇 시간 동안 실행되는 에이전트라 해도 서버를 켜둔 시간이 아니라 실제 연산에 사용한 자원이 비용을 결정한다.

버려진 칩과 남는 전력이 기회가 된다

좋은 장비와 나쁜 장비를 가르는 기준은 칩의 성능만이 아니다. 가격이 충분히 낮다면 AMD와 AI 반도체 기업 SambaNova, Google의 TPU도 유력한 선택지가 된다.

실제로 클라우드에서 AMD MI355X의 사용료는 GPU당 시간당 약 2.5달러로, 약 6달러인 NVIDIA B300보다 저렴하다. 토큰당 비용도 MI355X가 25~40% 낮다는 비교가 있다. 구형 장비의 가격은 더 크게 떨어졌다. A100은 시간당 1달러 미만에 빌릴 수 있고, H100 임대료도 출시 당시보다 64~75% 하락했다.

와트당 성능이 경쟁 제품의 절반에 불과하더라도 가격까지 절반이라면 경제성은 달라진다. 핵심은 기술 격차를 좁히는 것이 아니라, 시장의 외면으로 저평가된 장비를 찾아 활용하는 데 있다.

전력도 같은 방식으로 확보한다. 1메가와트 안팎의 소규모 시설이나 가동률이 95%에 그치는 불안정한 전력까지 활용하는 것이다. 전력 공급이 끊기면 작업을 다른 시설로 옮긴다. 100메가와트에서 기가와트 단위로 움직이는 대형 사업자는 이런 자투리 시설을 일일이 검토하기 어렵다.

이러한 틈새가 생기는 이유는 전력망 연결이 지연되고 있기 때문이다. 2026년 초 미국에서는 발전, 저장 프로젝트 2,600기가와트가 전력망 연결을 기다리고 있었다. 대기기간의 중간값은 5년에 가까웠고, 북버지니아에서는 평균 7년에 달했다. 데이터센터 건물은 몇 달이면 지을 수 있지만 전력을 연결하는 데는 수년이 걸린다. 그 결과 이미 연결됐지만 충분히 활용되지 않는 전력이 곳곳에 생긴다.

가동률 95%는 1년에 약 18일 동안 전력을 쓰지 못한다는 뜻이다. 중단 없이 응답해야 하는 실시간 챗 서비스에는 받아들이기 어려운 조건이다. 하지만 하루 안에 완료하면 되는 배치 작업이라면 일정 조정으로 대응할 수 있다.

Sail은 이처럼 서로 다른 칩과 시설에 작업을 나눠 맡긴다. 자체 칩을 개발하는 대신, CUDA 커널부터 API에 이르는 소프트웨어 계층에서 자원 배분을 최적화한다. 창업진이 NVIDIA의 텐서 코어와 Apple의 뉴럴 엔진, AI 인프라 기업 Together AI의 GPU 커널을 다뤄온 경력도 이러한 전략과 맞닿아 있다.

토큰값 천분의 일은 가능한가

AI 추론 비용을 낮추려면 모델 가중치를 직접 내려받아 원하는 장비에서 실행할 수 있는 ‘오픈웨이트’ 모델이 필요하다. 폐쇄형 API에만 의존하면 어떤 칩과 전력을 사용할지 선택하기 어렵기 때문이다.

오픈웨이트 모델의 영향력은 빠르게 커지고 있다. 모델 중개 서비스 OpenRouter에서 미국 모델이 차지한 토큰 비중은 2025년 6월 약 70%에서 1년 만에 약 30%로 줄었다. 2026년 5월에는 중국산 오픈웨이트 모델이 전체 소비 토큰의 약 61%를 차지했다. 주간 처리량도 중국 모델이 18조 토큰으로, 미국 모델의 5조5천억 토큰을 크게 앞섰다.

성능 격차도 좁아지고 있다. DeepSeek V4 Pro는 소프트웨어 개발 평가인 SWE-bench Verified에서 80.6%를 기록했다. 기업이 오픈웨이트 모델을 찾는 이유는 저렴한 비용만이 아니다. 충분한 성능을 확보하면서 인프라와 운영에 대한 통제권도 가질 수 있기 때문이다.

Sail은 이러한 수요를 겨냥한다. GLM-5.2와 DeepSeek V4 Flash, Qwen 3.6 35B 등을 OpenAI, Anthropic과 호환되는 방식으로 제공하며, 기존 제공자보다 약 30% 낮은 가격을 내세운다.

회사의 장기 목표는 토큰 비용을 현재의 1,000분의 1로 낮추는 것이다. 1조 토큰을 처리하는 비용을 약 500만 달러에서 5,000달러로 줄이겠다는 구상이다. Sail은 고정된 약 10만 개 문서와 830개 질의를 사용하는 딥리서치 평가 ‘BrowseComp-Plus’에서 최대 10분의 1 비용으로 90.72%의 정확도를 달성했다고 발표했다.

Sail에 따르면 회사는 2026년 3월 출시 이후 매주 수조 개의 토큰을 처리하고 있으며, 고객의 비용을 기존의 3분의 1에서 10분의 1 수준으로 낮추고 있다. 지금까지 유치한 투자금은 총 8,000만 달러이고, 기업가치는 4억5,000만 달러다. 다만 이러한 비용 절감 효과는 아직 독립적으로 검증되지 않았다.

사업의 성패는 소프트웨어와 저렴한 칩, 남는 전력을 결합한 저비용 인프라에 실제 수요가 얼마나 몰리느냐에 달렸다. 특히 즉각적인 응답이 필요하지 않은 백그라운드 작업이 전체 AI 작업의 90%까지 늘어날지가 핵심이다. 현재 빠르게 소비되는 토큰이 일시적인 현상이 아니라 지속 가능한 수요인지를 판단하기도 아직 이르다.

반도체 기업은 현재 S&P 500 전체 시가총액의 약 20%를 차지한다. 역사적 수준인 2~4%를 크게 웃돈다. 예상대로 백그라운드 에이전트가 확산되면 속도가 다소 느려도 비용이 낮은 인프라가 주류로 올라설 수 있다. 반대로 수요가 기대만큼 늘지 않으면 소규모 데이터센터와 비주류 칩은 아무리 가격이 낮아도 고객을 확보하기 어렵다.

한 줄 정리: 백그라운드 에이전트의 확산은 AI 경쟁의 기준을 ‘응답 속도’에서 ‘토큰 생산비’로 바꾸고 있다.

출처

#컴퓨트·데이터센터 #오픈웨이트