빌려 쓰는 GPU vs. 직접 굴리는 GPU

AI 비용을 줄이는 최선의 방법은 상황에 따라 갈린다. 반복 수요가 충분하고 GPU를 꾸준히 돌릴 수 있으며 데이터 통제가 중요할 때는 소유가 유리하다. 반대로 수요가 불규칙하거나 최신 모델이 계속 필요한 업무는 API와 클라우드가 낫다. 대부분의 기업에는 두 방식을 섞는 것이 현실적인 답이다.

장비 가격표에 잡히지 않는 운영비

‘17배’라는 격차는 무엇을 뜻할까? Lenovo는 8×B300 서버의 추론 비용을 100만 토큰당 0.13달러로 계산했다. 같은 GPU를 클라우드에서 빌리면 0.56달러, DeepSeek-R1 API를 쓰면 2.19달러다. 자체 서버가 API보다 17배 저렴하지만 클라우드 GPU와의 차이는 4.3배 인 셈이다. ‘17배’ 격차에는 하드웨어를 소유해 아낀 몫뿐 아니라 API 사업자의 모델 운영비와 마진을 걷어낸 몫도 섞여 있다.

계약 조건을 바꾸면 격차는 더 줄어든다. 8×H200 구매는 온디맨드 임대와 비교하면 5.2개월 만에 손익분기를 넘지만 3년 예약 상품과 비교하면 13.4개월이 걸린다. 구매 비용에도 전력, 공간, 유지보수, 운영 인력을 더해야 한다. 공개 정가와 장비값만 맞대면 소유의 이점이 과장된다.

그런데 가동률이 손익분기 여부를 가른다. B200 서버를 5년 쓴다는 계산에서는 하루 5.3시간, 약 22%를 가동해야 손익분기를 넘는다. 하지만 쿠버네티스 환경의 평균 GPU 사용률은 5% 에 그쳤다. 자체 운영비가 순수 GPU 비용의 3~5배가 될 수 있다는 분석 도 있다. 계산상 문턱과 현장 현실이 어긋난다는 말이다. 서버를 사기 전에 토큰 수요와 배치 처리량부터 측정해야 한다.

쉬운 일까지 가장 비싼 모델이 맡고 있는가?

그 수요를 밀어 올리는 요인은 무엇일까? AI 에이전트는 계획하고 도구를 호출하고 결과를 검사하며 실패한 단계를 반복한다. 단순 질의형 서비스에 비해 호출 횟수와 토큰 소비가 크게 늘었다. 토큰 단가가 내려가도 사용량이 더 빨리 증가하면 총비용은 오히려 오르기 마련이다. Goldman Sachs는 2026~2030년 월간 토큰 소비가 24배 늘어날 것으로 전망했다. 사용량 급증이 비용 방정식의 중심이 된다는 말이다.

이 부하 중 상당수는 소형 모델로도 처리된다. 분류, 추출, 초안, 요청 분배 같은 반복 업무를 소형 모델로 보내면 비용을 크게 낮춘다. 쉬운 작업의 60%만 분리해도 추론 지출이 38% 줄어든다는 분석 이 있다. 자체 서버에는 가장 똑똑한 모델보다 호출량이 많고 수요가 안정적인 실무용 모델이 더 잘 맞는다. 이런 반복 수요가 안정적으로 GPU를 가동시킬 때 자체 서버가 경제적으로 유리해진다.

비용을 넘어선 통제

그러나 단가만으로 결정할 문제는 아니다. 기업들은 실험과 갑작스러운 수요는 클라우드에 남기고 예측 가능한 추론은 사내나 전용 환경으로 옮기기 시작했다. 한 조사에서는 203개 기업 중 79%가 일부 AI 워크로드를 이미 회수했다. 비용을 예측하고 데이터를 직접 통제하려는 움직임이다.

그렇다고 대형 데이터센터가 꼭 필요한 것도 아니다. Onetera는 지자체용 AI 시스템을 운영한다. 이 회사는 RTX PRO 6000 여덟 장을 넣은 서버 한 대로 100만 토큰당 비용을 4.75달러에서 0.10~0.15달러로 낮췄다. 이 단일 노드 사례 를 보면 중형 모델로 규제 데이터를 반복 처리하는 업무에서도 자체 서빙이 성립한다.

다만 규제가 걸린 데이터는 경제성과 별개의 문제다. 데이터가 저장된 나라만으로 통제권이 보장되지는 않는다. 미국 CLOUD Act(자국 기업의 해외 서버 데이터에도 자국 법을 적용하는 미국 법)처럼 사업자의 본국법은 해외 리전의 데이터에도 영향을 미친다. 기관이 자체 인프라에서 학습하고 결과 가중치까지 보유하면 원본 데이터뿐 아니라 축적된 운영 지식도 외부 사업자의 약관 밖에 남는다.

우리 장비는 몇 년을 일해야 본전을 찾는가?

자체 서버의 낮은 단가는 어디에 기대고 있을까? 대개 GPU를 5년간 쓴다는 가정이다. 2~3년 만에 교체하면 감가상각비가 크게 늘어난다. 반면 H100은 1년 뒤에도 가격의 39~53%를, 2년 뒤에는 19~42%를 유지했다. 구형 GPU는 저난도 추론에 재배치하면 사용 기간이 늘고 잔존 가치도 커진다.

그런데 클라우드 가격도 고정돼 있지 않다. H100 임대료는 사업자에 따라 시간당 1.49~6.98달러로 차이가 난다. 네오클라우드는 대형 사업자 대비 절반 수준의 가격 을 제시하기도 한다. 구매안은 공개 정가가 아니라 실제 할인 계약과 비교하는 편이 정확하다. 장기 계약이라면 공급자의 지속 가능성도 함께 살핀다.

판단 기준은 세 가지로 좁혀진다.

• 수요가 크고 예측 가능한가
• 운영비를 포함해도 GPU를 충분히 가동할 수 있는가
• 데이터와 컴퓨팅을 내부에 둬야 하는가

다만 ‘하루 1,000만 토큰’이나 ‘하루 5시간’ 같은 문턱은 보편 법칙이 아니다. 모델, 장비, 전력비, 할인율을 넣어 기업마다 다시 계산해야 한다.

혼합형 설계가 현실적이다. 규제 데이터와 상시 반복 업무는 자체 오픈웨이트 모델로 처리하고 최신 모델 실험과 일시적 학습, 어려운 요청은 API로 보낸다. 서버 구매로 모든 API가 사라지지는 않는다. 다만 향후 몇 년간 반복 업무의 단가와 데이터 처리 방식을 직접 통제하겠다는 선택이다.

#컴퓨트·데이터센터#AI 경제#기업 AI