AI 칩 시장을 판매량 순위로만 보면, 자체 가속기를 만드는 기업의 계산을 놓친다. 연산을 언제, 어떤 비용으로 확보하느냐가 데이터센터 운영 방식까지 바꾸고 있다.
칩을 사는 쪽과 직접 만드는 쪽
대만 증권사 리서치 조직 Fubon Research는 Google이 2028년 TPU v9을 1,200만~1,500만 개 확보할 것으로 봤다. 같은 해 Nvidia 데이터센터 AI GPU 예상 출하량은 1,240만 개다. Google 자체 칩 물량이 Nvidia 출하량과 맞먹는 셈이다.
다만 1,500만 개를 확정 물량으로 보기 어렵다. 다른 기관 전망은 700만 개 안팎이고, 1,500만 개는 주문 의향의 상단에 가깝다. 게다가 TPU v9에는 컴퓨트 다이(칩 안에서 실제 연산을 맡는 반도체 조각) 네 개가 들어가 웨이퍼, 패키징 부담도 크게 커진다.
패키징 부담이 늘어도 Nvidia 실적은 흔들리지 않는다. Nvidia는 비GAAP 기준 분기 데이터센터 매출 752억 달러, 매출총이익률 75%를 기록했다.
Nvidia는 칩을 팔아 돈을 벌고, Google은 만든 칩을 대부분 직접 쓴다. 사업 구조가 처음부터 다르다.
공급 일정을 직접 통제한다
AI 가속기는 모델, 소프트웨어, 전력, 냉각까지 맞춰야 하는 통합 시스템이다. 한 생태계에 들어가면 다른 제품으로 옮기기 어렵고, 공급자 가격과 일정에 묶이기 쉽다.
Google은 자체 칩으로 비용을 줄이는 데 그치지 않는다. 생산 순번과 증설 시점을 스스로 정한다. 내부 자원이 넉넉한 것은 아니다. Google 연구자들이 유료 고객보다 뒤에서 TPU 사용을 기다렸다는 보도도 나왔다.
TPU는 외부 상품으로도 넓어지고 있다. Google은 Anthropic과 2027년부터 최대 5GW 연산 자원을 공급하는 계약을 맺었다.
병목은 칩 밖에 있다
AI 인프라 증설 속도는 가장 부족한 자원이 정한다. 지금 병목은 연산 칩만이 아니다. 첨단 패키징과 전력이다.
CoWoS 생산능력은 늘고 있지만, TPU v9에 필요한 CoWoS-L 물량은 장기 계약에 묶여 있다. Google이 2028년 TPU 300만 개 이상 패키징을 Intel에 맡기려는 이유다. Intel EMIB-T 패키징은 대안이지만, Nvidia까지 몰리면 여기도 병목이 될 수 있다.
전력 확보는 패키징보다 어렵다. Google Ironwood 팟은 TPU 9,216개를 묶어 약 10MW를 쓴다. 칩당 1kW로 보면 TPU 1,500만 개에는 연산 장치만으로 두 자릿수 GW가 필요하다. 전력망 연결에도 수년이 걸린다. 칩을 아무리 많이 주문해도 증설 규모는 전력망 공사 속도를 넘지 못한다.
출하량 너머의 주도권
AI 개발 환경은 CUDA에 깊게 묶여 있다. CUDA는 Nvidia GPU 전용 개발 플랫폼이고, 지금 쓰이는 AI 코드, 도구 대부분이 그 위에서 돌아간다. 다른 가속기로 옮기려면 소프트웨어를 다시 짜야 하고, 전환 비용이 크다. Google은 이를 줄이려고 TorchTPU를 공개하고 PyTorch를 TPU에서 직접 실행하는 구조를 택했다.
자체 모델과 코드를 돌리는 Google은 TPU에 맞춰 시스템을 바꾸기 쉽다. 여러 고객 코드를 받는 사업자는 CUDA를 떠나기 어렵다. 당분간 자체 칩과 상용 GPU는 함께 쓰일 가능성이 크다.
Google의 목표는 Nvidia를 밀어내는 것이 아니다. 파운드리(반도체 위탁생산 업체), 패키징, 전력을 미리 확보해, 자체 소비용 연산 자원을 갖추는 일이다. 그러면 연산 자원을 원가에 가깝게 쓰고, 증설 시점도 직접 정할 수 있다.
2028년 AI 칩 경쟁의 승부처는 출하량이 아니다. 와트당 연산 효율, 토큰당 비용, 증설 일정을 누가 쥐느냐다.
자체 칩의 가치는 반도체 성능표보다, 조직이 감당할 수 있는 운영 범위에서 드러난다. 설계, 조달, 소프트웨어를 한 회사 안에서 맞추는 방식은 AI 인프라 사업자의 역할도 바꾸고 있다.