AI 가속기의 성능 경쟁은 단일 칩의 사양만으로 갈리지 않는다. 시스템을 어떻게 구성하느냐가 함께 승부를 가른다. 같은 연산 자원을 갖춰도 배치와 연결 방식에 따라 실제 서비스에서 얻는 결과는 달라진다.
단일 칩에서 슈퍼포드로
Google Cloud가 2025년 11월 출시한 Ironwood는 칩 한 개의 성능보다 연결 규모로 차별화된다. 슈퍼포드 하나에 TPU 9,216개가 연결되며 전체 HBM(고대역폭 메모리) 용량은 1.77페타바이트, 대역폭은 11,059TB/s에 이른다.
이 규모에서 칩 사이의 통신은 대규모 AI 연산에서 병목이 되기 쉽다. 텐서 병렬은 레이어마다 데이터를 모아야 하며 MoE(전문가 혼합 구조)는 토큰을 라우터가 선택한 일부 전문가 서브네트워크로 보낸다. 모델이 커질수록 개별 칩의 속도만으로 충분할까. 얼마나 많은 칩이 빠르게 연결되는지가 중요해진다.
이에 Ironwood는 64개 칩으로 이뤄진 큐브 144개를 광으로 연결한다. 데이터 병렬은 같은 모델을 여러 칩에 복제해 서로 다른 배치를 처리한 뒤 결과를 동기화하며 파이프라인 병렬은 모델의 레이어 구간을 칩별로 나눠 순서대로 데이터를 넘긴다. 데이터, 텐서, 파이프라인 병렬 처리를 물리적 연결에 맞춰 배치하기 좋은 구조다. Anthropic이 최대 100만 개 TPU와 1기가와트 이상의 용량을 계약한 것도 개별 칩이 아닌 거대한 연결형 컴퓨팅 자원을 확보한 사례다.
구리는 2미터에서 막힌다
전기 신호는 거리가 늘수록 손실과 전력 소모가 커진다. 레인(개별 전송 채널)당 200Gb/s 환경에서 패시브(신호를 보정하지 않는) 구리 케이블은 약 2미터, 액티브(신호를 증폭, 보정하는) 케이블도 5~7미터가 한계다. NVIDIA NVL72가 GPU 72개를 한 랙에 묶은 배경에도 이런 제약이 있다.
그래서 Google은 랙 사이를 광 회로 교환기인 Palomar OCS로 연결했다. 거울로 빛의 경로를 바꾸기 때문에 패킷 스위치나 반복적인 광전 변환이 필요 없다. TPU v4 연구에 따르면 경로는 밀리초 안에 바뀌며, OCS와 광부품은 시스템 원가의 5% 미만, 전력의 3% 미만을 차지했다.
경로를 바꿀 수 있어 장애 대응도 쉽다. 고장 난 큐브나 링크를 빼고 예비 장치를 연결하면 배선을 다시 하지 않아도 된다. 수천 개 칩을 운용할 때 고장은 일상이다. 가동률을 좌우하는 것은 빠른 우회다. NVIDIA도 랙 간 광 연결을 쓰는 NVL576을 공개했다.
지연이 생기는 곳
AI 추론은 프롬프트를 한꺼번에 처리하는 ‘프리필’과 토큰을 하나씩 만드는 ‘디코드’로 나뉜다. 프리필은 연산 성능, 디코드는 메모리 대역폭에 더 민감하다. 두 작업을 같은 장비에서 처리하면 긴 프리필 때문에 디코드가 밀릴 수 있다. 장비를 나누면 될까. 이번에는 KV 캐시를 옮기는 시간이 늘어난다. KV 캐시는 이전 토큰들의 어텐션 계산 결과를 저장해 재사용하는 데이터로, 프리필 서버에서 디코드 서버로 옮길 때마다 그만큼 전송 시간이 늘어난다.
이때 연결 범위가 넓으면 KV 캐시를 느린 외부 네트워크로 내보낼 일이 줄어든다. 이미 계산한 접두사를 가진 서버로 요청을 보내 중복 연산도 피할 수 있다. GKE Inference Gateway는 접두사뿐 아니라 대기열과 캐시 사용량까지 살펴 요청을 배분한다. Google은 이 방식으로 첫 토큰 지연을 최대 96%, 서빙 비용을 최대 30% 줄였다고 밝혔다.
다만 캐시만 따라가면 특정 서버가 붐빌 수 있다. Vertex AI는 대기열의 비중을 높여 캐시 적중률을 35%에서 70%로 끌어올렸다. 그 결과 Qwen3-Coder의 첫 토큰 지연은 35% 줄고, DeepSeek V3.1의 P95(응답 지연 분포 상위 95%에 해당하는 값) 지연은 절반이 됐다.
메모리를 가까이 두는 경쟁
Google은 2026년 8세대 TPU를 학습용 8t와 추론용 8i로 나눴다.
| 8t (학습용) | 8i (추론용) | |
|---|---|---|
| 포드 규모 | 칩 9,600개 | 1,152개 칩 |
| 메모리 | 2페타바이트 HBM | 칩당 SRAM 384MB |
| ICI 속도 | 19.2Tb/s |
8t 슈퍼포드는 칩 9,600개와 2페타바이트 HBM을 갖췄다. 많은 가중치와 학습 상태를 올려놓고 대규모 통신을 반복하는 학습에서는 연결 범위가 넓을수록 유리하다.
반면 8i는 포드 규모를 1,152개 칩으로 줄이는 대신 칩당 SRAM(칩 내부 고속 메모리)을 384MB로 늘리고 ICI(칩 간 연결망) 속도를 19.2Tb/s로 높였다. Boardfly 토폴로지는 1,024개 칩 구성의 최장 통신 거리를 16홉(경로상 거치는 연결 단계)에서 7홉으로 줄인다. 캐시를 칩 가까이에 두고 데이터 이동 거리를 줄인 추론용 설계다.
NVIDIA Vera Rubin NVL144 CPX도 장문맥 추론에 필요한 고속 메모리를 랙 안에 모은다. 방식은 다르지만 목표는 이동할 데이터를 가까이 두는 데 있다.
따라서 AI 인프라를 비교할 때 칩당 FLOPS(초당 부동소수점 연산 횟수)만 보면 될까. 모델과 KV 캐시가 들어갈 메모리 용량, 칩 사이의 최장 거리, 장애 시 우회 가능성까지 함께 봐야 한다.
물리적 토폴로지가 바뀌면 소프트웨어가 선택할 수 있는 배치 전략도 달라진다.