클라우드 다음 전장은?

1MW 랙 시대, 기존 국사는 버틸 수 있나

최신 NVLink(GPU 간 고속 연결 기술) 기반 스케일업 시스템은 랙 하나에 140kW의 전력을 요구한다. 반면 통신사 중앙국사와 일반 기업 시설이 감당할 수 있는 전력은 대개 랙당 30~50kW에 그친다. 공랭 방식도 30~35kW를 넘어서면 필요한 풍량과 팬 전력, 소음을 감당하기 어려워진다. 특히 랙당 5~10kW를 기준으로 설계된 중앙국사에 40~100kW급 AI 랙을 설치하면 배전 설비와 액체냉각 용량부터 한계에 부딪힌다.

클러스터 규모가 32~64노드로 커지면 총전력 소비량은 2~3MW에 이른다. 이 정도면 전용 변전소와 중전압 배전망이 필요하다. 전력 공급 방식도 기존 12V에서 48V 직류 버스바로 바꿔야 한다. 같은 전력을 공급할 때 전류를 4분의 1로 낮추고, 저항 손실을 93.75% 줄이기 위해서다. 양자화(모델 가중치를 더 낮은 정밀도로 표현해 크기를 줄이는 기법)로 모델의 연산량을 줄일 수는 있지만, 이미 필요한 전력, 냉각 인프라의 비용까지 사라지는 것은 아니다.

엣지 시설이 보유한 전력은 모두 합하면 약 30GW에 달한다. 다만 수많은 소규모 시설에 분산돼 있어 대형 AI 랙을 그대로 수용하기 어렵다. 범위를 통신사 전체 인프라로 넓히면 약 10만 개 시설에 100GW가 넘는 유휴 전력이 존재한다. 미국 통신사 Verizon의 약 1,000개 GPU 거점과 6만 개 사이트의 vRAN(기지국 기능을 소프트웨어로 구현한 가상화 무선 접속망) 계획, 콘텐츠 전송 기업 Akamai의 4,400여 개 거점, 미국 케이블 사업자 Comcast의 1,000여 개 엣지 데이터센터, AT&T의 80억 달러 투자가 이를 보여준다. 부지와 전력은 이미 확보돼 있다. 부족한 것은 이런 시설의 제약에 맞춰 들어갈 수 있는 컴퓨팅 시스템이다.

문제는 시설의 전력 한도는 거의 그대로인데 AI 랙의 전력 밀도는 계속 높아진다는 점이다. NVIDIA의 차세대 플랫폼 Vera Rubin은 랙당 235kW를 요구하며, 후속 제품인 Rubin Ultra와 Kyber는 빠르게 1MW급 랙을 향하고 있다. Kyber는 랙당 NVLink 도메인을 144개 GPU로 확장하고, 여덟 개 랙을 연결해 총 1,152개 GPU를 구성한다. 대응을 미룰수록 기존 시설과 최신 AI 시스템 사이의 밀도 격차는 더 크게 벌어질 수밖에 없다.

랙은 나누고, 시스템은 묶는다

140kW 규모의 컴퓨팅 시스템도 30kW급 물리 랙 4~5대로 분산한 뒤 초고속 광 패브릭(광 신호로 장비들을 촘촘히 연결하는 통신망)으로 연결하면, 기존 시설에서 하나의 저지연 시스템처럼 운용할 수 있다. 실제로 Kyber 랙 8개가 하나의 NVL1152 도메인을 구성한다. 물리적으로 분리된 여러 랙이 하나의 논리적 시스템으로 작동하는 셈이다. 엣지 환경에서도 같은 원리를 더 작은 전력 단위로 적용할 수 있다.

분산 시스템의 성능은 랙을 나눈 뒤 통신을 어느 범위 안에서 처리하느냐에 달려 있다. 일부 전문가 모듈만 선택해 사용하는 MoE(전문가 혼합) 모델은 GPU 간 올투올 통신에 전체 추론 시간의 절반 이상을 쓰며, 큰 배치에서는 그 비중이 79.2%에 이른다. DeepSeek-V3의 전문가 병렬 처리를 NVLink 도메인 안에 배치하면 통신 오버헤드는 약 20%지만, 노드 경계를 넘으면 40~60%로 증가한다. 이는 도메인 내부의 900GB/s 대역폭과 노드 간 400Gb/s 대역폭 사이에 약 18배의 차이가 있기 때문이다. 따라서 도메인이 클수록 생성 단계에서 전문가 병렬과 텐서 병렬 구성을 더 유연하게 설계할 수 있다.

여러 랙을 하나의 도메인으로 연결하려면 광 통신이 필요하다. 테라비트급 전기 신호는 주파수가 높아질수록 감쇠와 발열이 커지고, 구리 케이블은 더 짧고 굵어지기 때문이다. GTC 타이베이 2026에서 공개된 NVLink Fusion에는 실리콘 포토닉스 기업 Ayar Labs와 Lightmatter, 반도체 기업 Marvell의 포토닉(빛으로 데이터를 전송하는) 기술이 합류했다. 패키지 내장형 광학 기술은 전력 효율을 5배, 복원력을 10배 높이는 것을 목표로 하며, 광 네트워크 장비는 전력 사용량을 최대 3.5배 줄이는 것을 목표로 한다. 통신 링크의 전력 소비가 줄어들수록 30kW라는 한정된 랙 전력 예산에서 GPU에 더 많은 전력을 배정할 수 있다.

작업마다 엣지와 클라우드를 다시 나눠라

로봇 한 대 안에서도 작업에 따라 허용할 수 있는 지연은 크게 다르다. 휴머노이드 로봇 기업 Figure AI의 Helix를 예로 들어보자. 약 70억 파라미터 규모의 비전, 언어 모델은 장면을 초당 7~9회 해석한다. 반면 8천만 파라미터 규모의 시각, 운동 정책은 200Hz, 즉 5ms마다 실행된다. LiteVLA-Edge는 평균 지연 150.5ms와 처리 속도 6.6Hz를 기록하면서도, 지연의 표준편차를 0.13ms로 낮췄다. 반응형 제어에서는 평균 지연만큼이나 지연이 얼마나 일정한지가 중요하기 때문이다.

처리 위치에 따라서도 지연 차이가 크다. 유선 환경에서 클라우드까지의 왕복 지연은 약 30ms지만, 실제 배포 환경에서는 100~300ms까지 늘어날 수 있다. 반면 엣지 처리는 1~5ms 안에 끝난다. 따라서 50~100ms의 지연조차 허용하기 어려운 제어 기능은 클라우드 API에 맡길 수 없다. 필요한 응답 속도 역시 용도마다 다르다.

안전 필수 통신은 1ms
영상 생성 제어 루프는 네트워크 지연 12ms 미만
상태를 유지하는 소형 모델은 15ms 미만
일반적인 개인화 서비스는 전체 처리 시간 500ms 미만을 요구한다.

생성형 AI 인프라도 트래픽의 특성에 맞춰 계층화해야 한다. 예를 들어 700억 파라미터 모델에서 프리필(입력 전체를 한 번에 처리하는 단계)과 디코드(토큰을 하나씩 생성하는 단계)를 분리하면, 요청마다 약 2.6GB의 KV 캐시를 옮겨야 한다. 전체 전송량은 초당 100GB를 넘을 수 있다. 그러나 연결 방식에 따른 대역폭은 크게 다르다. NVLink는 900GB/s, 노드 간 InfiniBand(고성능 컴퓨팅용 초고속 네트워크 규격)는 50GB/s, 데이터센터 간 TCP는 12.5GB/s 수준으로, 최대 72배의 격차가 난다. 연산량이 큰 프리필과 메모리 대역폭 의존도가 높은 디코드는 분리하는 편이 효율적이다. 다만 짧은 지연이 중요한 올투올 통신은 광 네트워크로 연결된 하나의 도메인 안에 배치해야 한다.

결국 스케줄러는 컴퓨팅 자원만 보고 작업을 배치해서는 안 된다. 전력 여유와 냉각 효율, 지역별 전기요금, 네트워크 지연, 데이터의 저장 위치를 함께 고려해야 한다. 운영 자원은 이제 컴퓨트, 네트워크, 전력, 냉각, 지리가 결합된 하나의 묶음이다.

이 조건들이 같은 방향을 가리킬 때 기업용 AI 아웃포스트가 경제성을 갖는다. 자율 에이전트와 의료 영상처럼 빠른 응답이 필요하고, 민감 정보를 로컬에 보관해야 하며, 토큰 단위의 사용료를 자체 설비의 고정비로 전환하는 편이 유리한 경우다. AI 아웃포스트는 단순히 서버를 기업 내부에 설치하는 방식이 아니다. 지연과 보안, 비용을 하나의 배치 문제로 해결하는 인프라 전략이다.

로컬 AI는 규모가 아니라 밀도의 사업이다

가동률 15%의 문턱

로컬 AI 설비의 손익분기점은 대체로 GPU 가동률 15~25%다. 핵심은 GPU를 얼마나 많이 구매하느냐가 아니라, 추론 요청이 얼마나 꾸준히 발생하느냐다.

연속 배칭(도착하는 요청을 계속 이어 붙여 처리하는 방식)을 적용하면 20% 미만이던 GPU 가동률을 70% 이상으로 높일 수 있다. 같은 모델과 장비로 더 많은 요청을 처리해 실질적인 토큰당 비용을 기존의 3분의 1~4분의 1 수준으로 낮추는 것이다.

예를 들어 시간당 19.20달러인 8×H100 SXM5 파드에서 Llama 3.1 70B FP16을 초당 2,800토큰으로 서빙하면, 백만 토큰당 비용은 약 1.90달러다. 참고로 2026년 8월 2일 기준 H200 SXM5의 온디맨드 요금은 GPU당 시간당 4.96달러였다.

다만 요청이 간헐적이면 GPU가 쉬는 시간에도 비용이 발생한다. 반면 카메라와 로봇처럼 데이터를 24시간 처리하는 시스템은 가동률을 거의 100%까지 끌어올릴 수 있다. 독일의 자동차 부품 기업 Schaeffler가 독일의 두 공장에서 추진하는 휴머노이드 실증이 대표적이다. 이 회사는 2026년 12월부터 2027년 6월까지 휴머노이드를 투입해 상자 운반과 공장 내 시험을 진행할 계획이다. 이런 환경에서는 하나의 거대한 설비보다 캠퍼스 곳곳에 배치할 수 있는 모듈형 컴퓨팅 노드가 적합하다.

따라서 구매 단위도 140kW급 대형 섀시 한 대가 아니라, 30kW 랙 4~5대와 광 패브릭을 결합한 하나의 논리적 컴퓨팅 도메인이 되어야 한다. 컴퓨팅 자원을 중앙국사 등에 분산 배치하면 대규모 시설 개조 없이도 건물 구조에 맞춰 시스템을 구성할 수 있다.

워크로드를 나누는 기준도 명확하다. 노드 간 통신량이 많은 올투올 연산은 도메인 경계를 넘을 때 오버헤드가 20%에서 40~60%까지 증가하므로 한 도메인 안에 유지해야 한다. 반면 요청당 약 2.6GB가 전송되는 KV 캐시는 충분한 대역폭을 확보한 외부 계층에서 처리할 수 있다. 광 링크가 제공하는 3.5~5배의 전력 효율은 더 많은 GPU를 운영할 수 있는 여유로 이어지고, 10배 높은 복원력은 무인 거점의 유지보수 출동을 줄인다.

젠슨 황은 이렇게 말했다.

“AI는 유용한 일을 하고 있고, 토큰은 생산적이며 수익성이 있다. 이제 컴퓨트가 매출이다.”

결국 로컬 설비가 적합한지는 세 가지 질문으로 판단할 수 있다.

허용 지연시간이 클라우드 왕복 지연인 30~300ms보다 짧은가?
하루 평균 GPU 가동률이 15~25%를 넘는가?
필요한 컴퓨팅 도메인을 시설의 30~50kW 랙에 나눠 배치하고 광 네트워크로 연결할 수 있는가?

세 조건을 모두 충족한다면 로컬 설비에 투자하는 편이 합리적이다. 하나라도 충족하지 못한다면 해당 부하는 API 기반 클라우드에 남겨두는 편이 낫다.

출처

#컴퓨트·데이터센터 #반도체