AI 추론 성능을 높이는 일은 더 빠른 GPU를 추가하는 문제로 여겨져 왔다. 그러나 모델이 커지고 대화가 길어질수록 연산 장치보다 데이터를 보관하고 전달하는 구조가 처리 속도와 비용에 더 큰 영향을 준다.
GPU는 계산보다 대기를 더 한다
LLM 추론은 입력을 한꺼번에 처리하는 프리필과 토큰을 하나씩 만드는 디코드로 나뉜다. 프리필은 연산 성능이 중요하지만, 디코드는 가중치와 KV 캐시를 계속 불러와야 해 메모리 속도에 좌우된다.
실제로 두 작업에서 GPU가 커널(GPU에서 실행되는 연산 단위)을 실행한 주기의 비율은 각각 27%와 24%에 불과했다. 나머지는 데이터나 명령을 기다리는 시간이었다. 산술 강도(이동한 데이터 1바이트당 수행하는 연산 횟수를 가리키며, 값이 낮을수록 메모리 속도에 묶인다는 뜻이다)가 낮을수록 연산 장치는 그만큼 논다. 예컨대 DeepSeek-V3.2 형태의 671B MoE, MLA 모델을 H20 16개로 분석한 사례에서, 배치(동시에 묶어 처리하는 요청 묶음) 64 디코드의 산술 강도는 약 11 FLOP/byte로 GPU 성능을 온전히 쓰는 데 필요한 74에 크게 못 미쳤다. 메모리 대역폭(메모리가 초당 전송할 수 있는 데이터양)을 80%까지 활용해도 모델 FLOPs 이용률(MFU)은 12%에 그쳤다.
게다가 지난 20년간 연산 성능은 6만 배 늘었지만 DRAM 대역폭은 100배, 인터커넥트(프로세서, 메모리, 장치 사이의 데이터 연결망)는 30배 증가했다. 긴 문맥을 쓰는 AI 에이전트는 이 격차를 더 키운다. Claude와 Codex의 코딩 작업에서는 입력 토큰의 95.7%가 프리픽스 캐시(앞부분이 같은 입력의 계산 결과를 재사용하는 캐시)에 적중했다. 새로 계산할 데이터가 많은 게 아니다. 저장했다가 다시 읽어야 할 데이터가 훨씬 많다.
부족한 메모리, 좁은 통로
KV 캐시는 문맥 길이와 동시 요청 수에 비례해 커진다. Llama 3.1을 BF16(16비트 부동소수점 형식), 128K 문맥으로 실행하면 사용자 한 명당 70B 모델은 약 43GB, 405B 모델은 약 66GB가 필요하다. 이 정도면 HBM(GPU 근처에 배치하는 고대역폭 메모리)이 연산보다 대화 기록을 저장하는 데 먼저 소진될 수 있다.
그렇다고 HBM을 계속 늘리기도 어렵다. 패키지 가장자리에는 메모리와 외부 장치를 연결할 공간이 한정돼 있고, 같은 면적에서 PCIe가 제공하는 대역폭은 이더넷 계열 SerDes(병렬 데이터와 직렬 신호를 서로 변환하는 회로)의 약 3분의 1에 불과하다.
대안은 광 연결이다. 전기 신호는 속도가 빨라질수록 손실이 커지고 전송 거리가 짧아진다. 패키지 근처에 광학 장치를 두면 좁은 공간으로 더 많은 데이터를 멀리 보낼 수 있다. 전력 소모도 기존 광모듈의 약 20pJ/bit보다 낮은 한 자릿수 pJ/bit가 목표다.
여기에 비용 압박도 크다. HBM은 같은 용량의 일반 DRAM보다 실리콘 면적이 약 3배 더 필요하다. 반면 서버에 설치된 DRAM 가운데 최대 25%는 놀고 있다. 여러 서버의 메모리를 묶어 일부라도 공유하면 비싼 메모리의 이용률을 높일 수 있지 않은가.
KV 캐시는 어디에 둘 것인가
자주 쓰는 값은 HBM에 두고, 덜 쓰는 값은 CXL(프로세서와 확장, 공유 메모리를 캐시 일관성을 유지하며 연결하는 표준) 메모리나 SSD로 내리는 방식으로, 재계산 비용과 이동 비용을 비교해 KV 캐시의 위치를 정한다. 연결이 느리면 캐시를 불러오는 것보다 다시 계산하는 편이 빠를 수도 있다. PCIe 3.0급 환경에서는 오프로딩(GPU 메모리의 데이터를 CPU 메모리나 저장장치로 옮겨 두는 방식) 성능이 크게 떨어지고 첫 토큰 지연도 늘어난다.
구체적으로 HBM과 SSD 사이에는 CXL 공유 메모리가 들어간다. Marvell의 Structera S 30260은 CPU와 GPU 16~32개를 최대 48TB 메모리에 연결하고, 총 4TB/s 대역폭과 460ns 미만의 왕복 지연을 표방한다. 로컬 메모리보다는 느리지만 SSD보다 훨씬 가깝다.
한편 광 패브릭은 공유 범위를 여러 랙으로 넓힌다. 한 연구는 32TB의 광 패브릭 공유 메모리를 활용하면 405B 모델의 처리량이 3.66배까지 늘어난다고 추산했다. NVIDIA도 대규모 문맥 추론에 특화한 Rubin CPX를 준비하고 있다. 방식은 달라도 프리필과 디코드에 같은 메모리 구성을 고집하지 않는다는 원칙은 같다.
이동 거리가 비용을 결정한다
하지만 공유 메모리의 가치는 용량만으로 정해지지 않는다. 이미 계산한 상태를 얼마나 자주 재사용하는지, 그 상태를 옮기는 데 시간과 전력이 얼마나 드는지를 함께 봐야 한다. 캐시 적중률이 높으면 공유 계층의 이점이 커지고, 낮으면 재계산이 나을 수 있다.
이에 따라 서버 구매 기준도 GPU 수에서 전체 메모리 구성으로 바뀐다. GPU 몇 장에 공유 메모리를 얼마나 붙일지, 연결 대역폭을 얼마나 확보할지를 함께 계산해야 한다. 성능 역시 랙당 FLOPS(초당 부동소수점 연산 횟수)보다 토큰당 전력과 첫 토큰 지연으로 평가해야 한다. 디코드에서는 연산 장치가 남아도 메모리를 기다리느라 토큰 생성이 느려지기 때문이다.
다만 CXL 소프트웨어는 배치와 장애 복구, 지연 관리가 아직 충분히 성숙하지 않았다. 본격적인 상용 운용 시점을 2027년으로 보는 전망도 있다. CXL과 광 패브릭이 표준 계층으로 자리 잡을지는 더 지켜봐야 한다.
결국 입력의 96%를 재사용하는 에이전트 환경에서는 연산 능력을 늘리는 것만으로 비용을 낮추기 어렵다. 이미 만든 상태를 얼마나 싸고 빠르게 저장하고 옮기느냐가 토큰 생산비를 결정한다.
이 변화는 AI 인프라의 경쟁 단위도 칩 한 개에서 서버와 랙의 구성으로 넓힌다. 앞으로의 성능 격차는 서로 다른 메모리 계층을 실제 서비스에서 얼마나 안정적으로 운용하느냐에서도 벌어질 가능성이 크다.