클라우드 다음 전장은?
AI 랙 하나가 요구하는 전력이 통신사 시설의 한도를 넘어서면서, 광 패브릭으로 분산 랙을 하나의 도메인으로 묶는 방식이 엣지 인퍼런스의 조건이 되고 있다.
#inference-optimization
AI의 다음 전쟁은 속도가 아니라 토큰 원가다
실시간 응답이 필요 없는 백그라운드 AI 작업이 늘면서, 처리량 중심 저비용 인프라와 오픈웨이트 모델을 결합해 토큰 생산비를 낮추려는 시도가 나타나고 있다.
Z.ai, 잠행 모델 Ox Alpha 정체 공개
엿새간 무료로 풀렸던 익명 모델의 정체가 밝혀지면서, 개발자들은 값싼 오픈웨이트 대안으로 기본 스택을 바꿀지 저울질하게 됐다.
AI의 최대 고객은 이제 AI
인간이 주고받는 대화보다 상시 가동되는 에이전트 루프가 컴퓨트 수요를 더 많이 잡아먹으면서, AI 원가 경쟁의 전선이 모델 성능에서 캐시·컨텍스트 낭비 관리로 옮겨가고 있다.
빌려 쓰는 GPU vs. 직접 굴리는 GPU
GPU 추론 비용은 자체 서버, 클라우드 임대, API 방식마다 다르게 나타나며 가동률과 데이터 통제 여부에 따라 유리한 선택이 달라진다.
Egnyte의 사례: 모델 말고 턴부터 줄여라
에이전트의 응답 속도는 모델 자체보다 턴 수와 도구 호출 설계에서 갈린다. Egnyte 사례를 통해 위임 구조 축소, 프롬프트 캐싱, 도구 반환값 설계가 지연시간을 줄이는 과정을 다룬다.
GPU는 남아도 대화는 멈춘다.. AI 팩토리의 다음 병목은 ‘공유 못 하는 메모리’
AI 추론은 GPU 연산보다 가중치와 KV 캐시를 옮기는 메모리 대역폭과 인터커넥트에 더 크게 좌우된다. HBM 용량 한계로 CXL과 광 연결이 대안으로 떠오르고 있다.
NVIDIA, 에이전트용 초고속 오픈 모델 Nemotron 3.5 Lightning 공개
NVIDIA는 소형 모델에 추론 가속 기법을 결합해 초대형 프론티어 모델 없이도 에이전트 실행 계층의 속도와 비용을 동시에 낮추려는 전략을 택했다.
모델보다 먼저 고쳐야 할 비용 구조
코딩 에이전트 비용은 프롬프트보다 세션에 쌓이는 컨텍스트에서 커진다. 모델 선택과 라우팅, 캐시 조정을 게이트웨이 하나에서 관리하는 조직이 비용을 예측 가능한 범위에 둔다.
Netflix 인하우스 LLM 서빙이 깨뜨린 설계 가정들
Netflix는 LLM을 별도 시스템이 아니라 기존 추천 서빙 레일에 올렸고, 배치 처리와 디코딩 제약 같은 세부 구현에서 자체 서빙 여부를 가르는 기준을 보여준다.
Shopify의 도메인 특화 모델 사례
Shopify는 판정 모델의 일치도를 사람 수준까지 끌어올린 뒤 실패한 대화를 교정해 학습 데이터로 삼았고, SFT와 GRPO를 거친 특화 모델은 프론티어 모델보다 낮은 비용으로 더 나은 성능을 냈다.
벡터 DB 수백만 원 쓰고도 졌다고? 에이전트 검색에서 grep이 이긴 이유
AI 에이전트의 검색 성능은 검색 알고리즘 자체보다 하네스와 결과 전달 방식에 더 크게 좌우되며, grep과 벡터 검색의 우열도 조건에 따라 뒤바뀐다.
검색 알고리즘이 아니라 ‘검색 인터페이스’가 승부를 결정한다
검색 결과 양을 늘려도 정확도는 오르지 않았고, 무엇을 찾고 읽을지 모델이 직접 정하는 구조에서 토큰을 적게 쓰고도 더 정확한 답이 나왔다.
2.8조 파라미터인데 켜지는 건 1.8%.. Kimi K3가 연 ‘오픈 3T’ 시대, 진짜 승부처는 크기일까
2.8조 파라미터 K3는 토큰마다 16개 전문가만 쓰지만 저장과 운영에는 전체 웨이트가 필요하다. 가격은 폐쇄형 모델보다 훨씬 낮지만 자체 운영에는 대규모 인프라와 손익분기 사용량이 필요해 실제 이용은 자원을 갖춘 조직에 좁혀진다.
GPU 72개 랙이 아니라 TPU 9,216개 한 덩어리 — AI 인프라의 진짜 병목은 칩이 아니라 ‘연결’이다
AI 가속기 성능은 칩 자체보다 시스템 구성에서 갈린다. 연결 규모, 광 스위치를 통한 랙 간 배선, 프리필·디코드 분리 시 KV 캐시 이동, 학습·추론용 설계 분화까지 거리와 메모리 배치가 인프라 성능을 좌우한다.
DFlash는 어떻게 순차 생성의 벽을 깼나
LLM 응답 속도는 초안을 순차로 만드는 구간에서 막힌다. DFlash는 이 초안을 블록 단위로 한 번에 채워 같은 응답 속도로 처리 가능한 요청 수를 크게 늘렸다.
