30B MoE로 출력 속도 최대 4배 향상, NeMo Switchyard와 함께 멀티모델 에이전트 시스템 본격화
2026년 8월 11일 NVIDIA가 Nemotron 3.5 Lightning을 공개했다. 이 모델은 항상 켜져 있는(always-on) 에이전트와 장시간 실행되는 에이전틱 워크플로우의 고빈도·전문화된 실행 계층을 겨냥한 오픈 모델이다. 동시에 공개된 NeMo Switchyard는 여러 모델을 동적으로 라우팅하는 오픈소스 라이브러리로, 단일 모델 중심 사고에서 벗어나 ‘시스템 오브 모델’ 시대로의 전환을 가속화한다.
모델 개요와 핵심 스펙
Nemotron 3.5 Lightning은 Nemotron 3 패밀리의 최신 멤버로, Nemotron 3 Nano의 후속작이다.
- 파라미터 규모: 총 약 30–31.6B, 활성 파라미터 약 3–3.6B의 Mixture-of-Experts(MoE) 구조
- 아키텍처: Mamba-2 + MoE + Attention 하이브리드
- 컨텍스트 길이: 최대 1M 토큰
- 양자화: BF16 및 NVFP4 체크포인트 제공
- 라이선스: OpenMDW 1.1 (상업적 이용이 비교적 자유로운 퍼미시브 라이선스)
- 지원 하드웨어: NVIDIA Blackwell(DGX Spark, RTX 5090 등), Hopper(H100/H200), Ampere(일부) 등 단일 GPU부터 데이터센터까지
- 지원 언어: 영어 중심 + 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어 및 코딩 언어
모델은 Hugging Face, ModelScope, OpenRouter, build.nvidia.com 등에 즉시 공개됐으며, 가중치·학습 데이터·레시피까지 함께 제공된다.
성능과 벤치마크
NVIDIA는 유사 규모 모델 대비 출력 속도 최대 4배, 에이전틱 작업 완료 시간 약 30% 단축을 주장한다. 독립 벤치마크 플랫폼 Artificial Analysis의 평가도 이를 뒷받침한다.
주요 수치
- Artificial Analysis Intelligence Index: 24점 (전작 Nemotron 3 Nano의 15점에서 9점 상승). OpenAI의 gpt-oss-120b와 동급이며, 약 4배 큰 Nemotron 3 Super(26점)에 근접
- PinchBench: 86% 정확도로 1만 개 작업을 처리하면서 Qwen3.6 35B 대비 약 30% 빠른 완료 속도
- GDPval-AA v2: Elo 824로 gpt-oss-120b(800)와 Nemotron 3 Super(698)를 상회
- 처리량: NVFP4 기준 최대 약 670 tokens/s 수준으로, 비교 모델 중 최상위권
에이전트 특화 벤치마크(SWE-bench, Terminal-Bench, tool use 등)에서 상대적으로 큰 향상이 관찰된다. 이는 모델이 단순 지식 평가보다 ‘도구 호출·검증·반복 실행’ 같은 고빈도 작업에 최적화됐음을 시사한다.
아키텍처와 기술 포인트
핵심은 활성 파라미터를 극도로 낮춘 효율성과 추론 가속 기법의 결합이다.
- MoE 구조로 토큰당 소수의 전문가만 활성화해 대형 모델의 용량을 유지하면서 연산 비용을 낮춤
- Multi-Token Prediction(MTP) 레이어를 사전학습 단계에서부터 도입하고, DFlash·DSpark 등 추측 디코딩(speculative decoding) 기법을 기본 지원
- 에이전트 하네스(OpenClaw, Hermes Agent 등)에 맞춘 학습과 강화학습(NeMo RL, multi-environment GRPO)을 통해 도구 사용·멀티턴·구조화 출력 성능을 강화
- NVFP4 양자화로 품질 손실을 최소화하면서 속도 이점을 극대화
이 조합은 ‘토큰 생성 속도’뿐 아니라 ‘실제 작업 완료까지의 시간’을 줄이는 데 초점을 맞춘다. 장시간 실행되는 에이전트에서 대부분의 비용과 지연이 발생하는 실행 계층을 겨냥한 설계다.
에이전트 시스템에서의 역할과 NeMo Switchyard
NVIDIA의 포지셔닝은 명확하다. 프론티어급 대형 모델(예: Nemotron 3 Ultra나 외부 상용 모델)이 계획·오케스트레이션을 담당하고, Lightning이 코드 리뷰, 도구 호출, 보안 알림 모니터링, 청구 문의 처리 같은 고빈도·전문화된 실행을 맡는 구조다.
이를 가능하게 하는 것이 동시에 공개된 NeMo Switchyard다. 오픈소스 라우팅 라이브러리로, 요청을 품질·지연·비용 기준에 따라 적절한 모델로 동적으로 분배한다. OpenAI·Anthropic API 형식을 유지하면서 백엔드를 자유롭게 바꿀 수 있어 기존 에이전트 애플리케이션을 크게 수정하지 않고도 도입 가능하다.
파트너 초기 결과 예시:
- LangChain: 멀티턴 Deep Agents 작업에서 비용 74% 절감(프론티어 모델 호출 비율 7%, 정확도 트레이드오프 약 6%)
- Ramp: SWE-Bench에서 프론티어급 성능 유지하면서 비용 58%, 런타임 33% 감소
- 내부 벤치마크: Opus 4.8 단독 대비 작업 완료 비용을 약 1/3 수준으로 유지하면서 정확도 유지
CrowdStrike(사이버보안), CodeRabbit(코드 리뷰), Harvey(법률) 등 도메인 파트너들이 사후 학습(post-training)을 통해 전문화된 정확도를 확보한 사례도 공개됐다.
심층 분석
속도·효율성 프론티어의 재정의
Lightning은 ‘최고 지능’보다 ‘에이전트 워크로드에서의 실용적 효율’을 우선한다. 활성 파라미터 3B급으로 gpt-oss-120b급 Intelligence Index를 달성한 점은, 에이전트 시대에 필요한 대부분의 작업이 초대형 모델을 요구하지 않을 수 있음을 보여준다. 비용과 지연이 누적되는 장시간 실행 환경에서 이 접근은 특히 유효하다.
오픈소스와 커스터마이징의 전략적 가치
OpenMDW 라이선스와 데이터·레시피 공개는 기업이 자체 도메인 데이터로 빠르게 전문화할 수 있는 기반을 제공한다. 범용 성능보다 특정 워크플로우 정확도가 중요한 엔터프라이즈 환경에서 ‘작은 모델을 깊게 파인튜닝’하는 전략이 대형 상용 모델 대비 경쟁력을 가질 수 있다는 실증이 누적되고 있다.
하드웨어-소프트웨어 수직 통합
DGX Spark·RTX·Jetson부터 데이터센터까지 단일 모델로 대응 가능한 점은 NVIDIA 생태계의 강점을 극대화한다. 로컬·온프레미스 배포를 중시하는 규제 산업이나 프라이버시 요구가 높은 환경에서 실질적인 선택지를 넓힌다.
한계와 현실적 고려
- Intelligence Index 기준 최상위 소형 모델(Qwen3.6 35B 등)에는 미치지 못한다. 순수 추론·지식 작업에서는 다른 선택이 나을 수 있다.
- 벤치마크 수치의 일반화는 실제 워크로드(도구 품질, 프롬프트 설계, 하네스 성숙도)에 따라 달라질 수 있다.
- Switchyard는 아직 pre-alpha 단계로, 프로덕션 안정성과 라우팅 알고리즘의 장기 유지보수 비용은 추가 검증이 필요하다.
산업적 함의
이 공개는 ‘하나의 초대형 모델이 모든 것을 처리한다’는 가정에서 ‘역할 분담형 멀티모델 시스템’으로의 전환을 공식화한다. 에이전트 인프라 비용의 상당 부분이 고빈도 실행 계층에서 발생한다는 점에서, 속도와 커스터마이징 가능성을 동시에 제공하는 오픈 모델의 등장은 토큰 경제와 운영 구조에 실질적 영향을 줄 가능성이 크다.
가용성과 도입 시사점
모델과 Switchyard는 즉시 사용 가능하다. vLLM, SGLang, TensorRT-LLM, Ollama, llama.cpp 등 주요 추론 엔진 지원이 발표됐으며, 에이전트 프레임워크·게이트웨이 파트너 통합도 진행 중이다.
단기적으로는 기존 에이전트 파이프라인에서 고빈도 서브태스크를 Lightning으로 분리하고, 라우팅 레이어를 통해 비용·지연을 실험해 볼 수 있다. 중장기적으로는 도메인별 사후 학습 파이프라인을 구축해 ‘자체 특화 실행 모델’을 확보하는 전략이 중요해질 전망이다.
Nemotron 3.5 Lightning과 NeMo Switchyard의 조합은 에이전트 인프라의 ‘실행 계층’을 본격적으로 재설계하려는 NVIDIA의 명확한 메시지를 담고 있다. 속도, 오픈성, 커스터마이징, 라우팅을 한 번에 제시했다는 점에서 2026년 하반기 에이전트 아키텍처 논의의 중요한 기준점 중 하나가 될 것으로 보인다.