2.8T MoE·1M 컨텍스트 오픈 프론티어 모델, 인프라까지 동시 개방

2026년 7월 27일, 베이징 기반 문샷 AI(Moonshot AI)가 자사 플래그십 모델 Kimi K3의 전체 가중치와 기술 보고서를 공개했다. Hugging Face에 모델이 올라온 직후 플랫폼 역대 최단 시간 트렌딩 1위를 기록하며, 오픈웨이트 커뮤니티와 추론 인프라 팀의 즉각적인 대응이 이어졌다. 이는 단순한 파라미터 확대가 아니라, 장문맥·고희소 MoE를 실용 수준으로 끌어올린 아키텍처 실험의 결과물이라는 점에서 주목할 만하다.

공개된 핵심 스펙

Kimi K3는 총 2.8조 파라미터의 Mixture-of-Experts(MoE) 모델로, 토큰당 1040억 파라미터가 활성화된다. 896개 라우티드 전문가 중 16개만 선택하는 구조를 채택했으며, 1백만 토큰 컨텍스트 윈도우와 네이티브 비전(이미지) 입력을 지원한다.

  • 레이어 구성: 총 93개 레이어 중 69개는 Kimi Delta Attention(KDA), 24개는 Gated MLA
  • 비전 인코더: MoonViT-V2(약 4억 파라미터), 대조학습이 아닌 next-token prediction으로 처음부터 학습
  • 양자화: 학습 단계에서부터 MXFP4 가중치·MXFP8 활성화를 적용한 quantization-aware training
  • 추가 공개물: 고성능 attention 커널(FlashKDA), MoE 통신 라이브러리(MoonEP), 에이전트 환경 인프라(AgentEnv) 등 학습·추론 스택 일부

이 규모는 기존 오픈웨이트 모델 중 처음으로 3T급에 진입한 사례로, 이전 세대 Kimi K2 계열 대비 파라미터 규모가 크게 확대된 동시에 스케일링 효율성도 개선됐다고 문샷은 기술 보고서에서 밝혔다.

아키텍처에서 주목할 지점

단순 파라미터 증가가 아니라, 정보 흐름과 희소성 안정화에 초점을 맞춘 설계가 핵심이다.

KDA + Attention Residuals

Kimi Delta Attention은 선형 어텐션 계열로, 장문맥에서 메모리·연산 부담을 줄이는 데 초점을 둔다. 여기에 Attention Residuals를 결합해 레이어 깊이 방향으로의 정보 흐름을 선택적으로 제어한다. 기존 residual connection이 균등 합산으로 정보가 희석되는 문제를 완화하려는 시도로 보인다.

Stable LatentMoE

896개 전문가 중 16개만 활성화하는 56배 수준의 희소성을 유지하면서도 학습 안정성을 확보하기 위해 Quantile Balancing과 SiTU-GLU 활성화 함수를 도입했다. 문샷은 이 조합이 이전 세대 대비 약 2.5배의 스케일링 효율 개선을 가져왔다고 보고했다.

비전과 후처리

MoonViT-V2는 대조학습 기반이 아닌 생성형 목표로 학습해 최적화 안정성을 높였다고 한다. 후처리 단계에서는 도메인·노력 수준별로 특화된 9개 정책을 학습한 뒤 병합하는 Joint RL + MOPD 방식을 사용했다.

이 설계들은 장문맥 에이전트 작업(대규모 코드베이스 탐색, 다단계 리서치, 도구 호출 연속성)을 염두에 둔 것으로 해석된다.

라이선스 구조와 실질 의미

Kimi K3 License는 MIT 계열의 관용적 조항을 기본으로 하되, 상업적 규모에 따라 제한을 두는 형태다.

  • 연구·내부 사용·파인튜닝·배포는 대부분 자유롭다.
  • Model-as-a-Service(제3자에게 추론·파인튜닝 접근을 제공하는 사업)로 연 매출 2천만 달러(12개월 누적)를 넘으면 문샷과 별도 계약을 체결해야 한다.
  • 월간 활성 사용자 1억 명 또는 월 매출 2천만 달러를 넘는 상용 제품은 UI에 “Kimi K3”를 눈에 띄게 표시해야 한다.
  • 순수 내부 사용이나 문샷 공식 API·인증 파트너를 통한 사용은 예외다.

이 구조는 커뮤니티와 중소 규모 활용을 열어두면서도, 대규모 추론 서비스 사업이 문샷의 자체 API 사업과 직접 충돌하는 것을 제한하려는 의도로 읽힌다. 오픈웨이트의 ‘개방성’과 사업 보호 사이의 현실적 타협점으로 볼 수 있다.

성능 위치와 벤치마크 맥락

독립 평가 기관 Artificial Analysis의 Intelligence Index에서 Kimi K3는 약 57점을 기록하며 오픈웨이트 모델 중 선두에 올랐다. 전체 순위에서는 Claude Fable 5와 GPT-5.6 Sol에 이어 상위권에 위치한다.

코딩·에이전트 관련 벤치마크(BrowseComp, ProgramBench, Terminal-Bench, SWE 계열 등)에서는 특히 강한 모습을 보이며, 일부 항목에서는 폐쇄형 프론티어 모델과 근접하거나 앞서는 수치를 보고했다. 반면 Humanity’s Last Exam이나 복잡한 컴퓨터 사용·장기 행동 일관성 등에서는 여전히 격차가 존재한다고 기술 보고서는 명시하고 있다.

벤치마크 결과는 설정(에이전트 하네스, 추론 노력 수준, 도구 사용 여부)에 민감하므로, 특정 리더보드 수치만으로 전체 우위를 단정하기는 어렵다. 다만 “오픈웨이트로도 프론티어급에 근접했다”는 메시지는 명확히 전달됐다.

오픈소스·로컬 실행 생태계에 미치는 영향

공개 직후 vLLM, SGLang 등 주요 추론 엔진과 Together AI, RunPod 등 클라우드 제공업체가 Day-0 지원을 발표했다. MXFP4 양자화 덕분에 고사양 소비자급 GPU 클러스터에서도 실험이 가능해졌다는 점이 로컬·온프레미스 커뮤니티의 관심을 끌었다.

  • 장문맥 에이전트 실험의 진입 장벽 하락: 1M 컨텍스트를 직접 제어하며 테스트할 수 있게 됐다.
  • 파인튜닝·증류 연구의 가속: 고성능 기반 모델이 공개되면 도메인 특화 모델 개발이 빨라질 가능성이 높다.
  • 하드웨어 현실: 전체 모델을 원활히 돌리려면 여전히 상당한 GPU 자원이 필요하지만, 희소성·양자화 덕분에 이전 3T급 상상보다 접근성이 높아졌다.

동시에 라이선스 제한으로 인해 대규모 MaaS 사업자는 별도 협상이 필요하므로, “완전 자유 오픈소스”와는 거리가 있다. 이는 최근 중국 랩들의 오픈웨이트 전략에서 반복적으로 나타나는 패턴이기도 하다.

더 넓은 산업적 시사점

이번 공개는 몇 가지 축에서 의미를 갖는다.

첫째, 폐쇄형 프론티어 모델에 대한 가격·접근성 압박이다. 성능이 근접한 오픈웨이트 모델이 등장하면 API 가격 인하 압력과 온프레미스 수요가 동시에 커진다. 특히 기업 내부 데이터 보안이나 규제 요건이 강한 환경에서 선택지가 늘었다.

둘째, 중국 AI 랩의 오픈웨이트 전략 진화다. DeepSeek 계열에 이어 Moonshot이 3T급을 공개하면서, 오픈 모델 규모와 품질에서 중국 측의 존재감이 한층 강화됐다. 미국 내에서도 Nvidia·Microsoft·Meta 등이 오픈웨이트 지지를 표명한 바 있어, 정책·경쟁 구도에도 영향을 줄 수 있다.

셋째, 에이전트·장문맥 워크로드의 실험 가속이다. 1M 컨텍스트와 안정적인 희소 MoE, 네이티브 멀티모달이 결합되면서 “긴 작업 흐름을 한 모델이 끝까지 처리하는” 실험이 더 쉬워졌다. 이는 코딩 에이전트, 리서치 에이전트, 지식 작업 자동화 분야에서 실질적인 변화를 불러올 여지가 있다.

넷째, 라이선스 설계의 현실화다. 완전한 퍼미시브 라이선스와 상용 보호 사이의 중간 지점을 선택함으로써, 오픈소스 커뮤니티의 참여를 유도하면서도 자사 사업 모델을 방어하는 방식을 보여줬다. 향후 다른 랩들도 유사한 구조를 참고할 가능성이 있다.

종합하면, Kimi K3 가중치 공개는 “가장 강력한 모델을 누구나 소유할 수 있다”는 구호를 일정 부분 현실로 만든 사건이다. 다만 하드웨어 장벽, 라이선스 조건, 그리고 여전히 존재하는 폐쇄형 모델과의 격차는 남아 있다. 오픈웨이트 생태계가 이 모델을 어떻게 소화하고, 파인튜닝·증류·에이전트 프레임워크로 확장하느냐가 앞으로의 몇 달 동안 지켜볼 지점이다.