AI 모델 경쟁은 몸집을 키우는 일만으로는 설명되지 않는 국면에 들어섰다. 모델을 실제 서비스에 올리는 순간, 성능표 밖의 조건들이 선택을 좌우한다.
계산은 가볍게, 배포는 무겁게
Moonshot AI의 Kimi K3는 2.8조 파라미터 모델이다. 하지만 토큰을 처리할 때는 896개 전문가 중 16개만 선택한다. 여기서 전문가는 사람이 아니라 서로 다른 패턴을 학습한 하위 신경망 블록이며, 토큰마다 그중 일부만 골라 쓰인다. 실제 활성 파라미터는 104B, 전체의 약 3.7%다.
이것이 희소 전문가 혼합(MoE) 모델의 특징이다. 연산량은 활성 파라미터를 따르지만 저장과 배포에는 전체 웨이트(모델이 학습해 저장한 내부 수치, 가중치)가 필요했다. 계산은 효율적이어도 운영 부담은 줄지 않는다. 다만 전문가 선택 비율 1.79%는 전체 활성 비율과는 다른 수치다.
이 구조 위에서 K3는 새로운 MoE, 어텐션 구조와 양자화 인식 학습(저정밀 연산으로 바뀔 때 생기는 오차를 학습 단계에서 미리 반영하는 방법)을 결합해 K2보다 스케일링 효율을 약 2.5배 높였다. 스케일링 효율은 같은 컴퓨트를 투입해 얻는 성능을 가리킨다. 이제 총 파라미터만 보면 될까. 활성 파라미터당 성능과 GPU 시간당 성능이 더 유용한 기준이다.
격차는 작고 가격차는 크다
K3는 프론트엔드 코드 아레나(Arena.ai의 Frontend Code Arena)에서 1,679 Elo(상대 전적으로 참가자의 실력을 갱신하는 평점 방식)로 1위를 기록했다. Claude Fable 5는 1,631, GPT-5.6 Sol은 1,618이었다. 그러나 종합 지수(Artificial Analysis Intelligence Index)에서는 약 57점으로 4위였고, 소프트웨어 문제 해결 능력을 평가하는 벤치마크인 DeepSWE 점수도 67.3에 그쳤다. 한 부문의 1위가 전체 성능의 우위를 보장할까.
오픈 웨이트와 폐쇄형 모델의 격차 역시 작업마다 다르게 나타난다. Epoch AI에 따르면 2026년 5월 말 기준 평균 격차는 약 4개월, 8 ECI 점이었다(ECI: Epoch Capabilities Index, 모델 능력 종합 지수). 이는 여러 벤치마크를 합성한 평균 수치로, 영역별 격차는 이 수치만으로 가늠하기 어렵다.
성능 격차보다 가격 차이는 더 크다.
| 모델 | 100만 출력 토큰 요금 |
|---|---|
| K3 | 15달러 |
| Fable 5 | 50달러 |
| Sol | 30달러 |
다만 저가 모델이 사용량을 늘려도 고난도 작업을 맡는 비싼 모델은 높은 매출을 유지하는 경우가 많다.
무료 웨이트, 비싼 운영
웨이트가 공개됐다고 누구나 쉽게 돌릴 수 있는 것은 아니다. K3의 다운로드 용량은 1.56TB이며 실사용에는 약 1.4TB의 VRAM(GPU가 쓰는 전용 메모리)과 추가 메모리가 필요하다. Moonshot은 64개 이상의 가속기를 연결한 슈퍼노드를 권장한다.
직접 운영할 경제성도 제한적이다. 8×MI350X급 예약 노드는 월 약 2만7,800달러가 든다. API 대비 손익분기점은 월 18억 토큰, 초당 약 700토큰을 계속 처리하는 수준이다. 사용량이 적으면 API가 더 싸다.
여기에 라이선스도 표준 오픈소스와 다르다. 연매출 2,000만 달러가 넘는 MaaS(Model as a Service, 모델 서비스) 사업자는 별도 계약이 필요하고 일정 규모 이상의 제품에는 출처 표시 의무가 붙는다. 미국 기업 495곳을 대상으로 한 조사에서는 오픈소스 모델에 대한 추정 지출 점유율이 2024년 19%에서 2025년 11%로 줄었다. 그렇다면 오픈 웨이트의 강점은 어디에 있을까. 가격보다 데이터 통제, 후학습(사전학습 이후 특정 목적에 맞게 추가로 학습하는 과정), 장기 운영 권한에 있다.
웨이트는 복제돼도 운영은 복제되지 않는다
공개된 웨이트는 경쟁사도 활용할 수 있지만 운영 역량은 쉽게 복제되지 않는다. 긴 작업을 끊김 없이 이어가고 오류를 복구하며 결과를 검증하는 체계가 필요하기 때문이다.
이제 경쟁 기준은 모델 크기에서 ‘얼마나 오래, 싸고 안정적으로 일하는가’로 옮겨가고 있다.
실제로 Moonshot은 K3가 48시간 동안 추론 칩을 설계했다고 밝혔다. 다만 이 칩은 시뮬레이션 단계였고 양산품은 아니다. GPU 컴파일러와 천체물리 분석 사례도 공개했지만 독립된 검증은 아직 이뤄지지 않았다. 시연이 곧 검증된 성과일까. 둘은 서로 다른 층위에 있다.
장시간 작업을 실제로 이어가려면 모델 밖의 시스템도 중요하다. 하네스는 모델에 도구, 기억, 상태 관리 절차를 붙여 실행하는 환경을 말한다. 하네스가 이전 추론 내용(thinking history)을 다시 전달하지 않으면 품질이 흔들리고 요청이 모호하면 모델이 불필요한 결정을 내릴 수 있다. 하네스 호환성과 행동 제약이 장시간 작업의 안정성을 좌우한다.
비용 역시 캐시 활용률에 따라 크게 달라진다. Moonshot은 코딩 작업에서 90%가 넘는 캐시 적중률을 보고했으며 적중 입력 가격은 일반 입력의 10분의 1이다. 짧고 어려운 판단에는 폐쇄형 API, 길고 반복적인 작업에는 호스팅된 오픈 웨이트 모델, 민감한 작업에는 후학습한 자체 모델이 어울린다. 자가호스팅은 월 수십억 토큰을 처리하거나 데이터 통제에 큰 비용을 쓸 조직의 선택이다.
웨이트 공개는 기술 접근성을 넓히지만 실제 이용자는 연산 자원과 운영 경험을 갖춘 조직으로 다시 좁혀질 수 있다. 공개 범위가 넓어질수록 모델 자체보다 그 모델을 실제로 돌릴 자원과 경험을 가진 조직이 누구인지가 시장의 승자를 가른다.